支持向量机

序言

符号表

第1章最优化基础

1.1欧式空间上的最优化问题

1.1.1最优化问题实例

1.1.2最优化问题及其解

1.1.3最优化问题的几何解释

1.2欧式空间上的凸规划

1.2.1凸集和凸函数

1.2.2凸规划问题及其基本性质

1.2.3凸规划的对偶理论

1.2.4凸规划的最优性条件

1.2.5线性规划

1.3Hilbert空间上的凸规划

1.3.1凸函数及Frechet导数

1.3.2凸规划问题

1.3.3凸规划的对偶理论

1.3.4凸规划的最优性条件

1.4欧式空间上带有广义不等式约束的凸规划

1.4.1带有广义不等式约束的凸规划

1.4.2带有广义不等式约束的凸规划的对偶理论

1.4.3带有广义不等式约束的凸规划的最优性条件

1.4.4二阶锥规划

1.4.5半定规划

1.5Hilbert空间上带有广义不等式约束的凸规划

1.5.1K－凸函数与Frechet导数

1.5.2凸规划问题

1.5.3凸规划的对偶理论

1.5.4凸规划的最优性条件

第2章线性分类机

2.1分类问题的提出

2.1.1例子（心脏病诊断）

2.1.2分类问题和分类机

2.2线性可分问题的支持向量分类机

2.2.1最大间隔法_

2.2.2线性可分问题的支持向量分类机

2.2.3支持向量

2.3线性支持向量分类机

2.3.1最大间隔法

2.3.2线性支持向量分类机

第3章线性回归机

3.1回归问题和线性回归问题

3.2硬ε带超平面

3.2.1从线性回归问题到硬乒带超平面

3.2.2硬ε-带超平面与线性分划

3.2.3构造硬ε带超平面的最优化问题

3.3线性硬ε-带支持向量回归机

3.3.1原始问题

3.3.2对偶问题及其与原始问题解的关系

3.3.3线性硬ε-带支持向量回归机

3.4线性ε-支持向量回归机

3.4.1原始问题

3.4.2对偶问题及其与原始问题解的关系

3.4.3线性ε-支持向量回归机

第4章核与支持向量机

4.1从线性分划到非线性分划

4.1.1非线性分划的例子

4.1.2基于非线性分划的分类算法

4.1.3基于非线性分划的回归算法

4.2核函数

4.2.1核函数及其特征

4.2.2核函数的判定和常用的核函数

4.3支持向量机及其性质

4.3.1支持向量分类机

4.3.2支持向量回归机

4.4支持向量机中核函数的选取

4.4.1已知训练集时核函数的选取

4.4.2核函数的直接构造

第5章C-支持向量分类机的统计学基础

5.1分类问

5.1.1概率分布

5.1.2分类问题的统计学提法

5.2经验风险最小化原则

5.3VC维

5.4结构风险最小化原则

5.5结构风险最小化原则的一个直接实现

5.5.1原始问题

5.5.2拟对偶问题及其与原始问题的关系

5.5.3结构风险最小化分类机

5.6C-支持向量分类机的统计学习理论基础

5.6.1C-支持向量分类机的回顾

5.6.2对偶问题与拟对偶问题的关系

5.6.3C-线性支持向量分类机的统计学习理论解释

第6章模型选择

6.1分类对象的向量描述

6.1.1离散特征的数值化

6.1.2字符串的向量描述

6.2分类问题的确定

6.2.1标称型变量的处理

6.2.2训练集的压缩

6.2.3训练集的均衡

6.2.4特征选择

6.2.5特征提取

6.3支持向量分类机中核函数与参数的选择

6.3.1算法优劣的评价标准k-折交叉确认

6.3.2LOO误差及其理论意义

6.3.3LOO误差的估计

6.3.4核函数与参数的选择

第7章算法

7.1停机准则

7.1.1第1个停机准则

7.1.2第2个停机准则

7.1.3第3个停机准则

7.2选块算法

7.3分解算法

7.4.序列最小最优化算法

7.4.1算法的主要步骤

7.4.2工作集的选取

7.4.3两个变量的最优化问题的解析解

7.5软件介绍

第8章支持向量机的变形与拓广

8.1两类分类问题的支持向量机

8.1.1齐次决策函数支持向量分类机

8.1.2限定支持向量分类机

8.1.3最小二乘支持向量分类机

8.1.4中心支持向量分类机

8.1.5v-支持向量分类机

8.1.6线性规划形式的支持向量分类机

8.2回归问题的支持向量机

8.2.1最小二乘支持向量回归机

8.2.2v-支持向量回归机

8.2.3线性规划形式的支持向量回归机

8.3多类分类问题的求解

8.3.1基于两类支持向量分类机的方法

8.3.2基于顺序回归机的方法

8.3.3Crammer-Singer多类支持向量分类机

8.4对于非标准训练集分类问题的求解

8.4.1U-支持向量分类机

8.4.2半监督两类分类问题的支持向量机

8.5稳健支持向量分类机

8.5.1稳健分类问题

8.5.2输入为多面体扰动的问题的求解

8.5.3输入为球体扰动的问题的求解

8.6多示例分类问题的支持向量机

8.6.1多示例两类分类问题

8.6.2多示例线性支持向量分类机

8.6.3多示例支持向量分类机

参考文献

索引

　　本书主要讨论分类问题和回归问题，基于把回归问题转化为分类问题的研究工作，全书以分类问题为主线，形成了统一的格局。全书共8章，首先介绍了最优化基础，着重于凸规划的介绍，添加了引领最优化方法应用研究的锥规划；进而分别对线性分类问题和线性回归问题直观地导出最基本的线性支持向量机；还介绍了核的基本概念，并在此基础上介绍求解一般的分类问题和回归问题的支持向量机。　　本书以分类问题（模式识别、判别分析）和回归问题为背景，介绍支持向量机的基本理论、方法和应用。特别强调对所讨论的问题和处理方法的实质进行直观的解释和说明，因此具有很强的可读性。为使具有一般高等数学知识的读者能够顺利阅读，书中首先介绍了最优化的基础知识。　　本书可作为理工类、管理学等专业的高年级本科生、研究生和教师的教材或教学参考书，也可供相关领域的科研人员和实际工作者阅读参考。