机器学习导论

出版者的话

中文版序

译者序

前言

致谢

关于第2版

符号表

第1章 绪论1

1.1 什么是机器学习1

1.2 机器学习的应用实例3

1.2.1 学习关联性3

1.2.2 分类3

1.2.3 回归6

1.2.4 非监督学习7

1.2.5 增强学习8

1.3 注释8

1.4 相关资源10

1.5 习题11

1.6 参考文献12

第2章 监督学习13

2.1 由实例学习类13

2.2 VC维15

2.3 概率逼近正确学习16

2.4 噪声17

2.5 学习多类18

2.6 回归19

2.7 模型选择与泛化21

2.8 监督机器学习算法的维23

2.9 注释24

2.10 习题25

2.11 参考文献25

第3章 贝叶斯决策定理27

3.1 引言27

3.2 分类28

3.3 损失与风险29

3.4 判别式函数31

3.5 效用理论31

3.6 关联规则32

3.7 注释33

3.8 习题33

3.9 参考文献34

第4章 参数方法35

4.1 引言35

4.2 最大似然估计35

4.2.1 伯努利密度36

4.2.2 多项密度36

4.2.3 高斯(正态)密度37

4.3 评价估计：偏倚和方差37

4.4 贝叶斯估计38

4.5 参数分类40

4.6 回归43

4.7 调整模型的复杂度：偏倚/方差两难选择45

4.8 模型选择过程47

4.9 注释50

4.10 习题50

4.11 参考文献51

第5章 多元方法52

5.1 多元数据52

5.2 参数估计52

5.3 缺失值估计53

5.4 多元正态分布54

5.5 多元分类56

5.6 调整复杂度59

5.7 离散特征61

5.8 多元回归62

5.9 注释63

5.10 习题63

5.11 参考文献64

第6章 维度归约65

6.1 引言65

6.2 子集选择65

6.3 主成分分析67

6.4 因子分析71

6.5 多维定标75

6.6 线性判别分析77

6.7 等距特征映射80

6.8 局部线性嵌入81

6.9 注释83

6.10 习题84

6.11 参考文献85

第7章 聚类86

7.1 引言86

7.2 混合密度86

7.3 k-均值聚类87

7.4 期望最大化算法90

7.5 潜在变量混合模型93

7.6 聚类后的监督学习94

7.7 层次聚类95

7.8 选择簇个数96

7.9 注释96

7.10 习题97

7.11 参考文献97

第8章 非参数方法99

8.1 引言99

8.2 非参数密度估计99

8.2.1 直方图估计100

8.2.2 核估计101

8.2.3 k最近邻估计102

8.3 到多元数据的推广103

8.4 非参数分类104

8.5 精简的最近邻105

8.6 非参数回归：光滑模型106

8.6.1 移动均值光滑106

8.6.2 核光滑108

8.6.3 移动线光滑108

8.7 如何选择光滑参数109

8.8 注释110

8.9 习题111

8.10 参考文献112

第9章 决策树113

9.1 引言113

9.2 单变量树114

9.2.1 分类树114

9.2.2 回归树118

9.3 剪枝119

9.4 由决策树提取规则120

9.5 由数据学习规则121

9.6 多变量树124

9.7 注释125

9.8 习题126

9.9 参考文献127

第10章 线性判别式129

10.1 引言129

10.2 推广线性模型130

10.3 线性判别式的几何意义131

10.3.1 两类问题131

10.3.2 多类问题132

10.4 逐对分离132

10.5 参数判别式的进一步讨论133

10.6 梯度下降135

10.7 逻辑斯谛判别式135

10.7.1 两类问题135

10.7.2 多类问题138

10.8 回归判别式141

10.9 注释142

10.10 习题143

10.11 参考文献143

第11章 多层感知器144

11.1 引言144

11.1.1 理解人脑144

11.1.2 神经网络作为并行处理的典范145

11.2 感知器146

11.3 训练感知器148

11.4 学习布尔函数150

11.5 多层感知器151

11.6 作为普适近似的MLP153

11.7 后向传播算法154

11.7.1 非线性回归154

11.7.2 两类判别式157

11.7.3 多类判别式158

11.7.4 多个隐藏层158

11.8 训练过程158

11.8.1 改善收敛性158

11.8.2 过分训练159

11.8.3 构造网络161

11.8.4 线索162

11.9 调整网络规模163

11.10 学习的贝叶斯观点164

11.11 维度归约165

11.12 学习时间167

11.12.1 时间延迟神经网络167

11.12.2 递归网络168

11.13 注释169

11.14 习题170

11.15 参考文献170

第12章 局部模型173

12.1 引言173

12.2 竞争学习173

12.2.1 在线k-均值173

12.2.2 自适应共鸣理论176

12.2.3 自组织映射177

12.3 径向基函数178

12.4 结合基于规则的知识182

12.5 规范化基函数182

12.6 竞争的基函数184

12.7 学习向量量化186

12.8 混合专家模型186

12.8.1 协同专家模型188

12.8.2 竞争专家模型188

12.9 层次混合专家模型189

12.10 注释189

12.11 习题190

12.12 参考文献190

第13章 核机器192

13.1 引言192

13.2 最佳分离超平面193

13.3 不可分情况：软边缘超平面195

13.4 v-SVM197

13.5 核技巧198

13.6 向量核199

13.7 定义核200

13.8 多核学习201

13.9 多类核机器202

13.10 用于回归的核机器203

13.11 一类核机器206

13.12 核维度归约208

13.13 注释209

13.14 习题209

13.15 参考文献210

第14章 贝叶斯估计212

14.1 引言212

14.2 分布参数的估计213

14.2.1 离散变量213

14.2.2 连续变量215

14.3 函数参数的贝叶斯估计216

14.3.1 回归216

14.3.2 基函数或核函数的使用218

14.3.3 贝叶斯分类219

14.4 高斯过程221

14.5 注释223

14.6 习题224

14.7 参考文献224

第15章 隐马尔可夫模型225

15.1 引言225

15.2 离散马尔可夫过程225

15.3 隐马尔可夫模型227

15.4 HMM的三个基本问题229

15.5 估值问题229

15.6 寻找状态序列231

15.7 学习模型参数233

15.8 连续观测235

15.9 带输入的HMM236

15.10 HMM中的模型选择236

15.11 注释237

15.12 习题238

15.13 参考文献239

第16章 图方法240

16.1 引言240

16.2 条件独立的典型情况241

16.3 图模型实例245

16.3.1 朴素贝叶斯分类245

16.3.2 隐马尔可夫模型246

16.3.3 线性回归248

16.4 d-分离248

16.5 信念传播249

16.5.1 链249

16.5.2 树250

16.5.3 多树251

16.5.4 结树252

16.6 无向图：马尔可夫随机场253

16.7 学习图模型的结构254

16.8 影响图255

16.9 注释255

16.10 习题256

16.11 参考文献256

第17章 组合多学习器258

17.1 基本原理258

17.2 产生有差异的学习器258

17.3 模型组合方案260

17.4 投票法261

17.5 纠错输出码263

17.6 装袋265

17.7 提升265

17.8 重温混合专家模型267

17.9 层叠泛化268

17.10 调整系综268

17.11 级联269

17.12 注释270

17.13 习题271

17.14 参考文献272

第18章 增强学习275

18.1 引言275

18.2 单状态情况：K臂赌博机问题276

18.3 增强学习基础277

18.4 基于模型的学习278

18.4.1 价值迭代279

18.4.2 策略迭代279

18.5 时间差分学习280

18.5.1 探索策略280

18.5.2 确定性奖励和动作280

18.5.3 非确定性奖励和动作282

18.5.4 资格迹283

18.6 推广285

18.7 部分可观测状态286

18.7.1 场景286

18.7.2 例子：老虎问题287

18.8 注释290

18.9 习题291

18.10 参考文献292

第19章 机器学习实验的设计与分析294

19.1 引言294

19.2 因素、响应和实验策略296

19.3 响应面设计297

19.4 随机化、重复和阻止298

19.5 机器学习实验指南298

19.6 交叉验证和再抽样方法300

19.6.1 K-折交叉验证300

19.6.2 5×2交叉验证301

19.6.3 自助法302

19.7 度量分类器的性能302

19.8 区间估计304

19.9 假设检验307

19.10 评估分类算法的性能308

19.10.1 二项检验308

19.10.2 近似正态检验309

19.10.3 t检验309

19.11 比较两个分类算法309

19.11.1 McNemar检验310

19.11.2 K-折交叉验证配对t检验310

19.11.3 5×2交叉验证配对t检验311

19.11.4 5×2交叉验证配对F检验311

19.12 比较多个算法：方差分析312

19.13 在多个数据集上比较315

19.13.1 比较两个算法315

19.13.2 比较多个算法317

19.14 注释317

19.15 习题318

19.16 参考文献319

附录A 概率论320

索引328

《机器学习导论(原书第2版)》是最佳的机器学习入门教材。全面讨论机器学习方法和技术，层次合理、叙述清晰、难度适中。涵盖了经典的机器学习算法和理论，同时补充了近年来新出现的机器学习方法。《机器学习导论(原书第2版)》讨论了机器学习在统计学、模式识别、神经网络、人工智能、信号处理等不同领域的应用，其中涵盖了监督学习、贝叶斯决策理论、参数方法、多元方法、多层感知器、局部模型、隐马尔可夫模型、分类算法评估和比较以及增强学习。《机器学习导论(原书第2版)》可供完成计算机程序设计、概率论、微积分和线性代数课程的高年级本科生和研究生使用，也可供对机器学习感兴趣的工程技术人员参考。【作者简介】作者：（土耳其）Ethem Alpaydin 译者：范明 昝红英 牛常勇Ethem Alpaydin，土耳其伊斯坦布尔博阿齐奇大学（Bogazici University）计算机工程系教授。他于1990年在瑞士洛桑联邦理工学院获博士学位，1991年在加州大学伯克利分校国际计算机研究所（ICS, UC Berkeley）做博士后工作；之后作为访问学者，先后在美国麻省理工学院、加州大学伯克利分校国际计算机研究所、瑞士戴尔莫尔感知人工智能研究所(IDIAP)从事研究工作。他是土耳其科学院院士，IEEE高级会员，牛津大学出版社《The Computer Journal》杂志编委和Elsevier出版社《Pattern Recognition》杂志副主编。