机器学习基础教程

出版者的话

译者序

前言

第1章 线性建模：最小二乘法

1.1 线性建模

1.1.1 定义模型

1.1.2 模型假设

1.1.3 定义什么是好的模型

1.1.4 最小二乘解：一个有效的例子

1.1.5 有效的例子

1.1.6 奥运会数据的最小二乘拟合

1.1.7 小结

1.2 预测

1.2.1 第二个奥运会数据集

1.2.2 小结

1.3 向量/矩阵符号

1.3.1 例子

1.3.2 数值的例子

1.3.3 预测

1.3.4 小结

1.4 线性模型的非线性响应

1.5 泛化与过拟合

1.5.1 验证数据

1.5.2 交叉验证

1.5.3 K折交叉验证的计算缩放

1.6 正则化最小二乘法

1.7 练习

其他阅读材料

第2章 线性建模：最大似然方法

2.1 误差作为噪声

2.2 随机变量和概率

2.2.1 随机变量

2.2.2 概率和概率分布

2.2.3 概率的加法

2.2.4 条件概率

2.2.5 联合概率

2.2.6 边缘化

2.2.7 贝叶斯规则介绍

2.2.8 期望值

2.3 常见的离散分布

2.3.1 伯努利分布

2.3.2 二项分布

2.3.3 多项分布

2.4 连续型随机变量--概率密度函数

2.5 常见的连续概率密度函数

2.5.1 均匀密度函数

2.5.2 β密度函数

2.5.3 高斯密度函数

2.5.4 多元高斯

2.5.5 小结

2.6 产生式的考虑（续）

2.7 似然估计

2.7.1 数据集的似然值

2.7.2 最大似然

2.7.3 最大似然解的特点

2.7.4 最大似然法适用于复杂模型

2.8 偏差方差平衡问题

2.9 噪声对参数估计的影响

2.9.1 参数估计的不确定性

2.9.2 与实验数据比较

2.9.3 模型参数的变异性--奥运会数据

2.10 预测值的变异性

2.10.1 预测值的变异性--一个例子

2.10.2 估计值的期望值

2.10.3 小结

2.11 练习

其他阅读材料

第3章 机器学习的贝叶斯方法

3.1 硬币游戏

3.1.1 计算正面朝上的次数

3.1.2 贝叶斯方法

3.2 精确的后验

3.3 三个场景

3.3.1 没有先验知识

3.3.2 公平的投币

3.3.3 有偏的投币

3.3.4 三个场景--总结

3.3.5 增加更多的数据

3.4 边缘似然估计

3.5 超参数

3.6 图模型

3.7 奥运会100米数据的贝叶斯处理实例

3.7.1 模型

3.7.2 似然估计

3.7.3 先验概率

3.7.4 后验概率

3.7.5 1阶多项式

3.7.6 预测

3.8 边缘似然估计用于多项式模型阶的选择

3.9 小结

3.10 练习

其他阅读材料

第4章 贝叶斯推理

4.1 非共轭模型

4.2 二值响应

4.3 点估计：最大后验估计方案

4.4 拉普拉斯近似

4.4.1 拉普拉斯近似实例：近似γ密度

4.4.2 二值响应模型的拉普拉斯近似

4.5 抽样技术

4.5.1 玩飞镖游戏

4.5.2 Metropolis-Hastings算法

4.5.3 抽样的艺术

4.6 小结

4.7 练习

其他阅读材料

第5章 分类

5.1 一般问题

5.2 概率分类器

5.2.1 贝叶斯分类器

5.2.2 逻辑回归

5.3 非概率分类器

5.3.1 K近邻算法

5.3.2 支持向量机和其他核方法

5.3.3 小结

5.4 评价分类器的性能

5.4.1 准确率--0/1损失

5.4.2 敏感性和特异性

5.4.3 ROC曲线下的区域

5.4.4 混淆矩阵

5.5 判别式和产生式分类器

5.6 小结

5.7 练习

其他阅读材料

第6章 聚类分析

6.1 一般问题

6.2 K均值聚类

6.2.1 聚类数目的选择

6.2.2 K均值的不足之处

6.2.3 核化K均值

6.2.4 小结

6.3 混合模型

6.3.1 生成过程

6.3.2 混合模型似然函数

6.3.3 EM算法

6.3.4 例子

6.3.5 EM寻找局部最优

6.3.6 组分数目的选择

6.3.7 混合组分的其他形式

6.3.8 用EM估计MAP

6.3.9 贝叶斯混合模型

6.4 小结

6.5 练习

其他阅读材料

第7章 主成分分析与隐变量模型

7.1 一般问题

7.2 主成分分析

7.2.1 选择D

7.2.2 PCA的局限性

7.3 隐变量模型

7.3.1 隐变量模型中的混合模型

7.3.2 小结

7.4 变分贝叶斯

7.4.1 选择Q（θ）

7.4.2 优化边界

7.5 PCA的概率模型

7.5.1 Qτ（τ）

7.5.2 Qxn（xn）

7.5.3 Qwn（wm）

7.5.4 期望值要求

7.5.5 算法

7.5.6 例子

7.6 缺失值

7.6.1 缺失值作为隐变量

7.6.2 预测缺失值

7.7 非实值数据

7.7.1 概率PPCA

7.7.2 议会数据可视化

7.8 小结

7.9 练习

其他阅读材料

词汇表

索引

《计算机科学丛书：机器学习基础教程》介绍机器学习技术及应用的主要算法，重点讲述理解主流的机器学习算法所需的核心数学和统计知识。书中介绍的算法涵盖机器学习的主要问题：分类、聚类和投影。由于本书是机器学习基础课程的教材，所以尽量减少了数学难度，仅对一小部分重要算法给出详细的描述和推导，而对大部分算法仅给出简单介绍，目的在于使学生打好基础，增强信心和兴趣，鼓励他们进一步学习该领域的高级主题或从事相关研究工作。
　　《计算机科学丛书：机器学习基础教程》是机器学习导论课程教材，适合作为计算机、自动化及相关专业高年级本科生或研究生的教材，也可供研究人员和工程技术人员参考。