机器学习理论与算法

序

前言

第1章 绪论

1.1 什么是机器学习

1.1.1 信息爆炸

1.1.2 学习的定义

1.1.3 机器学习定义

1.2 机器学习的发展史

1.3 机器学习的发展现状

1.4 机器学习的策略与模型

1.4.1 机器学习策略

1.4.2 机器学习系统的基本模型

1.5 机器学习的相关方法

1.5.1 算法类型

1.5.2 具体方法

1.6 本书的内容安排

参考文献

第2章 统计学习理论与支持向量机算法

2.1 引言

2.2 统计学习理论

2.2.1 统计学习理论的形成与发展

2.2.2 统计学习理论的主要内容

2.2.3 学习过程的一致性及收敛速度

2.2.4 函数集的VC维

2.2.5 结构风险最小化归纳原则

2.3 支持向量机

2.3.1 支持向量机的形成与发展

2.3.2 支持向量机的主要内容

2.3.3 基本的支持向量机算法

2.3.4 变形的支持向量机算法

2.3.5 优化的支持向量机算法

2.3.6 多分类的支持向量机算法

2.3.7 支持向量机聚类算法

2.4 本章小结

参考文献

附录

第3章 构造性机器学习理论与覆盖算法

3.1 引言

3.1.1 传统的神经网络存在的问题

3.1.2 构造性机器学习方法的提出

3.1.3 构造性机器学习覆盖算法与支持向量机的区别

3.2 覆盖问题的描述及理论基础

3.2.1 覆盖问题的描述

3.2.2 覆盖算法的理论基础

3.3 覆盖模型及其算法的分析

3.3.1 领域覆盖算法

3.3.2 交叉覆盖算法

3.3.3 覆盖算法的改进措施

3.3.4 多侧面递进算法

3.3.5 核覆盖算法

3.3.6 概率模型覆盖算法

3.4 本章小结

参考文献

附录

第4章 集成学习与弱可学习理论

4.1 引言

4.2 集成学习的发展和现状

4.3 集成学习的产生背景和主要作用

4.4 集成学习的主要内容

4.4.1 PAC理论

4.4.2 强可学习与弱可学习理论

4.4.3 集成学习的基本概念

4.4.4 集成学习的算法框架

4.5 AdaBoost

4.5.1 AdaBoost算法训练误差的上界

4.5.2 训练轮数T的确定

4.5.3 基于泛化误差上界的分析

4.5.4 基于优化理论的分析

4.6 AdaBoost.M1

4.7 AdaBoost.M2

4.8 Bagging

4.9 Stacking

4.10 选择性集成

4.10.1 选择性集成的提出

4.10.2 选择性集成的理论基础

4.10.3 GASEN

4.10.4 选择性集成的发展

4.11 集成学习的应用

4.12 本章小结

参考文献

附录

第5章 数据流的概念获取与增量学习

5.1 引言

5.2 数据流

5.2.1 数据流与流形学习的概念

5.2.2 数据流的性质

5.2.3 数据流的特征

5.2.4 数据流处理模型

5.2.5 数据流的基本技术

5.2.6 数据流上的应用

5.3 数据流分类

5.3.1 数据流的分类问题

5.3.2 现有数据流上的分类算法

5.4 数据流的概念漂移

5.4.1 概念漂移定义

5.4.2 概念漂移类型

5.4.3 概念漂移检测

5.4.4 概念漂移与数据流分类的关系

5.4.5 概念漂移的处理方法

5.5 增量学习

5.5.1 支持向量机增量学习算法

5.5.2 基于覆盖的增量学习

5.6 本章小结

参考文献

附录

第6章 人工神经网络之遗传算法

6.1 引言

6.2 遗传算法的仿生学基础

6.2.1 生物遗传及其变异

6.2.2 进化

6.3 遗传算法简介

6.3.1 发展史

6.3.2 遗传算法

6.4 基本遗传算法

6.4.1 基本遗传算法描述

6.4.2 基本遗传操作

6.4.3 基本遗传算法的形式化定义

6.4.4 基本遗传算法的应用举例

6.5 遗传算法的理论基础

6.5.1 模式

6.5.2 选择操作对模式的影响

6.5.3 交叉操作对模式的影响

6.5.4 变异操作对模式的影响

6.6 本章小结

参考文献

附录

第7章 决策树与贝叶斯网络

7.1 决策树的形成与发展

7.1.1 决策树的定义

7.1.2 决策树的优缺点

7.2 决策树的基本原理:统计学角度

7.3 决策树经典算法介绍

7.3.1 ID3算法

7.3.2 C4.5算法

7.3.3 EC4.5算法

7.3.4 CART算法

7.3.5 SLIQ算法

7.3.6 SPRINT算法

7.3.7 PUBLIC算法

7.4 决策树的应用

7.4.1 决策树的适用范围

7.4.2 决策树的应用前景

7.4.3 决策树的应用举例

7.5 贝叶斯网络的形成与发展

7.5.1 贝叶斯网络的发展历史

7.5.2 贝叶斯方法的基本观点

7.5.3 贝叶斯网络的特点

7.6 贝叶斯网络原理及应用

7.6.1 贝叶斯网络

7.6.2 贝叶斯网络构造

7.7 典型贝叶斯网络学习方法及其变形

7.7.1 完整数据条件下贝叶斯网络的参数学习

7.7.2 完整数据条件下贝叶斯网络的结构学习

7.7.3 不完整数据条件下贝叶斯网络的参数学习

7.7.4 不完整数据条件下贝叶斯网络的结构学习

7.8 贝叶斯网络推理

7.8.1 贝叶斯网络精确推理算法

7.8.2 贝叶斯网络近似推理算法

7.8.3 贝叶斯网络推理算法的比较分析

7.9 贝叶斯网络的应用

7.9.1 贝叶斯网络用于分类和回归分析

7.9.2 贝叶斯网络用于不确定知识表达和推理

7.9.3 贝叶斯网络在因果数据挖掘上的应用及展望

7.9.4 贝叶斯网络用于聚类模式发现

7.9.5 基于贝叶斯网络的遗传算法

7.9.6 基于贝叶斯网络的多目标优化问题

7.10 本章小结

参考文献

附录

机器学习是人工智能研究领域中一个极具发展生命力的研究应用分支，已成为信息科学领域解决实际问题的重要方法。《机器学习理论与算法》集中介绍了机器学习的一些典型方法、理论和应用领域，并首次系统地给出了构造性机器学习方法——覆盖算法。为了便于读者学习和研究书中所介绍的各类典型方法，在每章中还列出了相应的算法源代码。

《机器学习理论与算法》通过研究大量丰富的文献资料和科研成果，对机器学习典型算法的过去做了应有回顾，对现状做出了必要剖析，对未来进行了充分展望。

《机器学习理论与算法》可供高等院校计算机、自动化、电子工程等专业的高年级本科生、研究生、教师以及相关领域的研究人员与工程技术人员参考。

《机器学习理论与算法》主要阐述机器学习方面最主要的一些算法并进行详细的介绍，同时吸纳了国内外许多具有代表性的最新研究成果，特别是覆盖算法的理论分析和应用。全书取材新颖、内容丰富，注重理论与实际的结合，主要介绍基于数据的机器学习，即对于一种未知的依赖关系，以观测为基础对其进行估计。