模式识别研究及应用

目 录

第1章 概论 1

1.1 模式与模式识别 1

1.1.1 模式识别技术的发展概况 2

1.1.2 相关概念 3

1.1.3 描述模式的基本方法 3

1.1.4 模式识别系统的组成部分 4

1.1.5 统计模式识别的主要研究内容 5

1.2 优化设计特征空间问题 6

1.2.1 特征选择 7

1.2.2 特征提取 8

1.3 分类器设计问题 9

1.3.1 分类器设计的基本方法 11

1.3.2 分类器判别函数的设计 12

1.3.3 分类器选择的几个原则 14

1.3.4 分类器的使用方法 15

1.4 聚类器设计问题 16

1.4.1 聚类的基本概念 16

1.4.2 聚类的基本准则 17

1.5 模式识别的应用 18

1.5.1 车牌识别 18

1.5.2 生物医学工程中的应用 19

1.5.3 语音识别 20

1.5.4 说话人识别 21

1.6 本书的主要内容 24

第2章 特征处理技术 27

2.1 特征空间优化设计问题 27

2.1.1 引言 27

2.1.2 样本特征库初步分析 30

2.1.3 样品筛选处理 31

2.1.4 特征筛选处理 32

2.1.5 特征选择技术 33

2.1.6 特征提取技术 34

2.2 特征空间和特征空间分布的表示 35

2.2.1 特征空间的表示方法 35

2.2.2 特征空间的分布表示方法 39

2.3 特征评估准则 40

2.3.1 基于间隔的特征评估准则 40

2.3.2 基于互信息的特征评估准则 41

2.3.3 基于距离的特征评估准则 41

2.3.4 基于分类误差的特征评估准则 42

2.3.5 基于概率的特征评估准则 43

2.3.6 基于熵度量的特征评估准则 43

2.4 特征选择 44

2.4.1 特征选择的典型定义 44

2.4.2 特性选择的基本步骤 45

2.4.3 分支定界算法 47

2.4.4 次优搜索法 50

2.4.5 特征选择的几种新算法 51

2.5 特征提取 53

2.5.1 谱方法 54

2.5.2 线性谱方法 55

2.5.3 非线性谱方法 57

2.5.4 核方法 62

2.6 特征处理技术的应用 63

第3章 统计学习理论和支持向量机 67

3.1 引言 67

3.1.1 机器学习的发展历史和现状 68

3.1.2 有限小样本的预测学习方法 68

3.1.3 支持向量机算法的研究现状 69

3.2 机器学习的基本问题和方法 71

3.2.1 机器学习问题的表示方法 71

3.2.2 经验风险最小化 72

3.2.3 复杂性与泛化性能 73

3.3 统计学习理论的核心内容 74

3.3.1 学习过程一致性的条件 75

3.3.2 函数集的学习性能及VC维理论 76

3.3.3 泛化性能的界 76

3.3.4 结构风险最小化 77

3.4 支持向量机技术 78

3.4.1 引言 78

3.4.2 线性划分问题的支持向量机 79

3.4.3 推广的线性划分问题的支持向量机 81

3.4.4 线性不可分问题的支持向量机 82

3.5 支持向量机变形及其性质 84

3.5.1 无b齐次SVM算法 84

3.5.2 软间隔SVM算法系列 85

3.5.3 最小二乘SVM算法 86

3.5.4 单分类SVM算法系列 87

3.6 核方法 89

3.6.1 核方法的研究现状 89

3.6.2 核方法的原理及分类 90

3.6.3 核函数及常用形式 91

3.6.4 核支持向量机的MATLAB实现算法 91

3.7 支持向量机中核函数的选择 92

3.7.1 核函数选择的主要研究方向 92

3.7.2 核函数的选择 94

3.7.3 核函数中参数的选择 94

3.8 支持向量机及核技术的MATLAB实现 95

3.8.1 支持向量机训练方法代码 95

3.8.2 支持向量机分类方法代码 96

第4章 线性/非线性分类器 99

4.1 判别函数的基本概念 99

4.2 线性判别函数 100

4.2.1 线性判别函数的一般形式及决策面 100

4.2.2 设计线性判别函数的主要步骤 102

4.3 感知器算法 102

4.3.1 感知器算法概述 102

4.3.2 感知器算法的一个变形 105

4.3.3 感知器 106

4.3.4 口袋算法 106

4.4 增量校正算法 107

4.4.1 理论基础 107

4.4.2 算法概述 109

4.4.3 算法实现步骤 110

4.5 Fisher线性判别分析 110

4.6 最小二乘法 112

4.6.1 均方误差估计 112

4.6.2 随机逼近和LMS算法 114

4.6.3 误差平方和估计 116

4.7 分段线性判别函数 117

4.7.1 分段线性判别函数的基本思想 117

4.7.2 基于距离的分段线性判别函数 118

4.7.3 一般的分段线性判别函数 120

4.8 二次判别函数 122

4.9 非线性判别函数 123

4.9.1 线性分类器实现分类的局限性 123

4.9.2 非线性判别函数概述 123

4.10 多层感知器神经网络 124

4.10.1 引言 124

4.10.2 两层感知器神经网络 124

4.10.3 多层感知器神经网络 125

第5章 人工神经网络 131

5.1 前向反馈网络函数 131

5.2 网络训练 135

5.2.1 参数优化 136

5.2.2 局部二次逼近 137

5.2.3 梯度信息利用 140

5.2.4 梯度下降优化方法 140

5.3 误差反向传播 141

5.3.1 误差函数偏导数的估计 142

5.3.2 简单示例 145

5.3.3 反向传播算法的效率 146

5.3.4 雅可比矩阵 147

5.4 Hessian矩阵 149

5.4.1 对角逼近 150

5.4.2 外积逼近 151

5.4.3 逆Hessian矩阵 151

5.4.4 有限差分 152

5.4.5 Hessian矩阵的精确逼近 153

5.4.6 Hessian的快速乘法 154

5.5 神经网络的正则化 156

5.5.1 一致的高斯先验 157

5.5.2 提前终止 159

5.5.3 不变性 160

5.5.4 正切(直线)传播 161

5.5.5 用转换后的数据训练 162

5.5.6 卷积网络 164

第6章 模式分类方法 167

6.1 模式分类方法概述 167

6.2 大样本分类方法研究及应用 168

6.2.1 核心向量机算法 169

6.2.2 核心向量计算法能解决的核问题 173

6.2.3 基于点边界的大样本分类方法 177

6.2.4 基于点边界的大样本模糊分类方法 179

6.2.5 更为一般化的基于核心向量机算法的大样本快速分类方法 181

6.3 迁移分类方法研究及应用 185

6.3.1 引言 185

6.3.2 迁移分类学习概述 186

6.3.3 基于实例的迁移分类学习方法研究 190

6.3.4 基于特征的迁移分类学习方法研究 193

6.3.5 基于参数的迁移分类学习方法研究 194

6.4 协作式分类方法研究及应用 195

6.4.1 引言 195

6.4.2 协作式整体和局部的分类学习算法 197

6.4.3 广义的局部保留分类机算法 199

第7章 模式聚类方法 205

7.1 聚类方法概述 205

7.1.1 聚类分析的基本概念和步骤 205

7.1.2 常见的聚类分析方法介绍 207

7.1.3 其他聚类分析方法介绍 213

7.1.4 聚类分析面临的主要研究问题 214

7.2 动态聚类算法研究及应用 215

7.2.1 引言 215

7.2.2 基于距离的动态聚类分析算法研究 216

7.2.3 基于最近邻思想的动态聚类分析算法研究 217

7.3 模糊聚类算法研究及应用 220

7.3.1 引言 220

7.3.2 混合距离线性组合和模糊理论相结合的聚类算法 221

7.3.3 模糊理论、软子空间和特征加权思想相结合的聚类算法 225

7.4 大样本聚类方法研究及应用 228

7.4.1 引言 228

7.4.2 最小包含球理论和图论相结合的大样本数据聚类分析算法研究 229

7.4.3 快速压缩集密度估计器和相似度聚类算法相结合的大样本数据聚类分析算法 234

7.4.4 核密度估计理论和图论相结合的大样本数据聚类分析算法 238

第8章 模糊模式识别 243

8.1 模糊集的基本概念 243

8.1.1 隶属函数 243

8.1.2 模糊集合的表示 244

8.2 模糊集的简单运算及模糊关系 245

8.2.1 模糊子集的运算 245

8.2.2 模糊集运算的性质 246

8.2.3 截集的定义和性质 247

8.2.4 模糊关系 247

8.3 模糊模式分类方法 250

8.3.1 隶属原则的模糊模式分类方法 250

8.3.2 近邻原则的模糊模式分类方法 250

8.4 模糊模式聚类方法 252

8.4.1 从传统聚类分析方法到模糊聚类分析方法 252

8.4.2 模糊聚类分析方法 253

致谢 255

参考文献 257

本书全面介绍模式识别技术的基本概念和代表性方法，重点介绍各模式识别方法的研究前沿及发展方向。全书共8章，主要内容包括概论、特征处理技术、支持向量机及核技术、线性/非线性分类器、人工神经网络、分类方法、聚类方法及模糊模式识别。本书内容新颖、结构合理、语言简洁流畅，整体内容安排遵循实用性和系统性的原则，并且覆盖所研究领域的部分前沿问题。本书可作为高等学校计算机、控制与自动化等相关专业的本科生和研究生学习模式识别课程的参考书，也可作为致力于机器学习、数据挖掘及模式识别研究的广大研究人员的参考书。