模式识别

第1章 导论 1

1.1 模式识别的重要性 1

1.2 特征、特征向量和分类器 3

1.3 有监督、无监督和半监督学习 4

1.4 MATLAB程序 6

1.5 本书的内容安排 6

第2章 基于贝叶斯决策理论的分类器 8

2.1 引言 8

2.2 贝叶斯决策理论 8

2.3 判别函数和决策面 12

2.4 正态分布的贝叶斯分类 13

2.5 未知概率密度函数的估计 23

2.6 最近邻规则 42

2.7 贝叶斯网络 44

习题 49

MATLAB编程和练习 55

参考文献 60

第3章 线性分类器 63

3.1 引言 63

3.2 线性判别函数和决策超平面 63

3.3 感知器算法 64

3.4 最小二乘法 70

3.5 均方估计的回顾 75

3.6 逻辑识别 80

3.7 支持向量机 81

习题 97

MATLAB编程和练习 99

参考文献 100

第4章 非线性分类器 104

4.1 引言 104

4.2 异或问题 104

4.3 两层感知器 105

4.4 三层感知器 108

4.5 基于训练集准确分类的算法 109

4.6 反向传播算法 110

4.7 反向传播算法的改进 115

4.8 代价函数选择 117

4.9 神经网络大小的选择 119

4.10 仿真实例 123

4.11 具有权值共享的网络 124

4.12 线性分类器的推广 125

4.13 线性二分法中维空间的容量 126

4.14 多项式分类器 127

4.15 径向基函数网络 129

4.16 通用逼近 131

4.17 概率神经元网络 132

4.18 支持向量机：非线性情况 134

4.19 超越SVM的范例 137

4.20 决策树 146

4.21 合并分类器 150

4.22 合并分类器的增强法 155

4.23 类的不平衡问题 160

4.24 讨论 161

习题 161

MATLAB编程和练习 164

参考文献 168

第5章 特征选择 178

5.1 引言 178

5.2 预处理 178

5.3 峰值现象 180

5.4 基于统计假设检验的特征选择 182

5.5 接收机操作特性（ROC）曲线 187

5.6 类可分性测量 188

5.7 特征子集的选择 193

5.8 最优特征生成 196

5.9 神经网络和特征生成/选择 203

5.10 推广理论的提示 204

5.11 贝叶斯信息准则 210

习题 211

MATLAB编程和练习 213

参考文献 216

第6章 特征生成I：线性变换 221

6.1 引言 221

6.2 基本向量和图像 221

6.3 Karhunen-Loève变换 223

6.4 奇异值分解 229

6.5 独立成分分析 234

6.6 非负矩阵因子分解 239

6.7 非线性维数降低 240

6.8 离散傅里叶变换（DFT） 248

6.9 离散正弦和余弦变换 251

6.10 Hadamard变换 252

6.11 Haar变换 253

6.12 回顾Haar展开式 254

6.13 离散时间小波变换（DTWT） 257

6.14 多分辨解释 264

6.15 小波包 265

6.16 二维推广简介 266

6.17 应用 268

习题 271

MATLAB编程和练习 273

参考文献 275

第7章 特征生成II 282

7.1 引言 282

7.2 区域特征 282

7.3 字符形状和大小的特征 298

7.4 分形概述 304

7.5 语音和声音分类的典型特征 309

习题 320

MATLAB编程和练习 322

参考文献 325

第8章 模板匹配 331

8.1 引言 331

8.2 基于最优路径搜索技术的测度 331

8.3 基于相关的测度 342

8.4 可变形的模板模型 346

8.5 基于内容的信息检索：相关反馈 349

习题 352

MATLAB编程和练习 353

参考文献 355

第9章 上下文相关分类 358

9.1 引言 358

9.2 贝叶斯分类器 358

9.3 马尔可夫链模型 358

9.4 Viterbi算法 359

9.5 信道均衡 362

9.6 隐马尔可夫模型 365

9.7 状态驻留的HMM 373

9.8 用神经网络训练马尔可夫模型 378

9.9 马尔可夫随机场的讨论 379

习题 381

MATLAB编程和练习 382

参考文献 384

第10章 监督学习：尾声 389

10.1 引言 389

10.2 误差计算方法 389

10.3 探讨有限数据集的大小 390

10.4 医学图像实例研究 393

10.5 半监督学习 395

习题 404

参考文献 404

第11章 聚类：基本概念 408

11.1 引言 408

11.2 近邻测度 412

习题 427

参考文献 428

第12章 聚类算法I：顺序算法 430

12.1 引言 430

12.2 聚类算法的种类 431

12.3 顺序聚类算法 433

12.4 BSAS的改进 436

12.5 两个阈值的顺序方法 437

12.6 改进阶段 439

12.7 神经网络的实现 440

习题 443

MATLAB编程和练习 444

参考文献 445

第13章 聚类算法II：层次算法 448

13.1 引言 448

13.2 合并算法 448

13.3 cophenetic矩阵 465

13.4 分裂算法 466

13.5 用于大数据集的层次算法 467

13.6 最佳聚类数的选择 472

习题 474

MATLAB编程和练习 475

参考文献 477

第14章 聚类算法III：基于函数最优方法 480

14.1 引言 480

14.2 混合分解方法 481

14.3 模糊聚类算法 487

14.4 可能性聚类 502

14.5 硬聚类算法 506

14.6 向量量化 513

附录 514

习题 515

MATLAB编程和练习 516

参考文献 519

第15章 聚类算法IV 523

15.1 引言 523

15.2 基于图论的聚类算法 523

15.3 竞争学习算法 533

15.4 二值形态聚类算法 540

15.5 边界检测算法 546

15.6 谷点搜索聚类算法 548

15.7 通过代价最优聚类（回顾） 550

15.8 核聚类方法 555

15.9 对大数据集的基于密度算法 558

15.10 高维数据集的聚类算法 562

15.11 其他聚类算法 572

15.12 聚类组合 573

习题 578

MATLAB编程和练习 580

参考文献 582

第16章 聚类有效性 591

16.1 引言 591

16.2 假设检验回顾 591

16.3 聚类有效性中的假设检验 593

16.4 相关准则 600

16.5 单独聚类有效性 612

16.6 聚类趋势 613

习题 620

参考文献 622

附录A 概率论和统计学的相关知识 626

附录B 线性代数基础 635

附录C 代价函数的优化 637

附录D 线性系统理论的基本定义 649

索引 652

《模式识别（第4版）》全面阐述了模式识别的基础理论、全新方法以及各种应用。模式识别是信息科学和人工智能的重要组成部分，主要应用领域有图像分析、光学字符识别、信道均衡、语言识别和音频分类等。《模式识别（第4版）》在完美地结合当前的理论与实践的基础上，讨论了贝叶斯分类、贝叶斯网络、线性和非线性分类器设计、上下文相关分类、特征生成、特征选取技术、学习理论的基本概念以及聚类概念与算法。与前一版相比，增加了大数据集和高维数据相关的全新算法，这些算法适用于Web挖掘和生物信息等应用；提供了全新的分类器和鲁棒回归的核方法；分类器组合技术，包括Boosting方法。新增一些热点问题，如非线性降维、非负矩阵因数分解、关联性反馈、鲁棒回归、半监督学习、谱聚类和聚类组合技术。每章均提供有习题与练习，用MATLAB求解问题，给出一些例题的多种求解方法：且支持网站上提供有习题解答，以便于读者增加实际经验。
　　《模式识别（第4版）》可作为高等院校自动化、计算机、电子和通信等专业研究生和高年级本科生的教材，也可作为计算机信息处理、自动控制等相关领域的工程技术人员的参考用书。

《模式识别（第4版）》综合考虑了有监督、无监督和半监督模式识别的经典的以及当前的理论和实践，为专业技术人员和高校学生建立起了完整的基本知识体系。《模式识别（第4版）》由模式识别领域的两位专家合著，全面阐述了模式识别的基础理论、全新方法、以及各种应用。在第四版中增加了一些全新方法，具体有：半监督学习、非线性降维技术和谱聚类。
　　主要特点
　　增加了大数据集和高维数据相关的全新算法，这些算法适用于Web挖掘和生物信息等应用。涵盖了不同的应用，例如图像分析、光学字符识别、信道均衡、语言识别和音频分类等。提供了全新的分类器和鲁棒回归的核方法。分类器组合技术，包括Boostirlg方法。
　　新特色
　　用MATLAB求解问题给出一些例题的多种求解方法给出更多的图解新增了一些热点问题，如：非线性降维、非负矩阵因数分解、关联性反馈、鲁棒回归、半监督学习、谱聚类和聚类组合技术