核自适应滤波

第1章 背景与展望

1.1 监督、序贯和主动学习

1.2 线性自适应滤波器

1.2.1 最小均方算法

1.2.2 递归最小二乘算法

1.2.3 扩展递归最小二乘算法

1.3 非线性自适应滤波器

1.4 再生核希尔伯特空间

1.5 核自适应滤波器

1.6 总结

注释

第2章 核最小均方算法

2.1 最小均方算法

2.1.1 LMS算法的收敛性

2.1.2 LMS算法的失调

2.1.3 学习曲线

2.2 核最小均方算法

2.3 核及参数选择

2.4 步进参数

2.5 新奇准则

2.6 KLMS算法的自正则化特性

2.6.1 解范式约束

2.6.2 奇异值分析

2.6.3 单位下三角线性系统

2.7 泄漏核最小均方算法

2.8 标准核最小均方算法

2.9 核ADALINE算法

2.10 资源配置网络

2.11 计算机实验

2.11.1 KLMS算法应用于Mackey.Glass时间序列预测

2.11.2 KLMS应用于非线性信道均衡

2.12 结论

注释

第3章 核仿射投影算法

3.1 仿射投影算法

3.2 核仿射投影算法

3.2.1 KAPA.1(简单KAPA)

3.2.2 KAPA.2(标准化KAPA)

3.2.3 KAPA.3(泄漏KAPA)

3.2.4 KAPA4(基于牛顿递归的泄漏KAPA)

3.3 误差重用

3.4 滑动窗口Gram矩阵逆

3.5 相关算法之间的关系

3.5.1 KLMS算法

3.5.2 NORMA算法

3.5.3 核ADALINE算法

3.5.4 滑动窗核递归最小二乘算法

3.5.5 正则化网络

3.6 计算机实验

3.6.1 KAPA应用于MG时间序列预测

3.6.2 KAPA应用于消除噪声

3.6.3 KAPA应用于非线性信道均衡

3.7 结论

注释

第4章 核递归最小二乘算法

4.1 递归最小二乘算法

4.1.1 正则化和初始化

4.2 指数加权递归最小二乘算法

4.3 核递归最小二乘算法

4.4 近似线性相关

4.5 指数加权核递归最小二乘算法

4.6 高斯过程线性回归

4.7 高斯过程非线性回归

4.8 贝叶斯模型选择

4.9 计算机实验

4.9.1 KRLS应用于Mackey—Glass时间序列预测

4.9.2 最大边际似然进行模型选择

4.10 结论

注释

第5章 扩展核递归最小二乘算法

5.1 扩展递归最小二乘算法

5.2 指数加权扩展递归最小二乘算法

5.3 扩展核递归最小二乘算法

5.4 扩展核递归最小二乘算法用于跟踪模型

5.5 有限秩假设的扩展核递归最小二乘算法

5.6 计算机实验

5.6.1 EXKRLS应用于瑞利信道跟踪

5.6.2 EXKRLS在洛伦兹时间序列预测中的应用

5.7 结论

注释

第6章 稀疏核自适应滤波器设计

6.1 惊奇测度SC定义

6.2 高斯过程回归复习

6.3 计算惊奇测度SC

6.3.1 输入分布

6.3.2 未知的期望信号

6.3.3 新奇概率

6.4 使用惊奇准则的核递归最小二乘算法

6.5 使用惊奇准则的核最小均方算法

6.6 使用惊奇准则的核仿射投影算法

6.7 计算机实验

6.7.1 惊奇准则应用于非线性回归

6.7.2 惊奇准则应用于MG时间序列预测

6.7.3 sc准则应用于C0，浓度预测

6.8 结论

注释

附录A 数学背景

A.1 奇异值分解

A.1.1 伪逆

A.1.2 最小范数解

A.2 正定矩阵

A.3 特征值分解

A.4 Schur补

A.5 块矩阵求逆

A.6 矩阵求逆引理

A.7 联合概率、边缘概率和条件概率

A.8 正态分布

A.9 梯度下降法

A.10 牛顿法

附录B 近似线性相关与系统稳定性

参考文献

后记

《核自适应滤波》首先通过一个被称 为再生核的正定函数推导出再生核希尔 伯特空间(Reproduction Kernel Hilbert Spaces， RKHS)理论，该理论 可以将输入数据非线性变换到高维特征空间。如果在 RKHS空间将要 进行的滤波和自适应操作可以表示为投影样本的内积 ，那么在输入空 间这些操作就可以直接通过核评价公式(Kernel Evaluations)来计算。
基于此方法，我们将进一步介绍RKHS空间的自适应滤 波算法家族： ·核最小均方算法； ·核仿射投影算法； ·核递归最小均方算法； ·扩展核递归最小均方算法。
这些核学习算法在两个重要领域——自适应滤波 和神经网络之 间构建了一个紧密桥梁，并且将误差修正学习和记忆 学习两大重要方 法学完美地集于一身。将RKHS方法应用于非线性滤波 设计的瓶颈在 于如何正则化、选择合适的核函数以及如何对滤波器 生长过程进行削 减。本书将采用严格的数学推导形式，指出这些问题 ，同时给出具体 的解决方法，并且通过具体实例展示核自适应滤波方 法的优越性能。
《核自适应滤波》适合对自适应滤波、神经网络和核方法感兴 趣的工程师、计 算机科学家以及研究生等使用。