混沌时间序列的小波神经网络预测方法及其优化研究

第一章 绪论

1.1 课题的目的和意义

1.2 混沌时间序列预测的背景和研究方法概述

1.2.1 混沌时间序列预测背景

1.2.2 混沌时间序列预测方法

1.3 小波理论及其研究进展

1.3.1 小波的基本概念

1.3.2 Mallat分解与重构算法

1.3.3 小波包分析及其分解与重构算法

1.3.4 提升小波变换

1.4 神经网络

1.4.1 神经网络简述

1.4.1.1 发展历史

1.4.1.2 基本构成——神经元

1.4.1.3 网络结构

1.4.1.4 学习方式

1.4.1.5 学习算法

1.5 小波神经网络简述

1.6 小波神经网络的优化方法

1.6.1 预备知识

1.6.2 序列二次规划（SQP）方法

1.6.3 非线性互补问题

1.7 本书的主要工作

1.8 本章小结

第二章 混沌分析原理及方法

2.1 引言

2.2 混沌的数学理论基础

2.3 混沌分析原理及方法

2.3.1 混沌的基本概念

2.3.2 吸引子及其特征描述

2.3.2.1 重构吸引子

2.3.2.2 李雅普诺夫指数

2.4 混沌现象的判别

2.5 实证分析

2.6 本章小结

第三章 小波神经网络

3.1 小波神经网络的数学基础

3.2 小波神经网络典型结构

3.3 多分辨小波神经网络

3.3.1 小波神经网络算法分析

3.3.2 多分辨小波神经网络的构造过程

3.4 本章小结

第四章 多分辨小波神经网络在混沌时间序列预测中的应用

4.1 小波去噪

4.2 相空间重构

4.2.1 选择延迟时间τ

4.2.2 嵌入维数的选择

4.2.3 股价指数序列相空间重构

4.3 MRA-WNN预测模型

4.4 网络训练算法

4.4.1 多分辨率的学习算法

4.4.2 BP和多分辨率学习组合算法

4.4.3 小波函数的选择

4.5 实证分析

4.6 本章小结

第五章 基于非单调的无罚函数方法的小波神经网络的优化方法研究

5.1 算法引言

5.1.1 分段柯西下降条件

5.1.2 SQP搜索方向的合成

5.1.3 非单调滤子概念

5.2 非单调滤子算法

5.2.1 算法

5.2.2 算法的收敛性

5.2.3 数值试验

5.2.4 非单调滤子算法的小波神经网络优化仿真验证

5.3 修正的非单调无罚函数方法

5.3.1 算法

5.3.2 算法的收敛性

5.3.2 数值试验

5.3.3 修正的非单调无罚函数算法的小波神经网络优化仿真验证

5.4 本章小结

第六章 无罚函数方法与非线性互补问题相结合的小波神经网络优化方法研究

6.1 引言

6.2 算法

6.3 算法的收敛性

6.4 数值试验

6.5 算法的仿真验证

6.6 本章小结

第七章 基于无罚函数SQP方法的小波神经网络的优化方法研究

7.1 算法引言

7.2 修正的SQP滤子方法

7.3 算法的全局收敛性

7.4 算法的局部超线性收敛性

7.5 数值试验

7.6 算法的仿真验证

7.7 本章小结

第八章 基于新的无罚函数法的小波神经网络的优化方法研究

8.1 算法引言

8.2 带NCP函数的无罚函数信赖域方法

8.2.1 算法

8.2.2 算法的局部收敛性

8.2.3 算法的局部超线性收敛性

8.2.4 数值实验

8.3 积极集无罚函数方法

8.3.1 算法

8.3.2 算法的可执行性

8.3.3 算法的全局收敛性

8.3.4 数值实验

8.4 算法的仿真验证

8.5 本章小结

第九章 基于填充函数法的小波神经网络的优化方法研究

9.1 新的填充函数的构造

9.2 算法的数值检验

9.3 基于填充函数的小波神经网络训练算法

9.4 算法的仿真验证

9.5 本章小结

第十章 基于自适应退火遗传算法的小波神经网络优化方法研究

10.1 自适应退火遗传算法描述

10.2 自适应退火遗传算法的收敛性证明

10.3 算法的数值检验

10.4 算法的仿真验证

10.5 本章小结

第十一章 结论与展望

11.1 结论

11.2 进一步工作的方向

参考文献

预测是作决策、规划之前的必不可少的重要环节，是科学决策、规划的重要前提。混沌时间序列预测是预测领域内的一个重要研究方向。基于小波和人工神经网络的混沌时间序列预测研究是近几年来的研究热点，受到了特别的重视。小波神经网络是结合小波变换理论与人工神经网络的思想而构造的一种新的神经网络模型，它结合了小波变换良好的时频局域化性质及神经网络的自学习功能，因而具有较强的逼近能力和容错能力。
　　自从小波神经网络被提出以后，它在非线性函数或信号逼近、信号表示和分类、系统辨识和动态建模、非平稳时间序列预测与分析等许多领域中被较为广泛地应用。尽管如此，将小波和人工神经网络理论应用到预测还有许多不尽如人意和有待进一步研究的地方，还有很大的研究余地。姜爱萍编著的《混沌时间序列的小波神经网络预测方法及其优化研究》对此进行了深入分析和研究，主要研究了小波神经网络的构造、学习和优化以及小波神经网络在混沌时间序列预测中的应用，构建了适应于混沌时间序列短期预测的模型，并将其应用于中国股票价格预测。《混沌时间序列的小波神经网络预测方法及其优化研究》主要研究成果与创新点分述如下：（1）用混沌理论及其分析方法对非线性时间序列进行了研究，为混沌时间序列的短期预测性提供了理论基础。
　　并以上证综合指数为例，通过对其进行相空间重构，反映了股指序列具有吸引子结构。同时，对股指序列进行了确定性检验，求取最大李雅普诺夫指数。根据最大李雅普诺夫指数，确定了上证综合指数序列具有混沌特性，这为探求股指变化规律和正确建立其短期预测模型奠定了基础。
　　（2）从小波神经网络构造理论出发，详细介绍了小波神经网络的数学基础和性质，对目前广泛应用的四种小波神经网络的结构进行了深入分析，根据网络算法、逼近细节能力、包含频域信息广等方面因素，提出多分辨小波神经网络更适合混沌时间序列预测，因为多分辨小波神经网络既能逼近混沌时间序列的整体变化趋势，又能捕捉细节的变化。
　　（3）利用相空间重构技术，把消噪后得到的状态矢量作为多分辨小波神经网络的多维输入，构建了多维多分辨小波神经网络预测模型，将其应用于混沌时间序列预测，并给出了实现方法。针对多分辨小波神经网络提出了BP和多分辨率学习组合算法，解决了传统学习算法网络隐层节点数难以确定的问题，克服了BP网络单尺度学习算法很难学习复杂的时间序列的不足。以上证综合指数为例，分别采用具有相同结构的MRA—WNN和RBF_VJNN预测模型对股价时序进行预测，仿真结果表明，多分辨小波神经网络具有较高的预测精度。
　　（4）给出了小波神经网络的优化的两类非单调的方法。一类是非单调的滤子方法，并且证明了该算法是全局收敛到一阶临界点。这个算法不同于传统的滤子信赖域方法，因为它使用了试探步的切向和法向的分解；也不同于Gould提出的非单调方法，因为本书提出的非单调性更为松弛。这使得在不引入二阶校正步的情况下改进了滤子方法。同时也不再定义支配区域的边界，而直接使用面积，这样也相应简化了算法。另一类是非单调的无罚函数方法，该方法利用非单调线搜索和对于约束违反度函数的可行性恢复阶段来达到目标函数和约束违反度函数之间的平衡，而非单调的方法在M一1时是等价于单调方法的，非单调方法从M步看来仍然是单调的。当然，在这种方法中，也可以采用试探步分解的技术，然后利用滤子来做接受性的检验。进一步地，我们还可以将非单调的滤子方法推广到一般的约束最小化问题之中，数值结果表明这种方法也是可执行的且是有效的，并用此两种方法作为训练小波神经网络的优化新算法。
　　（5）提出将无罚函数方法与非线性互补问题相结合用于小波神经网络的优化，将互补问题转化为约束优化问题，应用约束优化问题的策略和技巧对其求解，融入无罚函数的概念，并得到了算法的收敛性。同时，其数值结果也表明这类算法和同类的其他方法比起来更为灵活，且具有更好的数值效果。
　　（6）提出基于修正的SQP滤子方法的小波神经网络的优化，修正了序列二次规划子问题，使得二次规划子问题在每个迭代处总是可解的，同时不用线搜索，提出了修正的滤子方法。另外，引入积极集策略，减小运算量。当第一次得到的搜索方向不被滤子接受时，不是直接舍弃它，而是转而以这个方向为基础，构造另一个可行下降的搜索方向。并在此基础上加入了线搜索，得到了带线搜索的滤子方法，其数值结果也说明基于修正的SQP滤子方法的小波神经网络的优化是有效的。
　　（7）提出基于新的无罚函数方法的小波神经网络的优化，应用NCP函数把约束优化问题转化为非线性非光滑方程的求解问题。运用分裂的思想将其分裂为光滑函数和非光滑函数之和，同时将NCP函数的信息融入了滤子对中，改造了原有的滤子对的形式，最终得到了算法的全局收敛性和局部超线性收敛性。
　　另外，为了求解大规模问题，结合积极集策略，提出了积极集滤子方法，得到了非单调的滤子方法简化小波神经网络优化运算的目的。
　　（8）用全局优化方法——填充函数法研究了小波神经网络的优化方法，构造了一种新的易于计算的单参数的填充函数，不仅证明了新构造的函数具有填充函数的性质，还把填充函数和BP算法相结合，提出一种训练小波神经网络的混合型全局优化新算法。
　　（9）在退火遗传算法的基础上提出一个新的自适应退火策略，将自适应退火策略用于选择概率的计算以增强算法的收敛性，在交叉和变异概率的选取上也进行了自适应处理，以进一步改善算法的稳定性和收敛性，并将此自适应退火遗传算法应用于小波神经网络权值的优化。

基于小波和人工神经网络的混沌时间序列预测研究是近几年来的研究热点，受到了特别的重视。小波神经网络是结合小波变换理论与人工神经网络的思想而构造的一种新的神经网络模型，它结合了小波变换良好的时频局域化性质及神经网络的自学习功能，因而具有较强的逼近能力和容错能力。《混沌时间序列的小波神经网络预测方法及其优化研究》主要研究了小波神经网络的构造、学习和优化以及小波神经网络在混沌时间序列预测中的应用，构建了适应于混沌时间序列短期预测的模型，并将其应用于中国股票价格预测。