人工神经网络理论、设计及应用

1绪论

1.1人脑与计算机

1.1.1人脑与计算机信息处理能力的比较

1.1.2人脑与计算机信息处理机制的比较

1.1.3什么是人工神经网络

1.2人工神经网络发展简史

1.2.1启蒙时期

1.2.2低潮时期

1.2.3复兴时期

1.2.4新时期

1.2.5国内研究概况

1.3神经网络的基本特征与功能

1.3.1神经网络的基本特征

1.3.2神经网络的基本功能

1.4神经网络的应用领域

1.4.1信息处理领域

1.4.2自动化领域

1.4.3工程领域

1.4.4经济领域

1.4.5医学领域

本章小结

思考与练习

2神经网络基础知识

2.1人工神经网络的生物学基础

2.1.1生物神经元的结构

2.1.2生物神经元的信息处理机理

2.2人工神经元模型

2.2.1神经元的建模

2.2.2神经元的数学模型

2.2.3神经元的转移函数

2.3人工神经网络模型

2.3.1网络拓扑结构类型

2.3.2网络信息流向类型

2.4神经网络学习

2.4.1Hebb学习规则

2.4.2Perceptron学习规则

2.4.3δ学习规则

2.4.4LMS学习规则

2.4.5Correlation学习规则

2.4.6Winner-Take-All学习规则

2.4.7Outstar学习规则

本章小结

思考与练习

3监督学习神经网络

3.1单层感知器

3.1.1感知器模型

3.1.2单节点感知器的功能分析

3.1.3感知器的学习算法

3.1.4感知器的局限性及解决途径

3.2基于误差反传的多层感知器BP神经网络

3.2.1BP网络模型

3.2.2BP学习算法

3.2.3BP算法的程序实现

3.2.4BP网络的主要能力

3.2.5误差曲面与BP算法的局限性

3.3BP算法的改进

3.3.1增加动量项

3.3.2自适应调节学习率

3.3.3引入陡度因子

3.4BP网络设计基础

3.4.1网络信息容量与训练样本数

3.4.2训练样本集的准备

3.4.3初始权值的设计

3.4.4BP网络结构设计

3.4.5网络训练与测试

3.5BP网络应用与设计实例

3.5.1BP网络用于催化剂配方建模

3.5.2BP网络用于汽车变速器最佳挡位判定

3.5.3BP网络用于图像压缩编码

3.5.4BP网络用于水库优化调度

3.5.5BP网络用于证券预测

3.5.6BP网络用于信用评价模型及预警

本章小结

思考与练习

4竞争学习神经网络

4.1竞争学习的概念与原理

4.1.1基本概念

4.1.2竞争学习原理

4.2自组织特征映射神经网络

4.2.1SOM网的生物学基础

4.2.2SOM网的拓扑结构与权值调整域

4.2.3自组织特征映射网的运行原理与学习算法

4.3自组织特征映射网络的设计与应用

4.3.1SOM网的设计基础

4.3.2设计与应用实例

4.4自适应共振理论

4.4.1ARTⅠ型网络

4.4.2ARTⅠ型网络的应用

4.4.3ARTⅡ型网络

4.4.4ARTⅡ型网络的应用

本章小结

思考与练习

5组合学习神经网络

5.1学习向量量化神经网络

5.1.1向量量化

5.1.2LVQ网络结构与工作原理

5.1.3LVQ网络的学习算法

5.1.4LVQ网络的设计与应用

5.2对向传播神经网络

5.2.1网络结构与运行原理

5.2.2CPN的学习算法

5.2.3改进的CPN网举例

5.2.4CPN网的应用

本章小结

思考与练习

6反馈神经网络

6.1离散型Hopfield神经网络

6.1.1网络的结构与工作方式

6.1.2网络的稳定性与吸引子

6.1.3网络的权值设计

6.1.4网络的信息存储容量

6.2连续型Hopfield神经网络

6.2.1网络的拓扑结构

6.2.2能量函数与稳定性分析

6.3Hopfield网络应用与设计实例

6.3.1应用DHNN网解决联想问题

6.3.2应用CHNN网解决优化计算问题

6.4双向联想记忆神经网络

6.4.1BAM网结构与原理

6.4.2能量函数与稳定性

6.4.3BAM网的权值设计

6.4.4BAM网的应用

6.5随机神经网络

6.5.1模拟退、火原理

6.5.2Boltzmann机

6.6递归神经网络

6.6.1递归网络模型

6.6.2递归网络的学习算法

6.6.3递归网络应用举例

本章小结

思考与练习

7小脑模型神经网络

7.1CMAC网络的结构

7.2CMAC网络的工作原理

7.2.1从X到M的映射

7.2.2从M到A的映射

7.2.3从A到Ap的映射

7.2.4从Ap到F的映射

7.3CMAC网络的学习算法

7.3.1CMAC网络的学习算法

7.3.2CMAC网络的特点

7.4CMAC网络的应用

7.4.1CMAC网络在机器人手臂协调控制中的应用

7.4.2CMAC网络在有源噪声控制中的应用

本章小结

思考与练习

8基于数学原理的神经网络

8.1径向基函数RBF

8.1.1基于径向基函数技术的函数逼近与内插

8.1.2正则化RBF神经网络

8.1.3广义RBF神经网络

8.1.4RBF网络与BP网络的比较

8.1.5RBF网络设计应用实例

8.2主分量分析

8.2.1主分量分析方法概述

8.2.2前向PCA神经网络及学习算法

8.2.3侧向连接自适应PCA神经网络及APEX算法

8.3支持向量机

8.3.1支持向量机的基本思想

8.3.2支持向量机神经网络

8.3.3支持向量机的学习算法

8.3.4支持向量机处理xOR问题

本章小结

9神经网络的系统设计与软件实现

9.1神经网络系统总体设计

9.1.1神经网络的适用范围

9.1.2神经网络的设计过程与需求分析

9.1.3神经网络的性能评价

9.1.4输入数据的预处理

9.2神经网络的软件实现

9.2.1软件运行的若干问题

9.2.2软件实现的若干问题

9.3神经网络的高级开发环境

9.3.1神经网络的开发环境及其特征

9.3.2MATLAB神经网络工具箱

9.3.3其他神经网络开发环境简介

10神经网络研究展望

10.1人工神经网络研究中的几个问题

10.2人工神经网络研究展望

10.2.1应用研究的新特点多学科综合

10.2.2实现技术研究的当务之急神经网络的硬件实现

10.2.3理论研究的新方向从人工神经网络到人工神经系统

附录1常用神经网络C语言源程序

附录2神经网络常用术语英汉对照

参考文献

　　本书主要介绍了神经网络基础知识、监督学习神经网络、竞争学习神经网络、组合学习神经网络、反馈神经网络、小脑模型神经网络、基于数学原理的神经网络、神经网络的系统设计与软件实现等内容。是一本内容丰富、结构合理、深入浅出、学用结合的好书，受到广大师生和读者的欢迎与好评。　　该书系统地论述了人工神经网络的主要理论和设计基础，给出了大量应用实例，旨在使读者了解神经网络的发展背景和研究对象，理解和熟悉其基本原理和主要应用，掌握其结构模型和基本设计方法，为以后的深入研究和应用开发打下基础。　　作者连续11年为电气信息类专业研究生及本科高年级学生开设“人工神经网络理论与应用”课程，2002年在多次修改讲义和多项科研成果基础上形成本书的第一版。本书第二版对原书约1/3的内容进行了更新，对保留内容进行了修改。取材注意内容的典型性和先进性，编排注意内容的逻辑性，阐述注重物理概念的清晰性，举例与思考练习的安排注意了内容的实践性，常用神经网络及算法的介绍着重于实用性。　　本书适合高等院校电气信息类专业和经济管理类专业的研究生、本科生以及科研人员阅读。