神经计算原理

出版者的话

专家指导委员会

译者序

前言

致谢

重要符号和算符

重要缩写词

第一部分神经计算的基本概念和部分神经网络体系结构及其学习规则

第1章神经计算概述

1.1神经计算是什么

1.2神经计算的发展历史

1.3神经计算和神经科学

1.4神经网络的分类

1.5本书指南

参考文献

第2章神经计算的基本概念

2.1概述

2.2人工神经元的基本模型

2.3基本激活函数

2.4人工神经元的霍普菲尔德模型

2.5自适应线性单元和多重自适应线性单元

2.5.1简单自适应线性组合器和LMS算法

2.5.2自适应线性单元

2.5.3多重自适应线性单元

2.6简单感知器

2.6.1Mays感知器学习规则

2.6.2具有s形激活函数的简单感知器

2.7前馈多层感知器

2.8单个神经元基本学习规则概述

2.8.1广义的LMS学习规则

2.8.2Hebb学习

2.8.3Oja学习规则

2.8.4位势学习规则

2.8.5相关学习规则

2.8.6标准感知器学习规则

2.8.7广义感知器学习规则

2.9数据预处理

2.9.1规整

2.9.2变换

2.9.3傅里叶变换

2.9.4主成分分析

2.9.5部分最小二乘回归

2.9.6小波和小波变换

习题

参考文献

第3章映射网络

3.1概述

3.2联想记忆网络

3.2.1一般的线性分布式联想记忆

3.2.2相关矩阵记忆

3.2.3相关矩阵记忆的误差修正方法

3.3反向传播学习算法

3.3.1前馈多层感知器的基本反向传播算法

3.3.2使用标准反向传播中的一些实际问题

3.3.3具有动量更新的反向传播学习算法

3.3.4批量更新

3.3.5搜索然后收敛方法

3.3.6可变学习率的批量更新

3.3.7反向传播算法的向量矩阵形式

3.4加速学习反向传播算法

3.4.1前馈多层感知器的共轭梯度反向传播

3.4.2基于最小二乘的递归反向传播算法

3.4.3具有自适应激活函数斜度的反向传播

3.4.4L,evenbergMarquardt算法

3.5对传

3.6径向基函数神经网络

3.6.1训练具有固定中心的RBFNN

3.6.2用随机梯度方法训练RBFNN

3.6.3正交最小二乘

习题

参考文献

第4章自组织网络

4.1概述

4.2Kohonen自组织映射

4.3学习向量的量化

4.4自适应共振理论(ART)神经网络

4.4.1ART1

4.4.2模糊ART和模糊ARTMAP

习题

参考文献

第5章递归网络和时间前馈网络

5.1概述

5.2递归神经网络概述

5.3霍普菲尔德联想记忆

5.4模拟退火

5.5玻尔兹曼机

5.6时间前馈网络概述

5.7简单递归网络

5.8时延神经网络

5.9分布式时滞前馈神经网络

习题

参考文献

第二部分神经计算的应用

第6章用神经网络解决最优化问题

6.1概述

6.2解决线性规划问题的神经网络

6.2.1解决LP问题标准形式的神经网络

6.2.2解决LP问题非标准形式的神经网络

6.3解决二次规划问题的神经网络

6.4解决非线性连续约束最优化问题的神经网络

6.4.1罚函数NP方法的神经网络

6.4.2障碍函数NP方法的神经网络

6.4.3普通拉格朗日乘子NP方法的神经网络

6.4.4增广拉格朗日乘子方法的神经网络

习题

参考文献

第7章用神经网络解决矩阵代数问题

7.1概述

7.2矩阵的逆和伪逆

7.3LU分解

7.4QR因子分解

7.5舒尔分解

7.6谱因子分解特征值分解(EVD)(对称特征值问题)

7.7对称特征值问题的神经网络方法

7.8奇异值分解

7.9求解代数李雅普诺夫方程的神经计算方法

7.10求解代数里卡蒂方程的神经计算方法

习题

参考文献

第8章使用神经网络求解线性代数方程组

8.1概述

8.2联立线性代数方程组

8.3线性方程组的最小二乘解

8.4求解线性方程组的最小二乘神经计算方法

8.5求解线性方程组的共轭梯度学习规则

8.6求解受噪声侵扰的线性方程组的广义鲁棒方法

8.7带病态确定数值秩的不适定问题的正则化方法

8.8求解线性方程组的离散时间迭代方法

中的矩阵分裂

8.9总体最小二乘问题

8.10求解线性方程组的L范数(最小最大)神经网络

8.11求解线性方程的L1范数(最小绝对偏差)神经网络

习题

参考文献

第9章使用神经网络的统计方法

9.1概述

9.2主成分分析

9.3神经网络自适应主成分估计的学习算法

9.3.1第一主成分估计Oja的正规化Hebb学习规则

9.3.2多个主成分估计对称子空间学习规则

9.3.3多个主成分估计广义Hebb算法

9.3.4多个主成分估计随机梯度上升算法

9.3.5多个主成分估计自适应主成分提取算法

9.3.6非线性主成分分析(NLPCA)和鲁棒PCA

9.4主成分回归

9.5部分最小二乘回归

9.6部分最小二乘回归的神经网络方法

9.7鲁棒PLSR：一种神经网络方法

习题

参考文献

第10章使用神经网络进行辨识、

控制和估计

10.1概述

10.2线性系统的表示法

lO.3自回归滑动平均模型

10.4用ARMA模型的线性系统辨识

10.5应用PLSNET进行线性系统的参数系统辨识

10.6非线性系统的表示法

10.6.1非线性输入一状态一输出表示法

10.6.2非线性ARMA

10.7非线性动态系统的辨识和控制

10.7.1非线性系统的辨识

10.7.2非线性控制

10.8独立成分分析：未知源信号的盲分离

10.8.1独立成分分析的概述

10.8.2用神经网络进行独立成分分析

10.8.3用于ICA的快速固定点算法

10.9可加噪声中的正弦曲线的谱估计

10.9.1问题描述

10.9.2频率估计问题的PLSR解

10.10其他案例分析

10.10.1从近红外谱模拟数据估计葡萄糖浓度

10.10.2使用次声数据进行事件分类

习题

参考文献

附录A神经计算的数学基础

A.1引言

A.2线性代数

A.2.1域和向量空间

A.2.2矩阵的表示和运算

A.2.3内积和外积

A.2.4向量的线性无关

A.2.5矩阵的秩和线性无关

A.2.6矩阵的确定性

A.2.7矩阵的逆和伪逆

A.2.8正交矩阵、酉矩阵和共轭向量

A.2.9特征值和特征向量

A.2.10相似变换

A.2.1l若当标准形

A.2.12动态系统的状态空间描述

A.2.13向量和矩阵的范数

A.2.14奇异值分解

A.2.15矩阵条件数

A.2.16分块矩阵运算

A.2.17克罗内克积与和

A.2.18实数和复数方阵的重要性质小结

A.2.19模式化矩阵和特殊矩阵

A.3多变量分析的原理

A.3.1集合和函数

A.3.2二次型

A.3.3链式法则

A.3.4.矩阵微积分

A.3.5黑塞矩阵

A.3.6雅可比矩阵

A.3.7泰勒级数展开式

A.4李雅普诺夫直接法

A.5无约束最优化方法

A.5.1极值的充分必要条件

A.5.2最速下降法

A.5.3牛顿法

A.5.4改进的牛顿法和拟牛顿法

A.5.5共轭梯度法

A.6约束非线性规划

A.6.1库恩一塔克条件

A.6.2拉格朗日乘子法

A.7随机变量和随机过程

A.7.1随机变量

A.7.2概率分布函数

A.7.3概率密度函数

A.7.4期望值、均值和矩

A.7.5随机过程

A.7.6向量随机过程

A.7.7功率谱密度函数和功率谱密度矩阵

A.7.8白噪声驱动的线性系统和谱因子分解

A.8模糊集合论

A.9部分三角恒等式

参考文献

主题索引

　　本书是神经网络领域中的一部优秀教材，着重讲述人工神经网络基本原理以及如何运用各种神经计算技术来解决科学和工程领域中的现实问题，如模式识别、最优化、事件分类、非线性系统的控制和识别以及统计分析等。本书适合作为高等院校计算机专业高年级本科生或研究生的教材，也可供人工智能及神经网络方面的研究人员和专业技术人员参考。　　本书比较系统全面地介绍了人工神经网络的理论和实际应用，特别在神经网络模型和工程应用方面有极为深入的分析和讲解。全书不仅深入分析神经网络的基本概念，而且详细介绍神经网络应用方面的最新发展趋势和主要研究方向。本书理论和实际应用紧密结合，为神经网络的相关理论知识在具体问题中的应用打下了坚实的基础。