大规模人工神经网络系统理论

第1章 绪论

1. 1 人工神经网络介绍

1. 1. 1 人工神经网络的概述和发展史

1. 1. 2 神经元的形式化描述和人工神经网络模型

1. 2 人工神经网络的发展趋势

1. 2. 1 生物智能的启发

1. 2. 2 泛化能力

1. 2. 3 人工神经网络的发展趋势

1. 3 神经场学习理论

1. 3. 1 神经场理论的目的和意义

1. 3. 2 神经场理论的研究现状

1. 4 知识可增殖人工神经网络

参考文献

第2章 系统熵

2. 1 信息论的原理

2. 1. 1 熵

2. 1. 2 联合熵与条件熵

2. 1. 3 相对熵

2. 1. 4 互信息

2. 1. 5 微分熵

2. 1. 6 随机变量序列下的链式规则

2. 1. 7 信息论中的一些基本不等式

2. 2 系统熵

2. 2. 1 最大熵原理

2. 2. 2 最小相对信息原理

2. 2. 3 最小平均能量原理

2. 2. 4 有序和无序平衡原理

2. 2. 5 系统平衡态的熵

2. 2. 6 平衡状态的平均能量

2. 2. 7 最大熵分布

参考文献

第3章 神经场研究的数学基础

3. 1 微分流形的基本概念

3. 1. 1 微分流形

3. 1. 2 切向量和切向量空间

3. 1. 3 Riemannian流形与仿射联络

3. 1. 4 子流形

3. 2 信息几何理论

3. 2. 1 对偶平坦流形

3. 2. 2 统计模型流形的几何结构

3. 2. 3 指数流形上的几何

3. 3 流形上的拓扑结构分析理论

参考文献

第4章 传统学习算法

4. 1 感知器算法

4. 1. 1 感知器基本性质

4. 1. 2 感知器梯度算法

4. 1. 3 感知器算法的收敛性

4. 1. 4 线性阈值部件感知器

4. 2 误差反传递算法

4. 2. 1 两层网的缺点

4. 2. 2 扩展误差 △ 规则

4. 2. 3 模拟结果

4. 3 竞争学习算法

4. 3. 1 竞争学习

4. 3. 2 形式分析

4. 3. 3 实验结果

4. 4 Hopfield模型

4. 4. 1 Ising模型

4. 4. 2 平均场近似模型

4. 4. 3 Hopfield模型

4. 4. 4 Hopfidd权值公式证明

4. 4. 5 连续Hopfield网络模型

4. 4. 6 Hopfidd网络的应用

4. 5 径向基神经网络算法

4. 5. 1 RBF的介绍

4. 5. 2 径向基函数网络介绍

4. 5. 3 RBF网络训练的准则和常用算法

4. 5. 4 RBF网络的交替梯度算法

4. 5. 5 一维梯度算法

4. 5. 6 在线自然交替梯度算法

4. 5. 7 共轭梯度算法

4. 6 本章相关知识

参考文献

第5章 概率网络模型

5. 1 网络

5. 2 玻耳兹曼机器

5. 2. 1 玻耳兹曼机器的相关理论

5. 2. 2 玻耳兹曼机器

5. 3 玻耳兹曼机器的互信息最大化原则

5. 4 玻

本书从构造大规模人工神经网络系统的角度讨论了有关的系统理论和方法，主要内容包括人工神经网络的分布系统论（热力学方法）、信息论方法、基于信息几何的神经场方法。这些内容对于进一步构造实用的大规模人工神经网络，以及深入研究人工神经网络和大规模分布系统都是重要的理论基础。
本书的编写内容包含了作者及其所指导博士生的研究成果，同时也结合了作者多年给研究生讲授该研究领域课程的最新内容。本书叙述深入浅出、条理分明，突出全书连贯性，便于读者理解与掌握。
本书适合作为计算机或信号处理专业的研究生课程教材，或作为从事该领域研究的科学技术人员的参考书。

本书从构造大规模人工神经网络系统的角度讨论了有关的系统理论和方法，主要内容包括人工神经网络的分布系统论（热力学方法）、信息论方法、基于信息几何的神经场方法。这些内容对于进一步构造实用的大规模人工神经网络，以及深入研究人工神经网络和大规模分布系统都是重要的理论基础。 本书的编写内容包含了作者及其所指导博士生的研究成果，同时敢结合了作者多年给研究生讲授该研究领域课程的最新内容。本书叙述深入浅出、条理分明，突出全书连贯性，便于读者理解与掌握。 本书适合作为计算机或信号处理专业的研究生课程教材，或作为从事该领域研究的科学技术人员的参考书。