信息论

第1章绪论

1.1信息的概念

1.2信息论研究的对象、目的和内容

1.3信息论发展简史与信息科学

第2章离散信源及其信息测度

2.1信源的数学模型及分类

2.2离散信源的信息熵

2.2.1自信息

2.2.2信息熵

2.3信息熵的基本性质

2.4信息熵的唯一性定理

2.5离散无记忆的扩展信源

2.6离散平稳信源

2.6.1离散平稳信源的数学定义

2.6.2二维离散平稳信源及其信息熵

2.6.3离散平稳信源的极限熵

2.7马尔可夫信源

2.7.1马尔可夫信源和m阶马尔可夫信源的定义

2.7.2马尔可夫信源和m阶马尔可夫信源的信息熵

2.8信源剩余度与自然语言的熵

2.9意义信息和加权熵

小结

习题

第3章离散信道及其信道容量

3.1信道的数学模型及分类

3.1.1信道的分类

3.1.2离散信道的数学模型

3.1.3单符号离散信道的数学模型

3.2平均互信息及平均条件互信息

3.2.1信道疑义度

3.2.2平均互信息

3.2.3平均条件互信息

3.3平均互信息的特性

3.4信道容量及其一般计算方法

3.4.1离散无噪信道的信道容量

3.4.2对称离散信道的信道容量

3.4.3准对称信道的信道容量

3.4.4一般离散信道的信道容量

3.5信道容量的迭代算法

3.5.1信道容量的迭代算法

3.5.2信道容量迭代算法的收敛性

3.6离散无记忆扩展信道及其信道容量

3.7独立并联信道及其信道容量

3.8串联信道的互信息和数据处理定理

3.9信源与信道的匹配

小结

习题

第4章波形信源和波形信道

4.1波形信息源统计特性和离散化

4.2连续信源和波形信源的信息测度

4.2.1连续信源的差熵

4.2.2连续平稳信源和波形信源的差熵

4.2.3两种特殊连续信源的差熵

4.3连续信源熵的性质及最大差熵定理

4.3.1差熵的性质

4.3.2具有最大差熵的连续信源

4.4连续信源熵的变换

4.4.1坐标变换后概率密度函数的变化

4.4.2坐标变换后差熵的变化

4.5熵功率

4.6连续信道和波形信道的分类

4.6.1按信道输入和输出的统计特性分类

4.6.2按噪声的统计特性分类

4.6.3按噪声对信号的作用功能分类

4.7连续信道和波形信道的信息传输率

4.7.1基本连续信道的平均互信息

4.7.2多维连续信道的平均互信息

4.7.3波形信道的信息传输率

4.7.4连续信道平均互信息的特性

4.8连续信道和波形信道的信道容量

4.8.1单符号高斯加性信道

4.8.2单符号非高斯加性信道

4.8.3多维无记忆高斯加性连续信道

4.8.4多维有记忆高斯加性连续通信

4.8.5限带高斯白噪声加性波形信道

4.8.6有色高斯加性波形信道

4.8.7香农公式的重要实际指导意义

小结

习题

……

第5章无失真信源编码定理

第6章有噪信道编码定理

第7章保真度准则下的信源编码

第8章无失真的信源编码

第9章信道的纠错编码

第10章网络信息论

第11章保密系统的基本信息理论

第12章信息论与其他学科的关系和应用

附录

参考书目和文献