信息论基础

第1章 绪论

1.1 信息的概念

1.2 信息论的历史和发展

1.3 本书的组织结构

第2章 信源熵

2.1 概述

2.2 单符号离散信源的熵（离散熵）

2.2.1 信息量

2.2.2 平均信息量（熵）

2.3 多符号离散信源的熵（离散熵）

2.3.1 离散无记忆平稳信源的Ⅳ次扩展信源的熵

2.3.2 Ⅳ维离散有记忆平稳信源的熵

2.3.3 马尔可夫信源的极限熵

2.3.4 离散信源冗余度

2.4 连续信源的熵（连续熵）

2.4.1 连续信源的熵

2.4.2 特殊连续信源的熵

2.4.3 连续信源冗余度

2.5 无失真信源编码定理（香农第一定理）

历史和启示

本章小结

本章 附录

习题

第3章 信道容量

3.1 概述

3.2 基本概念

3.2.1 信道模型

3.2.2 互信息量

3.2.3 平均互信息量（互熵）

3.2.4 互熵与熵的关系

3.3 单符号离散信道的信道容量

3.3.1 特殊离散信道的信道容量

3.3.2 一般离散信道的信道容量

3.3.3 单符号离散信道的串联信道的信道容量

3.4 多符号离散信道的信道容量

3.4.1 单符号离散信道的Ⅳ次扩展信道的信道容量

3.4.2 单符号离散信道的Ⅳ个独立并联信道的信道容量

3.5 连续信道

3.5.1 时间离散的加性连续信道的信道容量

3.5.2 时间连续的加性连续信道的信道容量

3.6 信道冗余度

3.7 信道编码定理（香农第二定理）

历史和启示

本章 小结

本章 附录

习题

第4章 信息率失真函数

4.1 概述

4.2 基本概念

4.2.1 失真函数和失真矩阵

4.2.2 平均失真函数D和允许平均失真D

4.3 信息率失真函数R（D）

4.3.1 信息率失真函数（D）的定义

4.3.2 信息率失真函数R（D）与信道容量C

4.3.3 信息率失真函数（D）的性质

4.4 离散信源的信息率失真函数（D）

4.5 连续信源的信息率失真函数（D）

4.6 限失真信源编码定理（香农第三定理）

历史和启示

本章小结

习题

第5章 信源编码

5.1 概述

5.2 基本概念

5.3 统计特性已知的离散无记忆信源编码

5.3.1 香农编码

5.3.2 费诺编码

5.3.3 香农·费诺·埃利斯编码

5.3.4 霍夫曼编码

5.4 统计特性已知的离散有记忆信源编码

5.4.1 游程编码

5.4.2 算术编码

5.5 统计特性未知的离散信源编码——通用编码

5.5.1 字典码LZ.77

5.5.2 字典码Lz.78

5.5.3 字典码LZW

历史和启示

本章小结

习题

第6章 信道编码

6.1 概述

6.2 基本概念

6.2.1 差错控制的方式

6.2.2 检错、纠错能力与码重、码距的关系

6.2.3 简单的信道编码

6.3 线性分组码

6.3.1 生成矩阵

6.3.2 校验矩阵

6.3.3 伴随矩阵

6.3.4 完备码、汉明码和极大最小距离码

6.4 循环码

6.4.1 生成多项式和生成矩阵

6.4.2 校验多项式和校验矩阵

6.4.3 伴随多项式和伴随矩阵

6.4.4 BCH码和RS码

6.5 卷积码

6.5.1 卷积码的组成结构

6.5.2 卷积码的解析表示法

6.5.3 卷积码的图解表示法

6.5.4 卷积码的译码方法

历史和启示

本章小结

习题

第7章 网络信息论

7.1 概述

7.2 网络信道分类

7.2.1 多址接入信道

7.2.2 广播信道

7.2.3 中继信道

7.2.4 串扰信道

7.2.5 双向信道

7.2.6 反馈信道

7.2.7 网络信道

7.3 多址接入信道

7.3.1 二址接入信道的信道容量区域

7.3.2 多址接入信道的信道容量区域

7.3.3 二址接入信道的信道容量区域的求解实例

7.4 广播信道

7.4.1 单输入二输出广播信道分类

7.4.2 单输入二输出降阶广播信道的信道容量区域

7.4.3 广播信道实例及其广义含义

7.5 相关信源编码

7.5.1 相关信源编码模型的分类

7.5.2 Slepian.Wolf相关信源编码

7.5 3 相关信源编码与二址接入信道历史和启示

本章小结

习题

第8章 网络编码

8.1 概述

8.2 网络编码的优势和劣势

8.2.1 网络编码的优势

8.2.2 网络编码的劣势

8.3 网络编码的可行性和本质

8.3.1 随机网络编码

8.3.2 网络编码的本质

8.4 有向无环网络中的网络编码

8.4.1 局部编码矩阵和全局编码矩阵

8.4.2 线性网络编码的4个特性

8.5 有向有环网络中的网络编码

8.5.1 有向有环网络中的局部编码矩阵和全局编码矩阵

8.5.2 卷积网络编码的4个特性

8.6 无向网络中的网络编码

8.7 网络编码典型应用

8.7.1 应用层的网络编码应用

……

《信息论基础》系统地阐述了信息论的基本概念和原理，主要包括：香农信息论的三个基本概念（信源熵、信道容量、信息率失真函数）；香农信息论三个基本定理（无失真信源编码定理、信道编码定理、限失真信源编码定理）；信源编码；信道编码；网络信息论（多用户信息论）及其重要理论分支——网络编码。《信息论基础》注重知识点的系统性和条理性，注重阐明概念和原理的物理意义，力求深入浅出，通俗易懂。
《信息论基础》可作为高等院校通信、信息、计算机、电子、网络等相关专业的本、专科生教材或教学参考书，也可作为从事上述专业的科研人员和工程技术人员的参考书。

注重知识的系统性和条理性，每章都配有知识结构框图，便于读者掌握知识点之间的逻辑联系。
注重阐明概念和原理的物理意义，并辅以实例加深理解，力求深入浅出，通俗易懂。
每个重要概念都有中英文对照，便于与英文文献中的概念相对应。
每章均有“历史和启示”，通过回顾信息论和编码研究中具有代表性的重要进展和变革，分析这些创
新思想的产生过程和重要概念、原理的形成过程，以启迪读者的创新思维。
介绍网络信息论及其重要理论分支——阿络编码，便于读者在掌握经典香农信息论的基础上，了解当前信息论领域的重要进展。