信息与编码理论

第1章 绪论

1.1 通信系统与信息

1.1.1 通信系统的基本模型

1.1.2 信息的概念

1.2 信息论的研究范畴

1.2.1 狭义信息论

1.2.2 -般信息论

1.2.3 广义信息论

1.3 信息论与信息科学

1.3.1 信息论的发展历史

1.3.2 信息科学

第2章 离散信源熵与交互信息量

2.1 离散信源的熵

2.1.1 信息的度量

2.1.2 单符号离散无记忆信源的熵

2.1.3 熵函数的性质

2.1.4 离散信源的最大熵

2.1.5 联合熵与条件熵

2.2 离散信道的平均交互信息量

2.2.1 离散信道的数学模型

2.2.2 交互信息量

2.2.3 平均交互信息量

2.3 平均交互信息量的特性

2.3.1 凸函数和Jensen不等式

2.3.2 平均交互信息量的简单性质

2.3.3 平均交互信息量的凸函数性

2.4 离散随机序列信源

2.4.1 Ⅳ维扩展信源的熵

2.4.2 马尔柯夫信源

习题

第3章 信道容量与高斯信道

3.1 离散信道的信道容量

3.1.1 熵速率与信道容量

3.1.2 几种简单信道的信道容量计算

3.1.3 信道容量的一般计算方法

3.1.4 对称信道和准对称信道的信道容量

3.2 串联信道的交互信息量

3.3 连续信源的熵

3.3.1 连续信源熵的定义

3.3.2 几种连续信源的熵

3.4 连续信源的最大熵

3.4.1 连续信源的最大熵

3.4.2 连续信源的熵功率

3.4.3 连续信源熵的变换

3.5 连续有噪声信道的信道容量

3.5.1 连续有噪声信道

3.5.2 连续信道的平均交互信息量

3.5.3 连续信道的信道容量

3.6 Fano不等式

习题

第4章 信源编码与率失真函数

4.1 离散信源编码

4.1.1 编码器

4.1.2 单义可译码

4.1.3 平均码字长度

4.2 无失真信源编码定理

4.2.1 编码效率

4.2.2 无失真信源编码定理

4.3 Huffman编码

4.3.1 Shannon-Fano算法

4.3.2 Shannon-Fano算法的最佳条件

4.3.3 Huffman算法

4.4 率失真函数

4.4.1 失真度与平均失真度

4.4.2 率失真函数的定义

……

第5章 信道编码原理

第6章 代数编码基础

第7章 线性分组码

第8章 卷积码

第9章 信道编码的其他方法

第10章 多用户信息论

参考文献

信息与编码理论是信息技术领域的基础理论，《电子与信息工程系列：信息与编码理论》根据作者多年教学实践经验和体会系统地介绍了信息与编码理论的相关内容。《电子与信息工程系列：信息与编码理论》共10章，包括信息概念及信息度量、信源熵和信道容量、信源编码定理、信道编码定理、率失真编码定理、线性分组码、循环码和卷积码等基本内容，同时也介绍了Turbo码、LDPC码、数字喷泉码及多用户信息论等扩展内容。《电子与信息工程系列：信息与编码理论》力求叙述清晰、深入浅出，着重介绍信息与编码理论的基本概念和基本方法。
　　《电子与信息工程系列：信息与编码理论》适合作为高等院校电子信息类学科的研究生及高年级本科生教材，也可作为信息科学及系统工程专业领域教学科研人员的参考书。