信息论简明教程

第1章 绪论

1.1 信息的概念及香农信息论的发展史

1.2 香农信息论的研究对象、目的和内容

1.3 信息论的发展

1.4 如何学好信息论

第2章 数学基础回顾

2.1 离散概率论

2.1.1 随机事件的概率

2.1.2 条件概率、全概率公式与贝叶斯公式

2.1.3 离散型随机变量及其分布

2.1.4 二维离散型随机变量的联合分布、边缘分布和条件分布

2.1.5 离散型随机变量函数的分布

2.1.6 离散型随机变量的数字特征

2.2 随机过程初步

2.2.1 随机过程与随机序列

2.2.2 马尔可夫链

第3章 信息的度量

3.1 自信息、平均自信息和熵

3.1.1 单个随机事件的自信息

3.1.2 单个随机事件集合的平均自信息（随机变量的信息熵）

3.1.3 熵函数的性质

3.2 联合熵与条件熵

3.2.1 两个随机事件的联合自信息

3.2.2 两个随机事件集合（二维随机变量）的联合熵

3.2.3 两个随机事件的条件自信息

3.2.4 两个随机事件集合（二维随机变量）的条件熵

3.3 互信息与平均互信息

3.3.1 两个随机事件的互信息

3.3.2 两个随机事件集合（二维随机变量）的平均互信息

3.3.3 平均互信息的性质

3.4 平均自信息、联合熵、条件熵和平均互信息的数量关系

3.4.1 数量关系总结

3.4.2 数量关系的证明

3.4.3 熵的链规则

3.5 本章小结

习题3

第4章 信源与信源熵

4.1 信源的分类及其数学模型

4.2 离散单符号信源

4.3 离散多符号信源

4.3.1 离散平稳无记忆信源

4.3.2 离散平稳有记忆信源

4.3.3 马尔可夫信源

4.3.4 信源的相关性和剩余度

4.4 连续信源简介

4.5 本章小结

习题4

第5章 信道与信道容量

5.1 信道的分类与描述

5.1.1 信道的分类

5.1.2 信道描述

5.2 离散单符号信道及其信道容量

5.2.1 离散单符号信道的数学模型

5.2.2 信道容量的概念

5.2.3 无损信道和无噪信道的信道容量

5.2.4 离散对称信道的信道容量

5.2.5 一般离散信道的信道容量与信道容量定理

5.3 离散多符号信道及其信道容量

5.3.1 离散多符号无记忆信道的数学模型

5.3.2 离散多符号无记忆信道的信道容量

5.4 组合信道及其信道容量

5.4.1 独立并联信道

5.4.2 串联信道

5.5 连续信道及其信道容量介绍

5.6 本章小结

习题5

第6章 信源编码初步

6.1 信源编码的概念与分类

6.1.1 信源编码的概念

6.1.2 信源编码分类

6.2 无失真信源编码

6.2.1 定长码与定长编码定理

6.2.2 变长码与变长编码定理

6.2.3 最佳变长编码——霍夫曼编码

6.2.4 其他无失真信源编码介绍

6.3 本章小结

习题6

第7章 信道编码初步

7.1 信道编码的相关概念

7.2 有噪信道编码定理及其逆定理

7.3 信道编码介绍

7.3.1 线性分组码

7.3.2 卷积码

7.3.3 Turbo码

7.3.4 LDPC码

7.4 本章小结

习题7

附录A 各章习题答案

A.1 第3章习题答案

A.2 第4章习题答案

A.3 第5章习题答案

A.4 第6章习题答案

A.5 第7章习题答案

附录B Jensen不等式的证明

附录C 熵的极值性的证明

附录D 信息的凸函数性

附录E霍夫曼编码的编程实现

参考文献

《信息论简明教程》是专为应用型高等院校电子信息类专业本科生撰写的一本教材。考虑到读者的实际情况，《信息论简明教程》选取了信息论中的核心内容和基础内容作为讲述的重点，对于信息论中比较艰深的概念和数学推导做了适当的删减。全书分为正文和附录两个部分。正文分为7章，内容包括：数学基础回顾、信息的度量、信源与信源熵、信道与信道容量、信源编码初步、信道编码初步等；附录分为5个部分，附录A给出了各章习题的详细解答，附录B～E给出了若干定理的证明以及部分算法的源程序。与同类信息论书籍相比，《信息论简明教程》阅读门槛较低，习题解答详细，可供独立学院学生、自考生、成教生和广大自学爱好者使用。

本书是专为应用型高等院校电子信息类专业本科生撰写的一本教材。考虑到读者的实际情况，本书选取了信息论中的核心内容和基础内容作为讲述的重点，对于信息论中比较艰深的概念和数学推导做了适当的删减。全书分为正文和附录两个部分。正文分为7章，内容包括：数学基础回顾、信息的度量、信源与信源熵、信道与信道容量、信源编码初步、信道编码初步等；附录分为5个部分，附录A给出了各章习题的详细解答，附录B～E给出了若干定理的证明以及部分算法的源程序。与同类信息论书籍相比，本书阅读门槛较低，习题解答详细，可供独立学院学生、自考生、成教生和广大自学爱好者使用。