信息论基础习题解答

第1章 绪论

第2章 离散信息的度量

2.1 知识要点

2.1.1 自信息和互信息

2.1.2 信息熵

2.1.3 平均互信息

2.2 例题精解

2.3 习题解答

2.4 补充题解

第3章 离散信源

3.1 知识要点

3.1.1 离散信源的分类与数学模型

3.1.2 离散无记忆信源的熵

3.1.3 离散平稳信源的熵

3.1.4 有限状态马尔可夫链

3.1.5 马尔可夫信源

3.1.6 信源的相关性与剩余度

3.2 例题精解

3.3 习题解答

3.4 补充题解

第4章 连续信息与连续信源

4.1 知识要点

4.1.1 连续随机变量集合的熵

4.1.2 离散时间高斯信源的熵

4.1.3 连续最大熵定理

4.1.4 连续随机变量集的平均互信息

4.1.5 离散集与连续集之间的互信息

4.2 例题精解

4.3 习题解答

4.4 补充题解

第5章 无失真信源编码

5.1 知识要点

5.1.1 基本概念

5.1.2 定长码

5.1.3 变长码

5.1.4 哈夫曼编码

5.1.5 几种实用的编码方法

5.2 例题精解

5.3 习题解答

5.4 补充题解

第6章 离散信道及其容量

6.1 知识要点

6.1.1 基本概念

6.1.2 单符号离散信道及其容量

6.1.3 级联信道及其容量

6.1.4 多维矢量信道及其容量

6.2 例题精解

6.3 习题解答

6.4 补充题解

第7章 有噪信道编码

7.1 知识要点

7.1.1 基本概念

7.1.2 最佳判决与译码准则

7.1.3 信道编码与最佳译码

7.1.4 费诺不等式

7.1.5 有噪信道编码定理

7.1.6 纠错编码技术简介

7.1.7 信道编码性能界限

7.2 例题精解

7.3 习题解答

7.4 补充题解

第8章 波形信道

8.1 知识要点

8.1.1 离散时间连续信道

8.1.2 加性噪声信道与容量

8.1.3 AWGN信道的容量

8.1.4 有色高斯噪声信道

8.1.5 数字调制系统的信道容量

8.2 例题精解

8.3 习题解答

8.4 补充题解

第9章 信息率失真函数

9.1 知识要点

9.1.1 基本概念

9.1.2 离散信源信息率失真函数

9.1.3 限失真信源编码定理

9.1.4 离散信源信息率失真函数的计算

9.1.5 连续信源信息率失真函数

9.1.6 重要的R（D）函数

9.1.7 一般连续信源R（D）函数

9.2 例题精解

9.3 习题解答

9.4 补充题解

第10章 有约束信道及其编码

10.1 知识要点

10.1.1 标号图的性质

10.1.2 有约束信道容量

10.1.3 有约束序列的性质

10.1.4 有约束信道编码定理

10.1.5 有约束序列编码与应用

10.2 例题精解

10.3 习题解答

第11章 网络信息论初步

11.1 知识要点

11.1.1 基本概念

11.1.2 多址接入信道

11.1.3 广播信道

11.1.4 相关信源编码

11.2 习题解答

11.3 补充题解

第12章 信息理论方法及其应用

12.1 知识要点

12.1.1 离散信源熵的估计

12.1.2 最大熵原理

12.1.3 最小交叉熵原理

12.1.4 信息理论方法的应用

12.2 例题精解

12.3 习题解答

期末考试模拟试题

期末考试模拟试题标准答案

参考文献

《信息论基础习题解答》是本科生教材《信息论基础》配套的辅助教学资料，主要目的是为学生提供更多的信息论基本问题解题示范，开阔学生的解题思路，提高学生解决与信息论有关的基础性或综合性问题的能力，进一步提高信息论课程理论教学的质量。《信息论基础习题解答》很多习题来自传统或经典的国内外教科书，同时还包含相当数量的通过一线教师多年的教学实践提炼并得到验证的典型题。《信息论基础习题解答》与主教材结构相同，也对应包含12章。内容包括“知识要点”、“例题精解”、“习题解答”、“补充题解”4个部分。另外，有些章节安排了编写计算机程序解题的实验型习题，以加强信息论课程的实践性。通过类似的训练可提高读者利用计算机解决用解析方法难以解决或需要大量计算的问题的能力。
《信息论基础习题解答》可作为电子信息类专业的本科生与研究生的学习参考用书，特别适合于自学信息论的读者阅读，也可作为信息论教师的教学参考资料。

《信息论基础习题解答》是为高校学生学习电子信息科学与工程类专业的重要基础课——信息论课程配套提供的参考书。《信息论基础习题解答》包含选自经典的国内外教科书的习题，也包含经多年教学实践提炼的典型题和编写计算机程序的实验型习题，而且还包含联系生活实际甚至有某种趣味的习题，总共220多道。《信息论基础习题解答》为学生提供更多的信息论基本问题解题示范，开拓学生的解题思路，使学生能够深刻理解信息论基本概念，熟练掌握基本解题方法，进一步提高解决与信息论有关的基础性或综合性问题的能力。《信息论基础习题解答》可以作为电子信息类专业的本科生、研究生和教师的参考书，对于研究生入学考试复习也有一定的指导作用。