信息论与编码理论

第1章 引论

1.1 通信系统模型

1.2 Shannon信息论的中心问题

1.3 Shannon信息论的局限性

1.4 信息的义性

第2章 信息量和熵

2.1 离散变量的非平均信息量

2.1.1 非平均互信息量

2.1.2 条件互信息与联合事件的互信息量

2.1.3 离散变量的非平均自信息量

2.2 离散集的平均自信息量——熵

2.2.1 熵和条件熵

2.2.2 熵的性质

2.2.3 相对墒和条件相对熵

2.3 熵的唯一性定理

2.4 离散集的平均互信息量

2.5 信息不等式

2.5.1 凸函数及其性质

2.5.2 K-T条件

2.5.3 信息不等式

2.6 相对熵、熵和互信息量的凸性

2.6.1 相对熵和熵的凸性

2.6.2 互信息量的凸性

2.7 连续随机变量的互信息量和微分熵

2.7.1 连续随机变量的互信息量

2.7.2 连续随机变量的熵

2.7.3 微分熵的极大化

2.8 随机过程的信息量和熵

小结

习题

第3章 信源编码——离散信源无失真编码

3.1 信源及其分类

3.2 离散无记忆信源的等长编码

3.3 离散无记忆信源的不等长编码

3.4 最佳不等长编码

3.4.1 Huffman编码

3.4.2 算术编码

3.4.3 LZ编码

3.5 平稳源编码

3.6 马尔可犬源

小结

习题

第4章 信道及其容量

4.1 信道分类

4.2 离散无记忆信道

4.2.1 有关DMC的容量定理

4.2.2 对称DMC容量的计算

4.2.3 一般DMC容量的计算

4.3 离散无记忆信道容量的迭代算法

4.3.1 交替优化

4.3.2 信道容量算法

4.4 离散有记忆信道

4.5 信道的组合

4.6 时间离散的无记忆连续信道

4.6.1 可加噪声信道

4.6.2 平均功率受限可加噪声信道

4.6 3平行可加高斯噪声信道

4.7 波形信道

小结

习题

第S章 信道编码定理

5.1 信道编码和译码

5.1.1 信道编码

5.1.2 译码准则

5.1.3 离散序列的译码

5.1.4 连续序列的译码

5.2 联合典型序列

5.3 信道编码定理

5.4 错误概率上限

5.4 1并集限

5.4.2 Bhattacharyya（巴塔恰亚）限

5.4.3 Callager（加拉格）限

5.4.4 随机码集合平均错误概率上限

5.4.5 DMC的译码错误概率上限

5.4.6 时间离散连续信道错误概率上限

5.5 等能量正交编码信号

小结

习题

第6章 线性分组码

6.1 Galois域

6.1 1域运算

6.1.2 GF（pm）的构造

6.1.3 有限域的特征和元素的级

6.1 4最小多项式

6.2 线性分组码

6.3 线性分组码的生成矩阵和校验矩阵

6.3.1 生成矩阵

6.3.2 枝验矩阵

6.3.3 码的扩展和缩短

6.4 一些特殊的线性分组码

6.4.1 Hamming（汉明）码

6.4.2 Hadamard码

6.4.3 Golay码

6.5 伴随式和最小汉明距离译码

6.5.1 分组码的标准阵译码

6.5.2 最小距离与纠错能力

6.6 循环码

6.6.1 循环码的数学描述

6.6 2循环码的译码

6.7 BCH码

6.7.1 BCH码的定义和性质

6.7.2 BCH码的译码

6.8 Reed-Solomon码

6.9 分组码的性能限

6.10 线性分组码的性能限

小结

习题

第7章 卷积码

7.1 卷积码的基本概念

7.2 Viterbi译码

7.3 序列译码

7.4 卷积码集合平均错误概率限

7.5 级联码

小结

习题

第8章 接近Shannon极限的编码

8.1 Turbo码的构造

8.1.1 递归系统卷积码（RSC）

8.1.2 Turbo码的距离谱

8.1.3 Turbo码交织器的设计

8.2 Turbo码的译码

8.2.1 APP译码器

8.2.2 MAP译码算法

8.2.3 SOVA译码算法

8.2.4 Turbo码的迭代译码特性

8.3 Turbo码的性能限

……

第9章 信源编码——无记忆信源的有失真编码

第10章 多用户信息论

参考文献

信息论和编码理论是研究信息传输和信息处理的基础理论。信息论对实际通信系统和通信网络的设计已经产生了深刻的影响，通信领域工程师在信息论方面的理论基础对其事业的发展有重要的作用。《信息论与编码理论（第2版）》总结了西安电子科技大学自1960年创办信息论专业以来，特别是近十年来为通信工程、电子信息工程、信息工程、信息安全等专业的本科生和信息与通信工程、密码学等方向的研究生开设信息论和编码理论课程的经验。书中围绕通信系统和通信网络的构建需求阐述信息论的理论思想，较详细地讨论了信息论中信息量的定义，各类编码定理及其证明的基本思想，对于信息论中发展的若干重要课题（如率失真理论、多用户信息论、逼近Shannon极限的信道编码）都做了专题讨论.同时给出了这一领域近期发展的近况和重要的参考文献。这对于需要获得信息论基本知识的有关专业学生和在这些领域从事研究、开发工作的工程技术人员都将是有益的。
　　《信息论与编码理论（第2版）》可作为通信工程、电子信息工程、信息工程、信息安全等专业高年级本科生和研究生的教材。在给高年级本科生讲授时，可以只讲一些基本内容。书中标有*号的章节主要供研究生阅读，各章后面都附有一些难易程度不等的习题，可根据需要选用。书末附有较详尽的参考文献，可供阅读时参考。