信息论与编码

第1章 绪论

第2章 熵和互信息

2.1 随机变量的熵和互信息

2.1.1 事件的自信息和互信息

2.1.2 条件事件的互信息与联合事件的互信息

2.1.3 随机变量的平均自信息——熵

2.1.4 熵的性质

2.1.5 凸函数

2.1.6 随机变量间的平均互信息

2.1.7 概率分布的散度（相对熵）

2.1.8 关于疑义度的Fano不等式

2.1.9 马尔可夫链和数据处理定理

2.1.10 Shannon信息度量与集合论之间的联系

2.1.11 信息论与博弈之间的关系

2.2 连续随机变量的互信息和微分熵

2.2.1 连续随机变量的互信息

2.2.2 连续随机变量的熵——微分熵

2.2.3 微分熵的极大化

2.3 平稳离散信源的熵

2.3.1 平稳离散信源的一般概念

2.3.2 平稳信源的熵

2.3.3 马尔可夫信源

2.4 平稳随机过程的信息量与熵

习题

第3章 离散无记忆信源的无损编码

3.1 离散无记忆信源的等长编码

3.1.1 等长编码

3.1.2 Shannon信源编码定理叙述

3.1.3 渐近等分性质与Shannon定理的证明

3.2 离散无记忆信源的不等长编码

3.2.1 不等长编码的唯一可译性和译码延时

3.2.2 Kraft不等式

3.2.3 不等长编码定理

3.3 几种不等长编码算法

3.3.1 最佳不等长编码（Huffman编码）

3.3.2 Shannon编码法

3.3.3 Fano编码

3.3.4 Shannon-Fano-Elias编码

3.3.5 算术编码

3.3.6 通用信源编码算法

3.3.7 压缩编码与离散随机数发生

3.4 平稳信源和马尔可夫信源的编码定理

3.4.1 平稳信源的编码

3.4.2 马尔可夫信源的编码

习题

第4章 信道、信道容量及信道编码定理

4.1 信道、信道模型和分类

4.2 离散无记忆信道及其容量

4.2.1 信道容量定义及例子

4.2.2 离散无记忆信道的容量定理

4.2.3 对称离散无记忆信道容量的计算

4.2.4 转移概率矩阵可逆信道的容量计算

4.2.5 离散无记忆信道容量的迭代计算

4.3 信道的组合

4.3.1 积信道（平行组合信道）

4.3.2 和信道

4.3.3 级联信道

4.4 离散无记忆信道的编码定理

4.4.1 几个有关定义

4.4.2 二元对称信道编码定理的证明

4.4.3 一般离散无记忆信道编码定理的证明（典型列方法）

4.4.4 信道编码定理之逆

4.4.5 具有理想反馈的离散无记忆信道的容量

4.4.6 信源、信道编码分离定理和信源、信道联合编码

4.5 加性高斯噪声信道

4.5.1 高斯信道的容量

4.5.2 高斯信道编码定理

4.5.3 高斯信道编码定理之逆

4.5.4 带有独立高斯噪声的平行信道

4.5.5 带有相关高斯噪声的平行信道

4.5.6 MIMO高斯信道的容量

4.6 模拟信道的信道容量

4.6.1 带限、加性白高斯噪声信道

4.6.2 带限、有色高斯噪声信道

习题

第5章 率失真理论和保真度准则下的信源编码

5.1 率失真函数的定义

5.2 简单信源的率失真函数计算

5.2.1 Hamming失真度量下的贝努利信源

5.2.2 高斯信源

5.2.3 高斯矢量信源

5.3 率失真函数的性质

……

第6章 受限系统和受限系统编码

第7章 线性分组纠错编码

第8章 循环码

第9章 卷积码

第10章 先进的信道编码技术

第11章 多用户信息论

参考文献

《信息论与编码(第2版)》为高等学校教材之一。 信息论与编码是研究信息传输和信息处理过程中一般规律和具体实现的一门应用科学，是现代信息科学和工程技术的基础理论。由仇佩亮等人编著的《信息论与编码(第2版)》在吸取了国内外经典教材的优点，结合作者们长期教学和科研实践经验的基础上编写而成。《信息论与编码(第2版)》深入浅出，既保持理论的完整性、系统性和严谨性，又概念清晰、易读好懂，同时还介绍了信息论与编码技术的新发展。《信息论与编码(第2版)》主要介绍Shannon信息论和相关的编码技术。内容包括如下11章：绪论，熵和互信息，离散无记忆信源的无损编码，信道、信道容量及信道编码定理，率失真理论和保真度准则下的信源编码，受限系统和受限系统编码，线性分组纠错编码，循环码，卷积码，先进的信道编码技术，多用户信息论。《信息论与编码(第2版)》适合作为高等院校电子信息类专业的高年级本科生和研究生教材，对于从事信息科学和技术领域工作和研究的人员也极具参考价值。