信息论与编码

第1章 绪论

1.1 信息

1.1.1 信息的概念

1.1.2 信息的性质

1.1.3 信息科学

1.2 通信系统

1.2.1 通信系统模型

1.2.2 通信系统的基本要求

1.3 信息论

1.3.1 信息论的发展历史

1.3.2 信息论分类

第2章 信息量和信源的熵

2.1 信源分类

2.2 自信息量与互信息量

2.2.1 自信息量

2.2.2 信息量

2.3 平均自信息量--熵

2.4 熵的基本性质

2.5 熵的唯一性定理

2.6 离散集的平均互信息量

2.6.1 离散集的平均互信息量定义

2.6.2 平均互信息量的性质

2.7 马尔可夫信源

2.7.1 马尔可夫信源

2.7.2 马尔可夫信源的信息熵

2.7.3 随机过程的信息量和熵

2.8 信源的相关性和剩余度

2.9 连续随机变量的互信息和微分熵

2.9.1 连续随机变量的熵

2.9.2 连续随机变量的联合熵、条件熵以及平均互信息量

2.10 信道容量

2.10.1 单符号离散信道的信道容量

2.10.2 几种特殊信道的信道容量

2.10.3 对称信道的信道容量

2.10.4 强对称离散信道的信道容量

2.10.5 准对称离散信道的信道容量

2.10.6 一般离散信道的信道容量

习题

第3章 信源编码

3.1 信源编码的相关概念

3.1.1 无失真信源编码的分类

3.1.2 编码器

3.1.3 码的分类

3.1.4 码树

3.2 定长编码定理

3.2.1 无失真编码条件

3.2.2 定长编码定理

3.3 变长码与变长信源编码定理

3.4 变长码的编码方法

3.4.1 香农编码

3.4.2 霍夫曼（Huffman）编码

3.4.3 费诺编码

3.5 游程编码

3.5.1 游程编码简介

3.5.2 MH编码原理

习题

第4章 信道及信道编码

4.1 信道及译码规则

4.1.1 信道的分类

4.1.2 信道模型

4.1.3 错误概率和译码规则

4.1.4 错误概率与编码方法

4.1.5 抗干扰信道编码定理及逆定理

4.2 信道编码的基本思想

4.2.1 差错控制系统分类

4.2.2 纠检错基本原理

4.3 检错码

4.3.1 奇偶校验码

4.3.2 行列监督码

4.3.3 定比码

4.4 线性分组码

4.4.1 汉明码的构成

4.4.2 监督矩阵H和生成矩阵G

4.4.3 伴随式（校验子S）

4.4.4 分组码的纠检错能力

4.5 循环码

4.5.1 循环码的描述

4.5.2 校验子与循环码的编、译码原理

4.5.3 译码方法和电路

4.5.4 几种改进循环码

4.6 卷积码

4.6.1 卷积码的基本原理

4.6.2 卷积码的译码

4.7 限失真编码定理

习题

第5章 接近香农极限的编码

5.1 Turbo码

5.1.1 Turbo码的编码

5.1.2 Turbo码的译码

5.1.3 译码性能分析

5.2 低密度校验码的定义

5.2.1 LDPC码的概念与描述

5.2.2 LDPC码的Tanner图表示

5.3 低密度校验码的编码和译码

5.3.1 LDPC码的编码

5.3.2 LDPC码的译码

5.4 低密度校验码的性能分析

习题

第6章 信息率失真理论

6.1 引言

6.2 信息率失真函数及其性质

6.2.1 失真度

6.2.2 信息率失真函数

6.2.3 率失真函数与信道容量的对偶性

6.2.4 最小失真度和最大失真度

6.3 二元对称信源的率失真函数

6.4 保真度准则下的信源编码定理

6.5 离散无记忆信道的容量一代价函数

6.5.1 容量一代价函数

6.5.2 容量一代价函数的理解

6.5.3 容量一代价函数的性质

习题

参考文献

信息论与编码是一门既具有广泛的数学理论知识，又有实际工程背景的课程，两者缺一不可。《信息论与编码》注重基本概念、基本定理和基本分析方法的论述，结合实例建立概念和数学模型，给出详细的、必要的数学推演过程和证明，力求概念清晰，逻辑性、系统性强，力求做到既有实际应用背景，又有清晰的数学概念和数学思想。
《高等学校十二五规划教材·电子信息与通信工程系列：信息论与编码》内容丰富翔实，对基本概念和基础理论的阐述清晰明了；吸收了新技术和新方法。为了帮助读者掌握基本理论和分析方法，每章附有相应习题。《高等学校十二五规划教材·电子信息与通信工程系列：信息论与编码》可作为普通高等院校电子信息、通信类专业本科生的教材，也可供有关科学技术人员参考。