信息理论与编码基础

前言

常用符号

第1章 绪论

1.1 通信系统的基本单元

1.2 信息科学的有关概念

1.2.1 信息的特征

1.2.2 信息理论要解决的基本问题

1.2.3 信息论的创始人

1.2.4 信息科学的定义及迅速发展的背景一

1.2.5 信息理论的研究内容

1.3 香农信息论梗概

思考题

第2章 信息的度量

2.1 度量信息的基本思路

2.1.1 单符号离散信源

2.1.2 自信息量

2.2 信源熵和条件熵

2.2.1 信源熵

2.2.2 条件自信息量

2.2.3 条件熵

2.3 互信息量和平均互信息量

2.3.1 互信息量

2.3.2 互信息量的性质

2.3.3 条件互信息量

2.3.4 平均互信息量

2.3.5 平均互信息量的性质

2.3.6 平均互信息量的物理意义

2.4 多维随机变量的熵

2.4.1 熵的链接准则

2.4.2 信息链接准则

2.4.3 熵的界

2.4.4 数据处理不等式

本章小结

思考题

习题

第3章 离散信源及其信源编码

3.1 信源分类

3.1.1 信源分类方法

3.1.2 自然语信源

3.1.3 马尔可夫信源

3.2 离散信源的熵

3.2.1 发出单符号消息离散无记忆信源的熵

3.2.2 发出符号序列消息离散无记忆信源的熵

3.2.3 发出符号序列消息的离散有记忆信源的熵

3.2.4 发出符号序列消息的马尔可夫信源的熵

3.2.5 各种离散信源的时间熵

3.3 信源的冗余度

3.3.1 最大信源熵

3.3.2 信源的冗余度

3.4 信源编码及其描述

3.4.1 信源编码模型

3.4.2 编码效率

3.5 单义可译定理

3.5.1 单义可译码

3.5.2 即时码的构造

3.5.3 单义可译定理

3.5.4 平均码长界定定理

3.6 香农第一定理

3.6.1 元失真信源编码

3.6.2 等长码的信源编码

3.7 信源编码实例

3.7.1 费诺编码方法

3.7.2 霍夫曼编码方法

3.7.3 Lempel-Ziv编码

本章小结

思考题

习题

第4章 离散信道及其信道编码

4.1 信道的分类

4.2 离散信道的传输特性

4.2.1 无扰离散信道的传输特性

4.2.2 有扰离散信道的传输特性

4.2.3 几种特殊的有扰离散信道

4.2.4 消息在有扰离散信道上的信息传输速率

4.2.5 有扰离散信道的信道容量

4.3 译码准则

4.3.1 常用的译码准则

4.3.2 关于译码准则的讨论

4.4 香农第二定理

4.4.1 信道编码与平均错误译码概率

4.4.2 汉明距离与编码原则

4.4.3 有扰离散信道的信道编码定理

本章小结

思考题

习题

第5章 连续消息和连续信道

5.1 连续消息的信息度量

5.1.1 基本思路

5.1.2 几种连续信源的相对熵

5.1.3 条件熵

5.1.4 平均互信息量

5.1.5 连续消息熵的性质

5.1.6 最大相对熵定理

5.1.7 熵功率和熵功率不等式

5.2 连续消息在信道上的传输问题

5.3 香农信道容量公式

5.3.1 高斯信道的信道容量

5.3.2 带限信道的信道容量

5.3.3 香农公式的含义

本章小结

思考题

习题

第6章 限失真信源编码

6.1 失真函数和平均失真度

6.1.1 失真函数

6.1.2 平均失真度

6.2 信息率失真函数

6.2.1 保真度准则

6.2.2 失真许可的试验信道

6.2.3 信息率失真函数及其性质

6.2.4 几种典型信源的信息率失真函数

6.3 保真度准则下的信源编码定理

本章小结

思考题

习题

第7章 差错控制的基本概念

7.1 差错控制系统的分类

7.1.1 自动请求重传系统

7.1.2 前向纠错系统

7.1.3 信息重复查询系统和混合纠错系统一

7.2 纠错编码的分类及其性能评价

7.2.1 纠错编码的分类

7.2.2 纠错码的基本概念

7.2.3 纠错编码方法的性能评价

本章小结

思考题

习题

第8章 线性分组码

8.1 有关概念

8.1.1 线性分组码的定义及其性质

8.2 线性分组码的编码和译码

8.2.1 线性分组码的编码

8.2.2 线性分组码译码

8.2.3 线性分组码举例

8.3 循环码的描述

8.3.1 循环码的定义

8.3.2 循环码的性质

8.3.3 生成矩阵和一致校验矩阵

8.4 循环码的编码和译码

8.4.1 循环码的编码

8.4.2 循环码的译码

8.4.3 循环码的检错能力

8.4.4 循环码的缩短与扩展

8.5 二元BCH码

8.5.1 BCH码的描述

8.5.2 BCH码的编码和译码

8.6 多元BCH码和R-S码

8.7 纠突发错误码

8.7.1 纠突发错误码的定义及基本性质

8.7.2 交织码

本章小结

思考题

习题

第9章 卷积码

9.1 卷积码的编码及其描述

9.1.1 卷积码的编码

9.1.2 卷积码的描述

9.2 卷积码的最大似然译码

9.2.1 Viterbi译码

9.2.2 序列译码

9.3 卷积码的性能评估

9.3.1 译码的错误扩展及恶性卷积码

9.3.2 卷积码的自由距离

本章小结

思考题

习题

第10章 信道编码新进展简介

10.1 Turbo码

10.1.1 Turbo码的编码及其性能

10.1.2 Turbo码的译码简介

10.2 空时分组码

10.2.1 正交空时分组码

10.2.2 正交空时分组码的译码

10.2.3 准正交空时分组码

10.2.4 准正交空时分组码的译码

10.3 低密度奇偶校验码

10.3.1 低密度奇偶校验码的定义

10.3.2 低密度奇偶校验码的译码

10.4 网络编码与协作

10.4.1 网络编码

10.4.2 网络编码协作

本章小结

思考题

习题

参考文献

索引

本书是“普通高等教育电子通信类特色专业系列规划教材”之一，全书共分10个章节，主要对信息理论与编码基础知识作了介绍，具体内容包括信息的度量、离散信源及其信源编码、离散信道及其信道编码、限失真信源编码、差错控制的基本概念等。该书可供各大专院校作为教材使用，也可供从事相关工作的人员作为参考用书使用。本书较为系统地论述信息理论和编码的基础知识，内容包括绪论、信息的度量、离散信源及其信源编码、离散信道及其信道编码、连续消息和连续信道、限失真信源编码、差错控制的基本概念、线性分组码、卷积码、信道编码新进展简介(包括Turbo码、空时分组码、低密度奇偶校验码、网络编码与协作)等。每章后面都附有思考题和习题。全书针对本科教学的特点，力求深入浅出，把严密的数学语言、合理的物理解释和丰富的应用实例相结合，将经典理论介绍和最新研究成果相结合，便于学生自学。 本书为普通高等教育“十一五”国家级规划教材，可作为高等院校通信类、电子信息类、计算机科学与工程类、自动控制类等专业本科生教材，也可作为相关学科硕士研究生的教学参考书以及有关技术、科研和管理人员的参考书。