信息论与编码简明教程

第1章 绪论

1.1 信息与信息论

1.2 通信系统模型

1.3 信息论的形成和发展

第2章 离散信源与信息熵

2.1 信源的分类和描述

2.2 离散信源的信息熵

2.2.1 自信息量

2.2.2 平均自信息量

2.2.3 熵的性质

2.3 离散无记忆信源

2.3.1 离散无记忆信源的数学描述

2.3.2 离散平稳无记忆信源的信息熵

2.4 离散平稳信源

2.4.1 离散平稳信源的定义

2.4.2 平均符号熵与二维平稳信源

2.4.3 离散平稳信源的极限熵

2.5 马尔可夫信源

2.5.1 马尔可夫信源的数学描述

2.5.2 马尔可夫链

2.5.3 极限熵与条件熵

2.6 信源的相关性与冗余度

习题

第3章 离散信道与平均互信息量

3.1 信道的模型和分类

3.1.1 信道的系统模型

3.1.2 信道的分类

3.1.3 离散信道的数学模型

3.2 互信息量与平均互信息量

3.2.1 互信息量

3.2.2 平均互信息量

3.3 信道容量

3.3.1 信道容量的定义

3.3.2 无噪信道的信道容量

3.3.3 对称信道的信道容量

3.3.4 一般信道的信道容量

3.3.5 信源与信道匹配

3.4 离散无记忆信道

3.4.1 离散无记忆信道的数学描述

3.4.2 离散无记忆信道的平均互信息量

3.5 串联信道的平均互信息量

习题

第4章 无失真信源编码

4.1 信源编码的基本概念和要求

4.2 即时码与唯一可译码

4.3 定长编码定理

4.4 变长编码定理

4.5 变长编码方法

4.5.1 香农编码方法

4.5.2 费诺编码方法

4.5.3 霍夫曼编码方法

习题

第5章 限失真信源编码

5.1 失真函数

5.1.1 失真度

5.1.2 平均失真度

5.2 信息率失真函数

5.2.1 信息率失真函数的定义

5.2.2 信息率失真函数的性质

5.2.3 二进制信源的率失真函数

5.3 信息率失真函数的计算

5.3.1 率失真函数的参量表述方法

5.3.2 率失真函数的迭代计算方法

5.4 限失真信源编码定理

习题

第6章 有扰信道编码

6.1 信道编码的基本概念

6.2 差错控制系统

6.3 信道编码的分类

6.4 编码信道模型

6.5 最大后验概率译码与最大似然译码

6.6 汉明距离与距离分布

6.7 编码信道容量

6.8 信道编码定理

习题

第7章 线性纠错码

7.1 线性分组码与生成矩阵

7.2 线性分组码与校验矩阵

7.3 线性分组码的译码

7.3.1 伴随式与码的结构

7.3.2 不可检错概率与码的重量分布

7.3.3 标准阵列与陪集

7.4 Hamming码及其变形

7.4.1 Hamming码

7.4.2 Hamming码的变形

7.5 线性分组码的性能限

7.6 Turbo分组码

7.6.1 Turbo分组码的编码

7.6.2 Turbo迭代译码的基本思想

7.7 LDPC码

7.7.1 LDPC码的概念

7.7.2 LDPC码的构造

7.7.3 LDPC码迭代译码的基本思想

7.7.4 二进制删除信道中的迭代译码算法

7.8 纠错译码的性能估计

习题

第8章 连续信源与连续信道

8.1 连续信源与其相对熵

8.1.1 单维连续信源的相对熵

8.1.2 连续信源的最大熵

8.1.3 多维连续信源的相对熵

8.2 连续信道与平均互信息量

8.2.1 单维连续信道的平均互信息量

8.2.2 多维连续信道的平均互信息量

8.3 连续信道的信道容量

8.3.1 单维加性信道的信道容量

8.3.2 多维加性信道的信道容量

8.3.3 信道编码定理与香农限

8.4 连续信源的信息率失真函数

8.4.1 信息率失真函数的定义和性质

8.4.2 高斯信源的信息率失真函数

习题

第9章 信息论发展与应用

9.1 网络信息论初步

9.1.1 网络信道分类

9.1.2 网络信道容量

9.2 信息论在密码学中的应用

9.2.1 保密系统

9.2.2 安全保密性

习题

参考文献

本书介绍信息论与编码的基本理论和方法。全书共分9章，内容包括信息的概念、数字通信系统模型、信息论的发展状况、信息的统计度量、 离散与连续信源、离散与连续信道、信道容量、信息率失真函数、无失真信源编码、限失真信源编码、有噪信道编码、纠错编码、信息论在密码学中的应用、网络信息论初步，每章后面附有习题，便于加深理解。本书系统简明，深入浅出，举例经典，注重思路； 适合作为高等院校信息科学与信息技术相关专业的本科生教材或教学参考书，也适合作为从事通信、雷达、导航、计算机、控制、系统工程、生物工程、管理工程等有关的科研和工程技术人员的入门参考书。

本书是在作者近十年来讲授“信息论基础”课程的讲义基础之上编著而成的，其中也包含着作者多年研究信息理论与编码技术的经验和体会。
在当今的信息时代，信息理论已渗透到其它相关的自然科学，甚至社会科学领域，与电子技术、自动控制、计算机网络以及管理学、经济学、生物学、医学、心理学等学科密切结合，显示出它的勃勃生机和不可估量的发展前景。信息论是信息科学中极为重要组成部分，是信息科学发展的起源与基石。
本书主要讲述经典信息论内容。为了便于理解，首先讨论比较简单的离散信源和离散信道模型下的信息与编码理论，然后再讨论比较复杂的连续信源和连续信道情景。不论是离散情况和连续情况，都先侧重讲解便于理解的单维、无记忆的情况，然后逐步过渡到比较抽象的多维、有记忆情况。最后为了引起进一步学习兴趣，还简短地介绍了信息论在密码学中应用以及网络信息论初步知识。
本书重视基本概念和基本结论的理解以及思维方式的培养。在数学工具运用上，努力使数学符号规范和统一、证明方法简洁和统一。此外，面向初学者和本科生，还有意识地删除了一些过于冗长、难以把握的证明过程。