信息论基础教程

前言

第1章绪论

1.1信息的概念

1.2信息论研究的内容

1.3通信系统模型

1.4信息论发展简史和现状

第2章信源和熵

2.1信源特性和分类

2.2离散信源的熵

2.2.1信息量的定义

2.2.2熵

2.2.3条件熵和联合熵

2.3熵函数的数学特性

2.4离散随机变量之间的互信息

2.4.1互信息量

2.4.2条件互信息量和联合互信息量

2.4.3平均互信息量

2.5信息不增性原理

2.6平稳离散信源

2.6.1平稳信源的定义

2.6.2平稳信源的熵

2.6.3信源的冗余度

2.7马尔可夫信源

2.7.1马尔可夫信源的定义

2.7.2马尔可夫信源的熵

2.8连续随机变量的熵和互信息

2.8.1连续随机变量的相对熵和绝对熵

2.8.2最大相对熵

2.8.3熵功率

习题

第3章信道与信道容量

3.1信道的数学模型和分类

3.2离散无记忆信道的信道容量

3.2.1信道容量的定义

3.2.2离散无噪声信道

3.2.3准对称与对称离散无记忆信道容量

3.2.4可逆矩阵信道的信道容量

3.3信源与信道的匹配

3.4信道的组合

3.4.1积信道(独立并行信道)

3.4.2和信道(并信道)

3.4.3输人并接信道

3.4.4级联信道

3.5时间离散的无记忆连续信道

3.5.1可加噪声信道

3.5.2平均功率受限可加噪声信道

3.5.3香农公式

3.5.4平行可加高斯信道的容量

习题

第4章离散信源的无失真编码

4.1编码器

4.2等长码和等长信源编码定理

4.3变长码

4.4变长信源编码定理

4.5变长码的编码方法

4.5.1费诺(Fano)码

4.5.2霍夫曼(Huffman)码

4.5.3r进制霍夫曼码

习题

第5章信道编码

5.1错误概率和译码规则

5.2错误概率与编码方法

5.3信道编码定理与逆定理

5.3.1信道编码定理

5.3.2信道编码定理的逆定理

5.4常用信道编码方法

5.4.1检错和纠错的基本原理

5.4.2奇偶校验码

5.4.3线性分组码

5.4.4汉明码

5.4.5循环码

5.4.6卷积码

习题

第6章限失真信源编码

6.1引言

6.2率失真函数的定义

6.2.1失真函数

6.2.2率失真函数的定义

6.3率失真函数的性质

6.4率失真函数的计算

6.5连续信源的率失真函数

6.5.1连续信源的率失真函数及其计算

6.5.2高斯信源的率失真函数及其计算

6.6限失真信源编码定理

6.6.1信源编码定理及其逆定理

6.6.2编码定理的意义

习题

第7章网络信息论

7.1网络信道分类

7.1.1多源接入信道

7.1.2广播信道

7.1.3中继信道

7.1.4串扰信道

7.1.5双向信道

7.1.6反馈信道

7.1.7多用户通信网信道

7.2相关信源编码

7.2.1基本概念

7.2.2相关信源独立编码

7.2.3相关信源协同编码

7.3典型网络信道

7.3.1多源接入信道

7.3.2高斯多源接入信道

7.3.3中继信道

7.3.4广播信道

7.3.5反馈信道

习题

第8章保密通信的信息理论

8.1保密通信基础知识

8.1.1保密学的发展史

8.1.2基本概念

8.2保密系统的数学模型

8.2.1保密通信系统

8.2.2密码学中熵的概念

8.2.3理想保密性

8.3数据加密标准(DES)

8.3.1替代密码与置换密码

8.3.2DES密码算法

8.3.3DES密码的安全性

8.4国际数据加密算法(IDEA)

8.4.1算法原理

8.4.2加密解密过程

8.4.3算法的安全性

8.5公钥加密方法

8.5.1公钥密码体制的基本原理

8.5.2RSA密码体制

8.5.3报文摘要MD5

8.6信息安全与数字签名

8.6.1信息安全的基本概念

8.6.2数字签名

习题

附录

附录A信道编码定理的证明

附录BMATLAB源程序

参考文献

　　本书共8章，系统地讲述了信息论的基本内容。第1章详细地描述了信息的概念和通信系统模型，为信息的度量和后续的信息论基本问题的讨论打下基础。第2、3章分别讨论信源的信息度量熵和信道的信息传输特性信道容量的特性与计算问题。第4、6章分别讨论信源的无失真编码和限失真编码问题。第5章论述信道编码定理和常用的几种信道编码方法。第1～6章为香农信息论基础理论。第7章简要介绍了网络信息理论的一些基本内容。第8章主要介绍信息论在保密学中的应用，论述了数据加密标准(DES)和公开密钥密码的原理及其实现，并对信息安全与数字签名作了介绍。另外，在书后附录中提供了前6章相应内容的MATLAB仿真源程序，可依据教学需要选择使用。既可作为课后作业，又可作为单独的实验题目。本书可作为高等院校电气信息类专业本科生教材，也可供从事相关专业的科研和工程技术人员参考。使用本书作为教材时，授课教师可依据实际情况对书中内容进行取舍。　　本书系统地讲述了信息论的基本理论，共分8章，内容包括：信息的基本概念及信息度量、信源和信息熵、信道与信道容量、信源编码和信道编码定理与常用编码方法、网络信息论以及保密通信的信息理论。对于前6章内容在附录中提供相应内容的MATLAB仿真源程序供教学使用。　　本书力求内容精炼、完备、准确，强调掌握信息论的基本理论以及在通信中的指导作用，在不影响内容完整性的前提下省略了部分繁琐的定理证明，可作为高等院校电气信息类专业本科生教材，也可供从事相关专业的科研和工程技术人员参考。