信息论与编码理论

第1章绪论1

1.1信息1

1.1.1信息的概念1

1.1.2信息的性质2

1.2通信系统模型2

1.2.1信源和信宿3

1.2.2编码器和译码器3

1.2.3信道和噪声3

1.3离散与连续3

1.4信息论和编码理论的形成和发展4

小结5

习题6

第2章信息的统计度量7

2.1自信息和条件自信息7

2.1.1自信息的定义与含义7

2.1.2条件自信息的定义与含义8

2.2互信息9

2.2.1互信息的定义与含义9

2.2.2互信息的性质9

2.3平均自信息（熵）11

2.3.1熵的定义与含义11

2.3.2熵函数的数学性质12

2.3.3条件熵17

2.3.4联合熵17

2.3.5各种熵之间的关系17

2.4平均互信息20

2.4.1平均互信息的定义与含义20

2.4.2平均互信息的性质20

2.4.3各种熵和平均互信息量之间的关系21

2.5连续随机变量的互信息和相对熵22

2.5.1连续随机变量的统计特性22

2.5.2连续随机变量的互信息23

2.5.3连续随机变量的相对熵23

小结24

习题25

第3章离散信源29

3.1离散信源的数学模型29

3.2信源的分类29

3.2.1无记忆信源30

3.2.2有记忆信源30

3.3离散无记忆信源30

3.3.1离散无记忆信源及其熵30

3.3.2离散无记忆信源的扩展信源及其熵32

3.4马尔可夫信源33

3.4.1马尔可夫信源的定义33

3.4.2有限状态马尔可夫链34

3.4.3马尔可夫信源的马尔可夫链性质35

3.4.4马尔可夫信源的熵36

3.5离散平稳信源40

3.5.1平稳信源的概念40

3.5.2平稳信源的熵41

3.6信源的相关性和剩余度44

小结45

习题46

第4章离散信道50

4.1离散信道的数学模型50

4.2信道的分类50

4.3离散无记忆信道53

4.3.1离散无记忆信道的数学模型53

4.3.2信道疑义度和噪声熵54

4.3.3信道的平均互信息及其含义55

4.4信道的组合58

4.5信道容量61

4.5.1信息传输率61

4.5.2信道容量的定义及含义62

4.5.3三种特殊信道的容量62

4.5.4对称信道的容量63

4.5.5一般信道的容量65

4.5.6信源和信道的匹配71

小结71

习题72

第5章连续信源和连续信道76

5.1连续信源76

5.1.1连续信源的数学模型76

5.1.2连续信源的熵和互信息76

5.2连续信道及其信道容量79

5.2.1时间离散信道79

5.2.2连续信道81

小结82

习题83

第6章无失真信源编码84

6.1编码的基本概念84

6.1.1编码器和译码器84

6.1.2码的分类85

6.1.3N次扩展码86

6.2“无失真”的本质86

6.3定长码87

6.4变长码89

6.4.1变长码的衡量指标89

6.4.2变长码的特点90

6.4.3唯一可译码和即时码的判别91

6.4.4无失真信源编码定理（香农第一定理）95

6.5霍夫曼码98

6.5.1二元霍夫曼码98

6.5.2多元霍夫曼码100

6.6算术编码102

6.6.1算术编码的基本原理102

6.6.2算术编码方法103

6.6.3算术译码方法105

6.7LZW编码106

6.7.1LZW基本原理106

6.7.2LZW编码方法106

小结108

习题109

第7章限失真信源编码113

7.1失真的度量113

7.1.1失真函数和失真矩阵113

7.1.2序列失真114

7.1.3平均失真和保真度准则115

7.2信息率失真函数115

7.2.1信息率失真函数的定义和含义115

7.2.2信息率失真函数的定义域和性质116

7.2.3信息率失真函数和信道容量的关系119

7.2.4限失真信源编码定理（香农第三定理）120

7.3量化编码120

7.3.1量化编码的主要作用120

7.3.2均匀量化120

7.3.3最优量化121

7.3.4矢量量化编码121

7.4预测编码121

7.4.1预测编码的基本原理和方法122

7.4.2预测编码能够限失真压缩信源的原因122

7.4.3DPCM编译码原理123

7.5变换编码123

7.5.1变换编码的基本原理123

7.5.2变换编码能够限失真压缩信源的原因125

7.5.3离散余弦变换126

7.5.4变换编码的广泛应用127

小结127

习题128

第8章信道编码130

8.1信道编码的基本概念130

8.1.1编译码规则、检纠错能力130

8.1.2平均错误译码概率131

8.2译码规则133

8.3有噪信道编码定理（香农第二定理）134

8.4线性分组码134

8.4.1基本概念134

8.4.2线性分组码的性质135

8.4.3线性分组码的两个重要参数——编码效率和最小汉明距离136

8.4.4生成矩阵和监督矩阵138

8.4.5对偶码141

8.4.6伴随式、伴随式的错误图样表示、根据伴随式译码142

8.4.7汉明码144

8.5循环码145

8.5.1循环码的基本概念145

8.5.2循环码的生成多项式和监督多项式146

8.5.3循环码的译码148

8.5.4BCH码149

8.5.5RS码150

8.6卷积码150

8.6.1卷积码的基本概念和基本原理150

8.6.2卷积码的编码151

8.6.3卷积码的矩阵表述152

8.7突发错误的纠正153

8.7.1基本概念153

8.7.2级联码154

8.7.3交织码154

8.7.4Turbo码155

小结156

习题157

附录A凸函数与詹森（Jensen）不等式160

A.1一元函数的凸性160

A.2函数凸性的判别160

A.3Jensen不等式161

A.4凸域和凸函数161

A.5凸域中的Jensen不等式162

附录BBCH编码表163

参考文献168

本书系统地讨论了香农信息理论中的基本概念和相关问题，介绍了信源、信道、信源编码、信道编码的一般原理和基本方法。全书分为8章，包括绪论、信息的统计度量、离散信源、离散信道、连续信源和连续信道、无失真信源编码、限失真信源编码、信道编码。本书内容深入浅出，适合作为信息工程、通信工程、信息安全、计算机应用等相关专业本科生的教材，也可作为研究生的教材或教学参考书，以及从事信息理论、信息技术、通信系统、信息安全研究的科研和工程技术人员的参考用书。本书配有电子教案、出题系统和实验系统，便于教学和自学。

内容深入浅出，适合作为信息工程、通信工程、信息安全、计算机应用等相关专业本科生的教材，也可作为研究生的教材或教学参考书，以及从事信息理论、信息技术、通信系统、信息安全研究的科研和工程技术人员的参考用书。《高等院校信息与通信工程系列教材:信息论与编码理论》配有电子教案、出题系统和实验系统，便于教学和自学。