信息论与编码

第1章概论

1.1信息的一般概念

1.2信息的分类

1.3信息论的起源、发展及研究内容

第2章信源熵

2.1单符号离散信源

2.1.1单符号离散信源的数学模型

2.1.2自信息和信源熵

2.1.3信源熵的基本性质和定理

2.1.4加权熵的概念及基本性质

2.1.5平均互信息量

2.1.6各种熵之间的关系

2.2多符号离散平稳信源

2.2.1序列信息的熵

2.2.2离散平稳信源的数学模型

2.2.3离散平稳信源的信源熵和极限熵

2.2.4马尔可夫信源的极限熵

2.2.5冗余度、自然语信源及信息变差

2.3连续信源

2.3.1连续信源的信源熵

2.3.2几种特殊连续信源的信源熵

2.3.3连续熵的性质及最大连续熵定理

2.3.4熵功率

2.4离散无失真信源编码定理

习题

第3章信道容量

3.1单符号离散信道的数学模型

3.2单符号离散信道的信道容量

3.2.1信道容量的定义

3.2.2几种特殊离散信道的信道容量

3.2.3离散信道容量的一般计算方法

3.3多符号离散信道的信道容量

3.3.1多符号离散信道的数学模型

3.3.2离散无记忆扩展信道的信道容量

3.3.3独立并联信道的信道容量

3.4网络信息理论

3.4.1多址接入信道的信道容量

3.4.2广播信道的信道容量

3.4.3相关信源的边信息与公信息

3.5连续信道

3.6信道编码定理

习题

第4章信息率失真函数

4.1基本概念

4.1.1失真函数与平均失真度

4.1.2信息率失真函数的定义

4.1.3信息率失真函数的性质

4.2离散信源的信息率失真函数

4.2.1离散信源信息率失真函数的参量表达式

4.2.2二元及等概率离散信源的信息率失真函数

4.3连续信源的信息率失真函数

4.3.1连续信源信息率失真函数的参量表达式

4.3.2高斯信源的信息率失真函数

4.3.3信息率失真函数与信息价值

4.3.4信道容量与信息率失真函数的比较

4.4保真度准则下的信源编码定理

习题1

第5章信源编码

5.1离散信源编码

5.1.1码字唯一可译的条件

5.1.2香农编码

5.1.3费诺编码

5.1.4赫夫曼编码

5.1.5游程编码

5.1.6冗余位编码

5.2连续信源编码

5.2.1最佳标量量化

5.2.2矢量量化

5.3相关信源编码

5.3.1预测编码

5.3.2差值编码

5.4变换编码

5.4.1子带编码

5.4.2小波变换

习题

第6章信道编码

6.1信道编码的概念

6.1.1信道编码的作用与分类

6.1.2编码信道

6.1.3检错与纠错原理

6.1.4检错与纠错方式和能力

6.2线性分组码

6.2.1线性分组码的矩阵描述

6.2.2线性分组码的译码

6.2.3码例与码的重构

6.3循环码

6.3.1循环码的定义与描述

6.3.2循环码的生成矩阵

6.3.3系统循环码

6.3.4多项式运算电路

6.3.5循环码编码电路

6.3.6循环码的伴随多项式与检错

6.3.7BCH码与RS码

6.4卷积码

6.4.1卷积码的矩阵描述

6.4.2卷积码的多项式描述

6.4.3卷积码的状态转移图与栅格描述

6.4.4维特比(Viterbi)译码算法

习题

第7章密码体制的安全性测度

7.1密码基本知识

7.2古典密码体制

7.2.1单表密码

7.2.2多表密码

7.2.3换位密码

7.3现代密码体制

7.3.1对称密码

7.3.2非对称密码

7.4密码体制的安全性测度

7.4.1完善保密性

7.4.2唯一解距离

习题

参考文献

　　本书系统论述香农信息论。主要介绍信息的定义、信息论的起源、发展及研究内容；香农信息论的三个基本概念，即信源熵、信道容量和信息率失真函数，以及与这三个概念相对应的三个编码定理；信源编码和信道编码的基本方法等内容。为了便于教学和读者自学，每章后面都附有习题。　　本书系统介绍和论述了信息的基本概念；信息论的起源、发展及研究内容；香农信息论的三个基本概念：信源熵、信道容量和信息率失真函数，以及与这三个概念相对应的三个编码定理；解决通信系统有效性、可靠性和安全性的三类编码：信源编码、信道编码和安全编码密码的基本方法等内容。为了便于教学和读者自学，每章后面都附有习题。　　本书不追求高深的数学理论，尽可能以通俗易懂、形象生动的语言强化物理概念的描述，特别适合于初学者。已掌握工科高等数学和工程数学的读者都能读懂本书。　　本书适合作为高等院校电子信息类相关专业高年级本科生的教材，也可作为低年级研究生的教学参考书，还可供从事信息科学与技术的科研人员和工程技术人员参考。