信息论与编码基础

引言

第1章 单符号离散信源

1.1 信源的信息熵

1.1.1 信源的数学模型

1.1.2 信源符号的自信量

1.1.3 信源的信息熵

1.2 信息熵的代数性质

1.2.1 熵函数的对称性

1.2.2 熵函数的非负性和确定性

1.2.3 熵函数的连续性和扩展性

1.2.4 熵函数的可加性

1.2.5 熵函数的递推性

1.3 信息熵的解析性质

1.3.1 熵函数的极值性

1.3.2 熵函数的上凸性

1.3.3 熵函数的最大值

1.4 熵函数的唯一性

习题

第2章 单符号离散信道

2.1 平均互信息

2.1.1 信道的数学模型

2.1.2 信道两端符号的概率变化

2.1.3 两个符号之间的互信息

2.1.4 两个随机变量之间的平均互信息

2.2 平均互信息的数学特性

2.2.1 平均互信息的非负性

2.2.2 平均互信息的极值性

2.2.3 平均互信息的上凸性

2.3 信道容量与匹配信源

2.3.1 信道容量的定义

2.3.2 信道容量的一般算法

2.3.3 匹配信源的等量平衡特性

2.4 几种特殊信道的信道容量

2.4.1 无噪信道的信道容量

2.4.2 强对称信道的信道容量

2.4.3 对称信道的信道容量

2.4.4 准对称信道的信道容量

2.5 串接信道的平均互信息

2.5.1 串接信道的数学描述

2.5.2 平均条件互信息

2.5.3 平均联合互信息

2.5.4 数据处理定理

习题

第3章 多符号离散信源与信道

3.1 离散平稳信源的数学模型

3.1.1 多符号离散信源的一般概念

3.1.2 离散平稳信源的定义

3.1.3 平稳信源的数学模型

3.2 扩展信源的信息熵

3.2.1 无记忆扩展信源的信息熵

3.2.2 有记忆扩展信源的信息熵

3.2.3 扩展信源信息熵的比较

3.3 平均符号熵和极限熵

3.3.1 平均符号熵

3.3.2 极限熵

3.4 马尔柯夫信源的极限熵

3.4.1 M信源的定义

3.4.2 mM信源的数学模型

3.4.3 各态历经mM信源的极限熵

3.4.4 剩余度

3.5 扩展信道的平均互信息

3.5.1 扩展信道的由来

3.5.2 扩展信道的数学描述

3.5.3 扩展信道的平均互信息的数学特性

3.6 无记忆扩展信道的信道容量

3.6.1 无记忆扩展信道的独立并列特性

3.6.2 独立并列信道的信道容量

习题

第4章 连续信源与信道

4.1 单维连续信道的平均互信息

4.1.1 单维连续信道的数学描述

4.1.2 连续信源的信息熵

4.1.3 连续信道的疑义度

4.1.4 信息熵差与相对熵差

4.1.5 平均互信息的三种表达式

4.2 连续信源的相对熵

4.2.1 “相对”二字的由来及其内涵

4.2.2 几种连续信源的相对熵

4.3 最大相对熵定理

4.3.1 相对熵的数学特性

4.3.2 最大相对熵定理

4.3.3 熵功率与信息变差

4.3.4 “相对熵”和“信息熵”称呼的统一

4.4 高斯白噪声加性信道的信道容量

4.4.1 加性信道的信道容量

4.4.2 高斯加性信道的信道容量

4.4.3 高斯白噪声加性信道的信道容量

4.4.4 香农公式的诠释

习题

第5章 无失真信源编码

5.1 单义可译定理

5.1.1 单义可译码

5.1.2 非延长码及其构成

5.1.3 单义可译结构定理

5.2 无记忆信源符号速率极限定理

5.2.1 平均码长与码率

5.2.2 平均码长极限定理

5.2.3 码率极限定理

5.2.4 符号速率极限定理

5.3 有记忆信源符号速率极限定理

5.4 霍夫曼码

5.4.1 霍夫曼编码方法

5.4.2 霍夫曼码是非延长码

5.4.3 霍夫曼码是有效码

习题

第6章 抗干扰信道编码

6.1 译码规则和平均误码率

6.1.1 译码规则

6.1.2 误码率和平均误码率

6.1.3 最小平均误码率译码规则

6.2 编码方法和最小平均误码率

6.2.1 纠错码W（Ⅰ）的最小平均误码率

6.2.2 纠错码W（Ⅱ）的最小平均误码率

6.2.3 纠错码W（Ⅲ）的最小平均误码率

6.3 抗干扰信道编码定理

6.3.1 汉明（Hamming）距离与检纠能力

6.3.2 汉明距离与最小平均误码率

6.3.3 疑义度与平均误码率

6.3.4 平均误码率与码率

6.3.5 误码率极限定理

6.4 线性分组码

6.4.1 线性分组码的代数结构

6.4.2 生成矩阵

6.4.3 一致校验矩阵

6.4.4 译码表

6.4.5 汉明码的最优化

习题

第7章 信息率-失真函数

7.1 信息率-失真函数R（D）的定义

7.1.1 平均互信息的下凸性

7.1.2 平均失真度

7.1.3 R（D）函数的定义

7.2 R（D）函数的数学特性

7.2.1 R（D）函数的连续性

7.2.2 R（D）函数的下凸性

7.2.3 R（D）函数的单调递减性

7.3 离散信源的R（D）函数

7.3.1 R（D）函数的定义域

7.3.2 R（D）函数的表达式

7.4 扩展信源的R（D）函数

7.4.1 扩展信道的平均失真度

7.4.2 扩展信源R（D）函数的数学特征

7.5 R（D）与数据压缩

7.5.1 数据压缩的一般运行机制

7.5.2 R（D）与压缩比

7.5.3 通信系统最优化前景

习题

附录A 供熵函数计算用的几种函数表

《普通高等教育“十二五”规划教材·电子信息类精品教材：信息论与编码基础》系统论述香农（shannon）信息论的基础理论和编码的基本理论及方法。内容包括：信息的定义、自信息、互信息、信息熵、平均互信息、信道容量与匹配信源、串接信道与数据处理；扩展信源的信息熵、平均符号熵、马尔柯夫（Markov）信源的极限熵、剩余度、扩展信道的平均互信息、独立并列信道的信道容量；连续信源的相对熵、熵功率、高斯白噪声加性信道的最高信息传输速率；单义可译码的结构定理、信源符号速率极限定理、霍夫曼（Huffman）码编码方法及其性能评估、费诺（Fano）码和香农（shannon）码的编码方法；最小平均误码率译码规则、几种纠错码的编码方法及其最小误码率、误码率极限定理、线性分组码的代数结构和编码译码方法、系统完备码的最小平均误码率、汉明（Hamming）码的最优化；信息率-失真函数R（D）的定义和性质、离散信源R（D）的表达式、扩展信源的R（D）与数据压缩的关系等。
　　《普通高等教育“十二五”规划教材·电子信息类精品教材：信息论与编码基础》可作为高等院校高年级本科生的教材，也可供相关专业的研究生和从事信息理论、信息技术的科研、教学和工程技术人员参考。