信息论基础

第1章绪论

1.1信息的基本概念

1.1.1信息论的产生

1.1.2信息的基本概念

1.2香农信息论研究的内容

1.2.1通信系统模型

1.2.2香农信息论的主要内容

1.3香农信息论研究的进展与应用

1.3.1香农信息论创立的背景

1.3.2香农的主要贡献

1.3.3香农信息论的研究进展

1.3.4香农信息论的应用

思考题

第2章离散信息的度量

2.1自信息和互信息

2.1.1自信息

2.1.2互信息

2.2信息熵

2.2.1信息熵的定义与计算

2.2.2条件熵与联合熵

2.2.3熵的基本性质

2.3平均互信息

2.3.1平均互信息的定义

2.3.2平均互信息的性质

2.3.3平均条件互信息

本章小结

思考题

习题

第3章离散信源

3.1离散信源的分类与数学模型

3.1.1离散信源的分类

3.1.2离散无记忆信源的数学模型

3.1.3离散有记忆信源的数学模型

3.2离散无记忆信源的熵

3.2.1单符号离散无记忆信源的熵

3.2.2离散无记忆信源N次扩展源的熵

3.3离散平稳信源的熵

3.3.1离散平稳信源

3.3.2离散平稳有记忆信源的熵

3.4有限状态马尔可夫链

3.4.1马氏链基本概念

3.4.2齐次马氏链

3.4.3马氏链状态分类

3.4.4马氏链的平稳分布

3.5马尔可夫信源

3.5.1马氏源的基本概念

3.5.2马氏源的产生模型

3.5.3马氏链N次扩展源的熵的计算

3.5.4马氏源符号熵的计算

3.6信源的相关性与剩余度

3.6.1信源的相关性

3.6.2信源剩余度(冗余度)

3.6.3自然语言的相关性和剩余度

本章小结

思考题

习题

第4章连续信息与连续信源

4.1连续随机变量集合的熵

4.1.1连续随机变量的离散化

4.1.2连续随机变量集的熵

4.1.3连续随机变量集的条件熵

4.1.4连续随机变量集的联合熵

4.1.5连续随机变量集合差熵的性质

4.1.6连续随机变量集合的信息散度

4.2离散时间高斯信源的熵

4.2.1维高斯随机变量集的熵

4.2.2多维独立高斯随机变量集的熵

4.2.3多维相关高斯随机变量集的熵

4.3连续最大熵定理

4.3.1限峰值最大熵定理

4.3.2限功率最大熵定理

4.3.3熵功率和剩余度

4.4连续随机变量集的平均互信息

4.4.1连续随机变量集的平均互信息

4.4.2连续随机变量集平均互信息的性质

4.5离散集与连续集之间的互信息

4.5.1离散事件与连续事件之间的互信息

4.5.2离散集合与连续集合的平均互信息

本章小结

思考题

习题

第5章无失真信源编码

5.1概述

5.1.1信源编码器

5.1.2信源编码的分类

5.1.3分组码

5.2定长码

5.2.1无失真编码条件

5.2.2信源序列分组定理

5.2.3定长码信源编码定理

5.3变长码

5.3.1异前置码的性质

5.3.2变长码信源编码定理

5.4哈夫曼编码

5.4.1二元哈夫曼编码

5.4.2多元哈夫曼编码

5.4.3马氏源的编码

*5.5几种实用的编码方法

5.5.1算术编码

5.5.2游程编码

5.5.3L-Z编码

本章小结

思考题

习题

第6章离散信道及其容量

6.1概述

6.1.1信道的分类

6.1.2离散信道的数学模型

6.1.3信道容量的定义

6.2单符号离散信道及其容量

6.2.1离散无噪信道的容量

6.2.2离散对称信道的容量

6.2.3般离散信道的容量

6.3级联信道及其容量

6.4多维矢量信道及其容量

6.4.1多维矢量信道输入与输出的性质

6.4.2离散无记忆扩展信道及其容量

6.4.3并联信道及其容量

6.4.4和信道及其容量

6.5信道容量的迭代计算

本章小结

思考题

习题

第7章有噪信道编码

7.1概述

7.1.1信道编码的基本概念

7.1.2判决与译码规则

7.1.3译码错误概率

7.2最佳判决与译码准则

7.2.1最大后验概率准则

7.2.2最大似然准则

7.3信道编码与最佳译码

7.3.1线性分组码

7.3.2序列最大似然译码

7.3.3几种简单的分组码

7.4费诺(Fano)不等式

7.4.1信道疑义度

7.4.2费诺(Fano)不等式

7.5有噪信道编码定理

7.5.1联合典型序列

7.5.2有噪信道编码定理

7.5.3无失真信源信道编码定理

7.6纠错编码技术简介

7.6.1线性分组码的编译码

7.6.2几种重要的分组码

7.6.3卷积码简介

*7.7信道编码性能界限

7.7.1汉明球包界

7.7.2Varsharmov-Gilberlt界

7.7.3P1otkin界

本章小结

思考题

习题

第8章波形信道

8.1离散时间连续信道

8.1.1时间离散连续信道模型

8.1.2平稳无记忆连续信道

8.1.3多维矢量连续信道的性质

8.1.4离散时间连续信道的容量

8.2加性噪声信道与容量

8.2.1加性噪声信道的容量

8.2.2加性高斯噪声信道的容量

8.2.3般加性噪声信道容量界

8.2.4并联加性高斯噪声信道的容量

8.3AWGN信道的容量

8.3.1加性高斯噪声波形信道

8.3.2波形信道的互信息与容量

8.3.3AWGN信道的容量

8.3.4高斯噪声信道编码定理

8.3.5功率利用率和频谱利用率的关系

8.4有色高斯噪声信道

8.4.1有色高斯噪声信道容量

8.4.2AWGN信道容量的进一步讨论

*8.5数字调制系统的信道容量

本章小结

思考题

习题

第9章信息率失真函数

9.1概述

9.1.1系统模型

9.1.2失真测度

9.2离散信源信息率失真函数

9.2.1信息率失真函数

9.2.2R(D)函数的性质

9.3限失真信源编码定理

9.3.1码率的压缩

9.3.2限失真信源编码定理

9.3.3限失真信源信道编码定理

9.4离散信源信息率失真函数的计算

9.4.1R(D)参量表示法求解

9.4.2R(D)求解过程归纳

9.4.3参量s的意义

9.5连续信源信息率失真函数

9.5.1信息率失真函数与性质

9.5.2R(D)函数的计算

9.5.3差值失真测度

9.6高斯信源的R(D)函数

9.6.1离散时间无记忆高斯信源

9.6.2独立并联高斯信源

9.7一般连续信源R(D)函数

*9.8有损数据压缩技术简介

9.8.1量化

9.8.2预测编码

9.8.3子带编码

9.8.4变换编码

本章小结

思考题

习题

第10章有约束信道及其编码

10.1标号图的性质

10.1.1标号图的基本概念

10.1.2标号图的变换

10.2有约束信道容量

10.2.1有约束信道容量的定义

10.2.2等时长符号有约束信道的容量

10.2.3不等时长符号无约束信道的容量

10.2.4不等时长符号有约束信道的容量

10.3有约束序列的性质

10.3.1信道对传输序列的约束

10.3.2游程长度受限序列(RLL)

10.3.3部分响应最大似然(PRML)序列

10.3.4直流平衡序列

10.3.5其他频域受限序列

10.4有约束信道编码定理

10.4.1编码器的描述

10.4.2有约束信道编码定理

10.4.3有限状态编码定理

10.4.4编码器性能指标

*10.5有约束序列编码与应用

10.5.1块编码器

10.5.2实用直流平衡序列

10.5.3常用有约束序列编码及应用

本章小结

思考题

习题

第11章网络信息论初步

11.1概述

11.2多址接人信道

11.2.1二址接入信道的容量

11.2.2不同多址方式下的接入信道容量分析

11.2.3多址接入信道的容量

11.3广播信道

11.3.1退化广播信道

11.3.2退化广播信道的容量区域

11.4相关信源编码

11.4.1典型的相关信源编码模型

11.4.2S1epiarrWolf相关信源编码定理

本章小结

思考题

习题

*第12章信息理论方法及其应用

12.1信源熵的估计

12.1.1离散信源序列熵的估计

12.1.2连续信源熵的估计

12.2最大熵原理

12.2.1最大熵原理的描述

12.2.2熵集中定理

12.2.3几种重要的最大熵分布

12.3最小交叉熵原理

12.3.1最小交叉熵原理

12.3.2交叉熵的性质

12.3.3最小交叉熵推断的性质

12.3.4交叉熵法

12.4信息理论方法的应用

12.4.1DNA序列的熵估计和压缩

12.4.2最大熵谱估计和最小交叉熵谱估计

12.4.3最大熵建模及其在自然语言处理中的应用

12.4.4最大熵原理在经济学中的应用

12.4.5信息理论方法应用展望

本章小结

思考题

习题

参考文献