信息论基础

译者序

第2版前言

第1版前言

第2版致谢

第1版致谢

第1章绪论与概览

第2章熵、相对熵与互信息

2.1熵

2.2联合熵与条件熵

2.3相对熵与互信息

2.4熵与互信息的关系

2.5熵、相对熵与互信息的链式法则

2.6Jensen不等式及其结果

2.7对数和不等式及其应用

2.8数据处理不等式

2.9充分统计量

2.10费诺不等式

要点

习题

历史回顾

第3章渐近均分性

3.1渐近均分性定理

3.2AEP的推论：数据压缩

3.3高概率集与典型集

要点

习题

历史回顾.

第4章随机过程的熵率

4.1马尔可夫链

4.2熵率

4.3例子：加权图上随机游动的熵率

4.4热力学第二定律

4.5马尔可夫链的函数

要点

习题

历史回顾

第5章数据压缩

5.1有关编码的几个例子

5.2Kraft不等式

5.3最优码

5.4最优码长的界

5.5惟一可译码的Kraft不等式

5.6赫夫曼码

5.7有关赫夫曼码的评论

5.8赫夫曼码的最优性

5.9Shannon-Fano-Elias编码

5.10香农码的竞争最优性

5.11由均匀硬币投掷生成离散分布

要点

习题

历史回顾

第6章博弈与数据压缩

6.1赛马

6.2博弈与边信息

6.3相依的赛马及其熵率

6.4英文的熵

6.5数据压缩与博弈

6.6英文的熵的博弈估计

要点

习题

历史回顾

第7章信道容量

7.1信道容量的几个例子

7.1.1无噪声二元信道

7.1.2无重叠输出的有噪声信道

7.1.3有噪声的打字机信道

7.1.4二元对称信道

7.1.5二元擦除信道

7.2对称信道

7.3信道容量的性质

7.4信道编码定理预览

7.5定义

7.6联合典型序列

7.7信道编码定理

7.8零误差码

7.9费诺不等式与编码定理的逆定理

7.10信道编码定理的逆定理中的等式

7.11汉明码

7.12反馈容量

7.13信源信道分离定理

要点

习题

历史回顾

第8章微分熵

8.1定义

8.2连续随机变量的AEP

8.3微分熵与离散熵的关系

8.4联合微分熵与条件微分熵

8.5相对熵与互信息

8.6微分熵、相对熵以及互信息的性质

要点

习题

历史回顾

第9章高斯信道

9.1高斯信道：定义

9.2高斯信道编码定理的逆定理

9.3带宽有限信道

9.4并联高斯信道

9.5高斯彩色噪声信道

9.6带反馈的高斯信道

要点

习题

历史回顾

第10章率失真理论

10.1量化

10.2定义

10.3率失真函数的计算

10.3.1二元信源

10.3.2高斯信源

10.3.3独立高斯随机变量的同步描述

10.4率失真定理的逆定理

10.5率失真函数的可达性

10.6强典型序列与率失真

10.7率失真函数的特征

10.8信道容量与率失真函数的计算

要点

习题

历史回顾

第11章信息论与统计学

11.1型方法

11.2大数定律

11.3通用信源编码

11.4大偏差理论

11.5Sanow定理的几个例子

11.6条件极限定理

11.7假设检验

11.8Chernoff-Stein引理

11.9Chemoff信息

11.10费希尔信息与Cramer-Rao不等式

要点

习题

历史回顾

第12章最大熵

12.1最大熵分布

12.2几个例子

12.3奇异最大熵问题

12.4谱估计

12.5高斯过程的熵率

12.6Burg最大熵定理

要点

习题

历史回顾

第13章通用信源编码

13.1通用码与信道容量

13.2二元序列的通用编码

13.3算术编码

13.4Lempel-Ziv编码

13.4.1带滑动窗口的Lernpel-Ziv算法

13.4.2树结构Lernpel-Ziv算法

13.5Lempel-Ziv算法的最优性

13.5.1带滑动窗口的Lempel-Ziv算法

13.5.2树结构Lempel-Ziv压缩的

最优性

要点

习题

历史回顾

第14章科尔莫戈罗夫复杂度

14.1计算模型

14.2科尔莫戈罗夫复杂度：定义与几个例子

14.3科尔莫戈罗夫复杂度与熵

14.4整数的科尔莫戈罗夫复杂度

14.5算法随机序列与不可压缩序列

14.6普适概率

14.7科尔莫戈罗夫复杂度

14.8Ω

14.9万能博弈

14.10奥克姆剃刀

14.11科尔莫戈罗夫复杂度与普适概率

14.12科尔莫戈罗夫充分统计量

14.13最短描述长度准则

要点

习题

历史回顾

第15章网络信息论

15.1高斯多用户信道

15.1.1单用户高斯信道

15.1.2阴个用户的高斯多接人信道

15.1.3高斯广播信道

15.1.4高斯中继信道

15.1.5高斯干扰信道

15.1.6高斯双程信道

15.2联合典型序列

15.3多接人信道

15.3.1多接人信道容量区域的可达性

15.3.2对多接人信道容量区域的评述

15.3.3多接人信道容量区域的凸性

15.3.4多接人信道的逆定理

15.3.5m个用户的多接人信道

15.3.6高斯多接人信道

15.4相关信源的编码

15.4.1Slepian-wolf定理的可达性

15.4.2Slepian-Wolf定理的逆定理

15.4.3多信源的Slepian-Wolf定理

15.4.4Slepian-Wolf编码定理的解释

15.5Slepian-Wolf编码与多接人信道之间的对偶性

15.6广播信道

15.6.1广播信道的定义

15.6.2退化广播信道

15.6.3退化广播信道的容量区域

15.7中继信道

15.8具有边信息的信源编码

15.9具有边信息的率失真

15.10一般多终端网络

要点

习题

历史回顾

第16章信息论与投资组合理论

16.1股票市场：一些定义

16.2对数最优投资组合的库恩-塔克特征

16.3对数最优投资组合的渐近最优性

16.4边信息与增长率

16.5平稳市场中的投资

16.6对数最优投资组合的竞争最优性

16.7万能投资组合

16.7.1有限期万能投资组合

16.7.2无限期万能投资组合

16.8Shanon-McMillan-Breiman定理(广义渐近均分性质)

要点

习题

历史回顾

第17章信息论中的不等式

17.1信息论中的基本不等式

17.2微分熵

17.3熵与相对熵的界

17.4关于型的不等式

17.5熵的组合界

17.6子集的熵率

17.7熵与费希尔信息

17.8熵幂不等式与布伦-闵可夫斯基不等式

17.9有关行列式的不等式

17.10关于行列式的比值的不等式

要点

习题

历史回顾

参考文献

索引

　　本书第2版依然保持了第1版清晰、引人深思的写作风格。读者可以又一次获得数学、物理学、统计学以及信息论方面的综合知识。关于信息论的主题包括熵、数据压缩、信道容量、率失真、网络信息论以及假设检验等领域的详细介绍，旨在为读者在理论研究和应用方面打下坚实的基础。在每章结束前提供了习题集和要点总结以及主要论点的历史回顾。　　本书是信息论领域中一本简明易懂的教材。主要内容包括：熵、信源、信道容量、率失真、数据压缩与编码理论和复杂度理论等方面的介绍。　　本书还对网络信息论和假设检验等进行了介绍，并且以赛马模型为出发点，将对证券市场豹研究纳入了信息论的框架，从新的视角给投资组合的研究带来了全新的投资理念和研究技巧。　　本书适合作为电子工程、统计学以及电信方面的高年级本科生和研究生的信息论基础教程教材，也可供研究人员和专业人士参考。