信息论基础

第1章 随机变量的信息度量

§1．1 自信息

§1．2 熵、联合熵、条件熵

§1．3 相对熵和互信息

§1．4 信息量的一些基本性质

§1．5 广义熵

习题一

第2章 随机过程的信息度量和渐近等分性

§2．1 信源和随机过程的基本概念

§2．2 随机过程的信息度量

§2．3 渐近等分性质

§2．4 渐近等分性在数据压缩中的应用——信源编码定理

§2．5 Shannon—McMillan—Breiman定理

习题二

第3章 数据压缩和信源编码

§3．1 等长码

§3．2 变长编码

§3．3 哈夫曼（Huffman）码

§3．4 算术码

§3．4．1 香农一费诺码

§3．4．2 自适应算术码

§3．5 通用信源编码

§3．5．1 Lz算法

§3．5．2 LZW（LempeL-Ziv-Welch）算法

§3．5．3 Kieffer-YaIlg算法（基于语法的普适信源压缩算法）

习题三

第4章 数据可靠传输和信道编码

§4．1 离散无记忆信道和信道容量

§4．2 信道容量的计算

§4．2．1 拉格朗日乘子法

§4．2．2 信道容量的迭代算法

§4．3 信道编码理论

§4．3．1 一些定义和概念

§4．3．2 联合典型序列

§4．3．3 信道编码定理

§4．4 带反馈的信道模型

§4．5 联合信源——信道编码定理

§4．6 线性分组码

习题四

第5章 限失真信源编码和率失真函数

§5．1 限失真信源编码模型和率失真函数

§5．1．1 限失真信源编码模型和率失真函数定义

§5．1．2 率失真函数的性质

§5．1．3 平稳信源的率失真函数

§5．2 率失真函数的计算

§5．2．1 一个简单的例子

§5．2．2 拉格朗日乘子法

§5．2．3 迭代算法

§5．3 限失真信源编码定理

习题五

第6章 连续信源和信道编码理论

§6．1 可微熵

§6．2 相对熵和互信息

§6．3 连续信源的率失真函数

§6．3．1 率失真函数和失真率函数

§6．3．2 高斯信源的率失真函数

§6．3．3 一般连续信源的率失真函数

§6．4 高斯信道

§6．4．1 有加性噪声的信道模型和信道容量

§6．4．2 复合高斯信道和平稳高斯信道

习题六

第7章 网络信息理论

§7．1 网络通信模型

§7．2 多变量联合典型序列

§7．3 多址信道

§7．3．1 二址信道模型和编码定理

§7．3．2 多址信道容量区域的计算

§7．3．3 高斯多址信道

§7．4 相关信源编码

§7．4．1 Slepian-Wolf模型

§7．5 相关信源和多址信疲乏复合编码问题

§7．6 网络编码

§7．6．1 几个例子

§7．6．2 最大流最小截定理

§7．6．3 线性网络编码

习题七

后记：信息论的推广和应用

参考文献

《信息论基础》自2003年第一版以来，为国内百余所高校不同的专业作为信息论课程教材使用。本次修订，作者吸取了使用者多方面的宝贵意见，并对《信息论基础》进行了全面的审查，对各章内容进行了一些必要的增删或改写，在“网络信息理论”一章中增加了近几年迅速发展起来的“网络编码”的内容。内容编排上力求深入浅出，在讲授信息论的基本理论的同时也介绍信息论的一些前沿理论和最新进展，如网络信息理论和网络编码等，还介绍了信息论在其他领域中的一些应用。
　　全书结构紧凑，简明扼要，推导严密，语言顺畅。内容主要包括随机变量的信息度量、随机过程的信息度量和渐近等分性、数据压缩和信源编码、数据可靠传输和信道编码、限失真数据压缩和率失真理论、连续信源与信道理论、网络信息理论和网络编码、信息论的应用等。作者还编辑了习题供各校授课教师参考使用。
　　《信息论基础》可作为高等学校信息与计算科学专业、数学与应用数学专业教材，也可供其他专业“信息论基础”课程选用。

本书结构紧凑，简明扼要，推导严密，语言顺畅。内容主要包括随机变量的信息度量、随机过程的信息度量和渐近等分性、数据压缩和信源编码、数据可靠传输和信道编码、限失真数据压缩和率失真理论、连续信源与信道理论、网络信息理论和网络编码、信息论的应用等。作者还编辑了习题供各校授课教师参考使用。本书可作为高等学校信息与计算科学专业、数学与应用数学专业教材，也可供其他专业“信息论基础”课程选用。