信息论基础

第1章 绪论

1．1 信息的概念

1．1．1 信息

1．1．2 香农“信息”的定义

1．1．3 “信息”的度量

1．2 信息论的形成和发展

1．3 信息论的研究范畴

1．3．1 通信系统模型

1．3．2 信息论的研究内容

第2章 离散信源及其信息度量

2．1 信源的分类及描述

2．2 信源的数学模型

2．2．1 单符号离散信源

2．2．2 简单的连续信源

2．2．3 多符号离散信源

2．2．4 多维连续平稳信源和波形信源

2．3 信息的度量和信源熵

2．3．1 自信息、联合自信息与条件自信息

2．3．2 互信息和条件互信息

2．3．3 信息熵

2．4 信源熵的基本性质和定理

2．5 离散无记忆扩展信源

2．6 离散平稳信源

2．6．1 离散平稳信源的数学模型

2．6．2 离散平稳信源的信息熵和极限熵

2．7 马尔可夫信源

2．7．1 马尔可夫信源的定义

2．7．2 马尔可夫信源的信息熵

2．8 信源的相关性和剩余度

习题

第3章 离散信道及其信道容量

3．1 信道的分类及其描述

3．2 单符号离散信道的数学模型

3．3 平均互信息及其特性

3．3．1 平均互信息的定义

3．3．2 损失熵和噪声熵

3．3．3 平均互信息的特性

3．4 信道容量及其计算方法

3．4．1 信道容量的定义

3．4．2 无噪信道的信道容量

3．4．3 对称离散信道的信道容量

3．4．4 准对称离散信道的信道容量

3．4．5 一般离散信道的信道容量

3．5 多符号离散信道的数学模型

3．6 离散无记忆扩展信道的信道容量

3．7 组合信道及其信道容量

3．7．1 独立并联信道及其信道容量

3．7．2 串联信道及其信道容量

3．8 信源与信道的匹配

习题

第4章 无失真信源编码

4．1 信源编码器

4．2 无失真离散信源编码定理

4．2．1 无失真定长信源编码定理

4．2．2 无失真变长信源编码定理

4．3 霍夫曼码和其他编码方法

4．3．1 唯一可译码和即时码

4．3．2 香农码

4．3．3 霍夫曼码

4．3．4 费诺码

4．4 算术码

4．4．1 香农－费诺－埃利斯码

4．4．2 算术码

习题

第5章 波形信源和波形信道

5．1 波形信源的统计特性和处理方法

5．1．1 波形信源的统计特性

5．1．2 随机波形信源的处理方法

5．2 连续信源的信息度量

5．2．1 连续信源的熵及其性质

5．2．2 连续信源的最大熵

5．2．3 熵功率

5．3 波形信源的信息度量

5．4 波形信道的分类和处理方法

5．4．1 波形信道的分类

5．4．2 波形信道的处理方法

5．5 连续信道的信道容量

5．5．1 连续信道的平均互信息

5．5．2 连续信道的信道容量

5．6 波形信道的信道容量

5．6．1 波形信道的信息传输速率

5．6．2 波形信道的信道容量

习题

第6章 限失真信源编码

6．1 失真测度

6．1．1 失真函数

6．1．2 平均失真

6．1．3 保真度准则

6．2 信息率失真函数

6．2．1 信息率失真函数的定义

6．2．2 R（D）函数的性质

6．2．3 R（D）函数的计算

6．3 限失真信源编码定理

习题

第7章 有噪信道编码

7．1 有噪信道编码定理

7．1．1 平均错误概率

7．1．2 信道编码的基本思想

7．1．3 有噪信道编码定理

7．1．4 信道编码的途径

7．2 联合信源信道编码定理

7．3 信道编码的基本原理

7．3．1 信道编码的一般方法

7．3．2 信道编码的检错和纠错能力

7．3．3 最小汉明距离译码

7．4 线性分组码

7．4．1 线性分组码的编码

7．4．2 线性分组码的译码

7．4．3 完备码和汉明码

7．4．4 循环码

7．5 卷积码

7．5．1 卷积码的解析表示

7．5．2 卷积码的图形描述

7．5．3 卷积码的译码方法

7．5．4 递归型系统卷积码

7．6 Turbo码

7．6．1 Turbo编码

7．6．2 Turbo译码

习题

第8章 网络信息论初步

8．1 多用户信道

8．1．1 多址接入信道

8．1．2 广播信道

8．1．3 相关信源的多用户信道问题

8．2 无线信道

8．2．1 信道模型

8．2．2 圆对称复数高斯随机矢量

8．2．3 MIMO高斯信道容量

附录概率论基础知识概要

参考文献

《信息论基础》重点介绍由香农理论发展而来的信息论的基本理论以及编码理论，联系实际通信系统，用较多的例题和图示展示基本概念的运用方法，尽量减少繁杂的公式、定理证明；叙述上力求概念清楚、重点突出、深入浅出、通俗易懂；内容上力求科学性、先进性、系统性与实用性相统一。全书共分8章，内容包括绪论、离散信源及其信息度量、离散信道及其信道容量、无失真信源编码、波形信源和波形信道、限失真信源编码、有噪信道编码和网络信息论初步。
　　《信息论基础》既可作为高等学校通信工程、电子信息工程和其他相近专业本科学生教材，也可以作为信息、通信、电子工程相关专业科技人员的参考书。

本书面向通信工程、电子信息工程、信息工程和电子信息科学与技术等专业教学需要，着重讲授以经典信息论内容为主的信息论基础，特别强调概念阐述清楚、理论体系相对完整，围绕信息传输系统这一工程应用背景建立信息论的数学分析方法。读者在学习中应结合信息传输系统的数学模型理解信息论中基本理论方法，培养抽象分析能力和系统工程概念。本书既可作为高等学校通信工程、电子信息工程和其他相近专业本科学生教材，也可以作为信息、通信、电子工程相关专业科技人员的参考书。