信息论与编码基础

第1章 绪论

1.1 信息的概念

1.2 信息论的形成和发展

1.3 信息论的研究范畴

1.4 通信系统模型

1.5 习题

第2章 信源和信息熵

2.1 信源的特性和分类

2.2 离散信源的信息度量

2.2.1 信息量的定义

2.2.2 自信息量

2.2.3 联合信息量与条件自信息量

2.3 互信息量

2.3.1 互信息量的定义

2.3.2 互信息的性质

2.3.3 条件互信息和联合互信息

2.4 信源熵

2.5 条件熵和联合熵

2.6 熵函数的数学特性

2.7 加权熵

2.8 平均互信息量

2.9 信息不增性原理

2.10 平稳离散信源

2.10.1 离散平稳无记性信源的扩展信源

2.10.2 离散平稳信源的熵

2.10.3 马尔可夫信源

2.10.4 信源的冗余度

2.11 连续信源

2.11.1 连续随机变量的熵

2.11.2 最大相对熵

2.11.3 熵功率

2.12 习题

第3章 信道及信道容量

3.1 信道的数学模型和分类

3.1.1 信道的分类

3.1.2 单符号离散信道的数学模型

3.2 单符号离散信道中的熵速率与信道容量

3.2.1 离散无噪声信道的熵速率和信道容量

3.2.2 几种特殊离散信道的容量

3.2.3 对称离散信道的信道容量

3.2.4 离散信道容量的一般计算方法

3.3 多符号离散信道及其信道容量

3.4 组合信道的信道容量

3.4.1 串联信道及其信道容量

3.4.2 独立并联信道的信道容量

3.5 网络信息理论

3.5.1 多址接入信道

3.5.2 广播信道

3.5.3 相关信源的多用户信道

3.6 连续信道及其信道容量

3.6.1 连续信道的平均互信息量

3.6.2 连续信道的熵速率与信道容量

3.6.3 连续信源的香农公式与噪声

3.7 信道编码定理

3.8 习题

第4章 信源编码

4.1 编码的定义

4.2 码的分类

4.3 离散无失真信源编码定理

4.4 离散信源编码

4.4.1 香农编码

4.4.2 费诺编码

4.4.3 赫夫曼编码

4.4.4 游程编码

4.4.5 冗余位编码

4.4.6 Lempel-Ziv编码

4.4.7 算术编码

4.5 习题

第5章 信道编码

5.1 数字通信系统

5.2 信道编码及编码定理

5.3 信道模型

5.3.1 二进制对称信道

5.3.2 离散无记忆信道

5.3.3 离散输入、连续输出信道

5.3.4 波形信道

5.4 差错控制方式

5.5 信道编码的分类及其基本概念

5.5.1 信道编码的分类

5.5.2 信道编码的基本概念

5.6 常见的几种检错码

5.6.1 奇偶校验码

5.6.2 水平奇偶校验码

5.6.3 水平垂直奇偶校验码

5.6.4 恒比码

5.6.5 群计数码

5.7 线性分组码

5.7.1 基本概念

5.7.2 线性分组码的编码

5.7.3 线性分组码的译码

5.8 循环码

5.8.1 循环码的代数结构

5.8.2 循环码的编码

5.8.3 循环码的译码

5.9 卷积码

5.9.1 基本原理

5.9.2 卷积码的描述

5.9.3 卷积码的译码

5.10 Turbo码

5.10.1 Turbo码的编码

5.10.2 Turbo码的译码

5.11 LDPC码

5.11.1 LDPC码的编码

5.11.2 LDPC码的译码

5.12 习题

第6章 信息率失真函数

6.1 基本概念

6.1.1 失真函数与平均失真度

6.1.2 信息率失真函数的定义

6.1.3 信息率失真函数R(D)的性质

6.2 离散信源的信息率失真函数

6.2.1 离散信源信息率失真函数的参量表达式

6.2.2 二元信源的信息率失真函数

6.2.3 离散信源R(D)函数计算

6.2.4 信息率失真函数R(D)的迭代算法

6.3 连续信源的信息率失真函数

6.4 限失真信源编码定理

6.5 习题

第7章 信息论方法的应用

7.1 信息论方法在信号处理中的应用

7.2 信息论在其他学科领域的应用

7.2.1 信息论与博弈论

7.2.2 信息论与统计学

7.2.3 信息论与密码学

7.3 最大熵谱与最小误差熵估计

7.3.1 最大熵谱估计

7.3.2 最小误差熵估计

7.4 习题

参考文献

本书全面地介绍了Shannon信息论的基本理论：信息的统计度量、Shannon三大编码定理以及对应的三类编码，无失真信源编码、限失真信源编码及信道编码。全书共分7章，主要内容包括绪论,信源和信源熵,无失真信源编码、限失真信源编码，信道及信道容量以及信道编码，信息率失真函数，信息论方法的应用等。本书深入浅出，概念清晰，系统性强，力求以通俗易懂的语言及大量典型的应用实例使读者快速、高效地学习和掌握信息论与编码的基本理论和技术。本书适合作为高等院校通信工程、电子与信息技术等相关专业本科生的教材，也可作为低年级研究生的教学参考书，也可供从事信息领域的科技工作者、工程技术人员参考。

本书配有PPT教案可在清华大学出版社官网下载。
本书注重基础性和应用性，注重理论分析和实践背景，以新颖、实用、代表性为素材选取的原则，语言通俗易懂。
本书内容组织循序渐进，既涵盖了必要的基础知识，又增添了新的理论和技术。结构严谨、内容广泛，具有系统性和可扩展性。
本书内容涉及Shannon信息论的基本理论：信息的统计度量、Shannon三大编码定理以及对应的三类编码、信息率失真函数；信息论方法的应用等。