信息论与编码

第1章 绪论

1.1 信息技术的优势及其带来的根本变革

1.2 信息论与编码的基本概念

1.2.1 信息的一般概念

1.2.2 香农的信息定义

1.2.3 信息的其他定义

1.2.4 信息论与编码技术发展历程

1.2.5 香农生平和学术风格

1.2.6 若干基本问题及其锦囊

1.3 数字通信系统模型

1.4 信息论与编码理论研究的主要内容和意义

1.4.1 信息论研究的主要内容

1.4.2 香农信息论对信道编码的指导意义

1.4.3 香农信息论对信源编码的指导意义

1.4.4 香农信息论对加密编码的指导意义

1.5 香农信息论的重要观点与方法

1.6 全程思考题

思考题与习题

第2章 信源及信息度量

2.1 信源的数学模型和分类

2.1.1 离散无记忆信源

2.1.2 离散有记忆信源

2.1.3 马尔可夫信源

2.1.4 连续信源

2.2 离散信源熵和互信息

2.2.1 自信息量

2.2.2 信源熵

2.2.3 条件熵

2.2.4 联合熵

2.2.5 熵函数的性质

2.2.6 互信息与平均互信息量

2.2.7 互信息与平均互信息量的性质

2.2.8 数据处理中信息的变化

2.3 离散序列信源的熵

2.3.1 离散无记忆信源的序列熵

2.3.2 离散有记忆信源的序列熵

2.3.3 马尔可夫信源的序列熵

2.4 连续信源的熵和互信息

2.4.1 幅度连续的单个符号的信源熵

2.4.2 波形信源熵

2.4.3 最大熵定理

2.5 冗余度

2.6 最大熵原理

2.7 关于熵的概念理解与题意解读

思考题与习题

第3章 信道及其容量

3.1 信道的数学模型与分类

3.1.1 信道的分类

3.1.2 信道的数学模型与参数

3.2 信道疑义度与平均互信息量

3.3 信息传输率与信道容量

3.4 离散单个符号信道的信道容量

3.4.1 特殊离散信道

3.4.2 对称DMC信道

3.4.3 准对称DMC信道

3.4.4 具有可逆矩阵信道

3.4.5 一般DMC信道

3.5 离散无记忆序列信道的信道容量

3.6 串联信道和并联信道的信道容量

3.6.1 串联信道及其信道容量

3.6.2 并联信道及其信道容量

3.7 连续信道及其容量

3.7.1 连续单符号加性信道

3.7.2 多维无记忆加性连续信道

3.7.3 限时限频限功率的加性高斯白噪声信道

3.8 信源与信道的匹配

3.9 信道编码定理简介

思考题与习题

第4章 无失真信源编码

4.1 编码器和相关概念

……

第5章 信息率失真函数与限失真编码

第6章 信道编码

第7章 加密编码

第8章 香农信息论的局限性与发展展望

第9章 信息论与编码技术的实现与应用

附录 寄语及学习研究的经验和方法分享

参考文献

本书对信息论的基本概念（熵、平均互信息量、信道容量、信息率失真函数）以及与此相对的香农三大极限编码定理（无失真信源编码定理、限失真信源编码定理、信道编码定理）做了系统的介绍，并以信息论为基础，介绍了信源编码、信道编码和加密编码的基本原理和方法，对一些具体编码方法的现实应用和编程实现也做了简单介绍，最后，对相关领域的发展进行了概述和展望，在附录中还给出了一些科研与创新的相关经验。本书注重启发式的教学，注重创新能力的培养，对难于理解的信息论与编码的关键性问题给出了思考提示。在编写方式上进行了创新，采用不同字体区分不同内容，为读者留出了创新空间。本书适用于高等院校信息工程、通信工程、雷达、信息安全、计算机、电子学、信息与计算科学等相关专业的本科生、研究生的教学，也可以用于教学、科研和工程的参考。