信息论与编码基础教程

第1章 绪论

1.1 信息论发展简史

1.2 信息论研究的目的和本书主要内容

1.3 信息论的概念及常用术语

1.4 通信系统的模型

小结

习题

第2章 信源及信源熵

2.1 信源及分类

2.2 单符号离散信源

2.2.1 单符号离散信源的数学模型

2.2.2 自信息量

2.2.3 信源熵

2.2.4 信源熵的基本性质和定理

2.2.5 互信息量

2.2.6 数据处理中信息的变化

2.3 多符号离散信源

2.3.1 离散无记忆序列信源

2.3.2 离散有记忆平稳信源

2.3.3 马尔可夫信源

2.4 连续信源

2.4.1 连续信源熵

2.4.2 连续熵的性质

2.4.3 最大熵定理

2.5 冗余度

2.5.1 冗余度定义

2.5.2 冗余度来源

小结

习题

第3章 信息率失真函数

3.1 基本概念

3.1.1 失真函数（失真度）

3.1.2 平均失真度

3.1.3 信息率失真函数R（D）

3.1.4 信息率失真函数的性质

3.2 离散信源的R（D）计算

3.3 连续信源的R（D）计算

小结

习题

第4章 信源编码

4.1 数据压缩概述

4.2 无失真信源编码的基本原理

4.2.1 信源编码器

4.2.2 码的类型

4.2.3 基本概念

4.2.4 等长编码定理

4.2.5 变长编码定理

4.3 无失真信源编码方法

4.3.1 香农编码

4.3.2 费诺编码

4.3.3 哈夫曼编码

4.3.4 游程（Run-length）编码

4.3.5 算术编码

4.4 限失真信源编码定理

4.4.1 保真度准则下信源编码定理

4.4.2 信息、传输定理（联合有失真信源编码定理）

4.5 限失真信源编码方法

4.5.1 预测编码

4.5.2 变换编码

小结

习题

第5章 信道及信道容量

第6章 信道编码

第7章 密码技术

第8章 仿真实验

附录A 相关知识

附录B 部分习题答案

参考文献

本书主要介绍了信息的基本概念，信息论研究的对象、目的和内容，信息论发展简史； 介绍了信息论三个基本概念（信源熵、信道容量和信息论失真函数），以及相关的编码定理（信源编码、信道编码和安全编码）。各章配有相关习题，书后还提供了仿真实验。本书注重基本概念，思路清晰、简单明了，用通俗易懂的文字解释其物理意义，并辅以一定的例题和图示说明。本书可作为普通高等院校电子信息类、通信工程、信息与计算科学及相关专业的本科高年级学生教材，也可作为从事信息科学与技术的科研人员和工程技术人员的参考用书。