信息论与编码理论

第1章 引言

1.1 信息论的发展概况

1.1.1 信息论的早期酝酿

1.1.2 Shannon信息论的建立与发展

1.1.3 信息论的近期发展

1.1.4 信息论在信息技术领域中的应用

1.2 信息论与编码理论的主要内容

1.2.1 信息的度量问题

1.2.2 通信系统的基本模型

1.2.3 通信系统中信息的传递过程

1.2.4 通信系统的概率统计模型

1.2.5 通信系统的序列模型

1.3 本书内容简介与文献介绍

1.3.1 内容简介

1.3.2 有关著作和文献介绍

1.3.3 对有关记号的说明

习题1

第一部分 信息论

第2章 信息量

2.1 熵

2.1.1 离散随机变量的不肯定性

2.1.2 不肯定性的特征与表示

2.1.3 熵的简单性质与例子

2.2 联合熵和条件熵

2.2.1 联合熵的记号

2.2.2 条件熵的定义与性质

2.3 熵的基本性质

2.3.1 对数函数的基本不等式与熵函数的最大值

2.3.2 熵函数的可加性

2.3.3 Fano不等式

2.4 互熵与互信息

2.4.1 互熵

2.4.2 互信息

2.4.3 条件互信息

2.5 凸函数及其应用

2.5.1 凸函数的定义与它的判别

2.5.2 Jenson不等式与它的应用

2.6 连续型随机变量的信息量

2.6.1 连续型随机变量的Shannon熵

2.6.2 多维连续型随机变量的Shannon熵

2.6.3 其他连续型随机变量的信息量

2.7 最大熵原理

2.7.1 有限区间情形的最大熵

2.7.2 半开区间情形的最大熵

2.7.3 全直线情形的最大熵

2.7.4 多维连续型随机变量的最大熵

习题2

第3章 信源编码

3.1 信源编码问题

3.1.1 信源编码

3.1.2 定长编码与变长编码

3.1.3 信源变长码的编码问题

3.1.4 信源序列的定长编码问题

3.2 前缀码和即时码

3.2.1 唯一可译变长码的构造

3.2.2 Kraft不等式

3.3 信源变长码的编码定理

3.3.1 最优变长码平均码长的下界估计

3.3.2 最优变长码平均码长的上界估计

3.3.3 无记忆信源平均码长的上界和下界估计

3.4 Huffman信源编码算法

3.4.1 Huffman编码的实例分析

3.4.2 Huffman编码的一般算法

3.5 Huffman信源编码性能分析

3.5.1 Huffman编码的前缀性

3.5.2 Huffman编码的最优性

3.6 信源定长码的编码定理

习题3

第4章 信道编码定理

4.1 信道编码问题

4.1.1 通信系统的编码误差

4.1.2 信道序列的编码问题

4.2 离散无记忆信道

4.2.1 离散无记忆信道的一般定义

4.2.2 几种特殊的离散无记忆信道

4.3 无记忆信道的信道容量

4.3.1 信道容量的一般定义

4.3.2 无记忆信道序列的容量性质

4.4 信道容量的计算

4.4.1 凸函数的极大值性质

4.4.2 信道容量的计算

4.5 信道的编码和译码问题

4.6 信道的正编码定理和反编码定理

4.7 可加高斯(Gaussian)信道

习题4

第二部分 抽象代数

第5章 抽象代数的基本知识

5.1 群

5.2 环和域

5.3 理想和商环

5.4 域上的多项式

5.5 有限域

5.6 域上的线性代数

习题5

第三部分 编码理论

第6章 编码理论的基本知识

6.1 码的基本概念

6.1.1 码的定义

6.1.2 Hamming距离和Hamming重量

6.1.3 译码策略

6.1.4 系统码

6.2 码的检错和纠错能力

6.3 编码理论的基本问题

6.3.1 码的等价变换

6.3.2 编码理论的一些界

习题6

第7章 线性码

7.1 线性码的定义

7.2 线性码的对偶码

7.3 线性码的译码方法

7.4 线性码的重量分布

习题7

第8章 Hamming码

8.1 Hamming码的定义

8.2 Hamming码的性质

8.3 Hamming码的译码方法

8.4 二元Hamming码的对偶码

习题8

第9章 循环码

9.1 循环码的定义

9.2 循环码的性质

9.3 循环码的校验矩阵及其对偶码

9.4 循环码的编码方法

9.5 循环码的检错性能

习题9

第10章 BCH码和Reed-Solomon码

10.1 BCH码及其基本性质

10.2 Reed-Solomon码及其基本性质

10.3 BCH码和Reed-Solomon码的译码方法

10.4 Reed-Solomon码和最大距离可分码的重量分布

习题10

第11章 几种重要的线性码

11.1 Golay码

11.2 Reed-Muller码

11.2.1 布尔函数

11.2.2 Reed-Muller码

11.3 平方剩余码

11.4 Goppa码

习题11

第四部分 信息论和编码理论的应用

第12章 若干应用问题

12.1 有失真的数据压缩

12.1.1 有失真信源编码问题

12.1.2 有失真信源的率失真函数

12.1.3 有失真信源编码的可达速率

12.1.4 率失真函数的计算

12.1.5 有失真信源编码定理

12.1.6 数据压缩问题概述

12.1.7 数据压缩问题的实例分析

12.1.8 数据压缩技术的主要分析指标

12.2 卷积码理论及其应用

12.2.1 卷积码的构造

12.2.2 卷积码的树结构

12.2.3 卷积码的译码算法

12.2.4 卷积码的应用

12.3 几种实用的编码问题

12.3.1 汉字编码

12.3.2 计算机代码

12.3.3 图形码

习题12

主要参考文献

《信息论与编码理论（第2版）》主要介绍信息论和编码理论的基本内容，其特点是简明扼要，可读性强，既具有较严谨的数学描述与推导，又注意到信息论的实用背景，其中许多典型问题已在通信工程中得到实际应用。
　　《信息论与编码理论（第2版）》共分12章。主要内容包括：信息的度量、信源编码、信道编码定理、编码理论中用到的基本抽象代数知识、编码理论的基本概念和基本问题、线性码、Hamming码、循环码、BCH码、Reed-Solomon码、Golay码、Reed-Muller码、平方剩余码、Goppa码以及信息论和编码理论的应用。本书每章末均附有习题，其中部分习题是对正文内容的补充。
　　《信息论与编码理论（第2版）》可作为高等院校信息科学专业、计算机科学专业、通信专业以及相关专业的本科生教材，也可供相关领域的研究生、教学与科研人员，以及工程技术人员参考。