信息论基础

前言

第1章 绪论

第2章 概率统计的基础知识

2．1 概率空间

2．2 条件概率

2．3 独立性

2．4 随机变量

2．4．1 随机变量的基本性质

2．4．2 随机变量的独立性

2．5 随机变量的数字特征

2．5．1 离散型

2．5．2 连续型

2．6 大数定律

习题2

第3章 离散信源的熵和信息量

3．1 离散信源

3．2 事件的互信息

3．3 条件互信息和联合事件的互信息

3．4 事件的自信息

3．5 离散随机变量的平均自信息——熵

3．6 熵的性质

3．7 香农熵的公理化定义

3．8 随机变量的鉴别信息和平均互信息

3．8．1 随机变量的鉴别信息

3．8．2 随机变量的互信息

3．9 马尔可夫链和数据处理定理

3．1 0连续随机变量的互信息和微分熵

3．1 0．1 连续随机变量的互信息

3．1 0．2 连续随机变量的熵——微分熵

3．1 0．3 微分熵的极大化

3．1 1凸函数和互信息的凸性

3．1 1．1 凸函数的概念和性质

3．1 1．2 Kuhn-Tucker条件

3．1 1．3 互信息的凸性

3．1 2平稳离散信源

3．1 2．1 平稳离散信源的一般概念

3．1 2．2 平稳信源的熵

3．1 2．3 马尔可夫信源的熵

习题3

第4章 离散信源的无错编码

4．1 渐近等同分割性和离散无记忆信源的等长编码

4．1．1 渐近等同分割性

4．1．2 离散无记忆信源的等长编码

4．2 离散无记忆信源的不等长编码

4．2．1 Kraft不等式

4．2．2 不等长编码定理

4．2．3 最佳不等长编码（Huffman编码）

4．2．4 其他不等长编码

4．3 平稳信源和马尔可夫信源的编码定理

4．3．1 平稳信源的编码

4．3．2 马尔可夫信源的编码定理

习题4

第5章 离散无记忆信道的容量和编码定理

5．1 离散无记忆信道及其容量

5．1．1 信道容量的定义和举例

参考文献

《信息论基础》是为高等学校信息与计算科学专业本科生编写的教材。内容包括概率论的基础知识，香农提出的有关信息量化的基本概念、方法和定理，以及信源的基本编码理论和信道的基本编码理论。
　　《信息论基础》可作为高等学校信息与计算科学专业以及信息类专业的教材，也可作为相关课程的教学参考书。