离散信息论基础

第1章　绪论　1.1　基本概念　　1.1.1　信息的含义　　1.1.2　信息的表达　　1.1.3　信息的处理　1.2　信息论概览　　1.2.1　Shannon与信息论　　1.2.2　通信系统的数学模型　本章小结　习题第2章　离散信息的度量　2.1　基本概念　　2.1.1　离散熵的定义　　2.1.2　联合熵与条件熵　　2.1.3　相对熵与互信息

第1章　绪论　1.1　基本概念　　1.1.1　信息的含义　　1.1.2　信息的表达　　1.1.3　信息的处理　1.2　信息论概览　　1.2.1　Shannon与信息论　　1.2.2　通信系统的数学模型　本章小结　习题第2章　离散信息的度量　2.1　基本概念　　2.1.1　离散熵的定义　　2.1.2　联合熵与条件熵　　2.1.3　相对熵与互信息　2.2　离散熵的性质　　2.2.1　离散熵的基本性质　　2.2.2　链式法则　　2.2.3　有关离散熵的不等式　2.3　离散熵的形式唯一性　本章小结　习题第3章　数据压缩　3.1　基本概念　　3.1.1　语言与编码　　3.1.2　匡一可译码　　3.1.3　即时码与前缀码　3.2　数据压缩的性质　　3.2.1　前缀码的码长约束　　3.2.2　唯一可译码的码长约束　　3.2.3　最佳码　3.3　典型编码　　3.3.1　Huffman编码　　3.3.2　Fano编码　　3.3.3　Shanno一Fano-Elias　编码　本章小结　习题第4章　离散信源　4.1　基本概念　　4.1.1　离散信源模型　　4.1.2　Markov信源　　4.1.3　Markov链　4.2　信源编码　　4.2.1　随机变量扩展　　4.2.2　变长信源编码定理　　4.2.3　熵率　4.3　渐近均分性　　4.3.1　典型集　　4.3.2　信源编码定理　本章小结　习题第5章　数据纠错　5.1　基本概念　　5.1.1　离散信道模型　　5.1.2　典型信道　　5.1.3　信道扩展　5.2　信道纠错　　5.2.1　译码准则　　5.2.2　错误概率估计　　5.2.3　分组码　5.3　线性分组码　　5.3.1　码字距离　　5.3.2　纠错能力　　5.3.3　Hamrning码　本章小结　习题第6章　离散信道第7章　数据保密第8章　算法信息论与通用信源编码第9章　微分熵与最大熵原理信息论实验参考文献

本书从离散概率人手，对离散信息论的基本知识进行了介绍，主要内容包括：绪论，离散信息的度量，数据压缩，离散信源，数据纠错，离散信道，数据保密，算法信息论与通用信源编码，微分熵与最大熵原理。为拓宽读者视野，培养学习兴趣，提高人文素养，本书融人了一些历史知识，还补充了信息论实验内容。　　本书可供信息安全、信息与计算科学、计算机科学与技术等本科专业的高年级学生使用，也可供从事相关专业的教学、科研和工程技术人员参考。