数据分析教程

1 数据分析常用的概率分布

1.1 计数与计数值的概率分布

1.1.1 二项分布

1.1.2 泊松分布

1.1.3 多项分布

1.2 测量误差与正态分布

1.2.1 测量误差的分布

1.2.2 正态分布

1.2.3 多维正态分布

1.3 抽样分布

1.3.1 基于正态分布的抽样分布

1.3.2 基于多维正态分布的抽样分布

1.4 常用概率分布的MATLAB函数

习题1

2 数据的浓缩与直观分析

2.1 数据的浓缩

2.1.1 样本矩

2.1.2 顺序统计量

2.1.3 样本方差一协方差矩阵

2.1.4 数据浓缩的MlATLAB函数

2.2 数据的图示与分析

2.2.1 频率分布与直方图

2.2.2 五数概括与box图

2.2.3 线性相关性与散布图

2.2.4 数据类与轮廓图，调和曲线图

2.3 数据的正态性评估

2.3.1 数据正态性评估的基本策略

2.3.2 正态概率图

2.3.3 分布的一致性与Q-Q图

2.3.4 样本的广义距离与卡方图

习题2

3 数据的预处理与变量系统的降维

3.1 数据的预处理

3.1.1 问题与工作目标

3.1.2 数据异常值的发现与处理

3.1.3 非正态数据的正态化变换

3.1.4 参考点的建立、极性转换、消除量纲与数量级的规范化

3.2 主成分分析

3.2.1 问题与工作目标

3.2.2 主成分的构造方法

3.2.3 主成分的统计估计

3.2.4 基于主成分分析的变量系统的降维

3.3 典型相关分析

3.3.1 问题与工作目标

3.3.2 典型变量的构造方法

3.3.3 典型变量与典型相关系数的统计估计

3.3.4 典型相关系数的显著性检验

3.3.5 典型冗余分析

习题3

4 统计推断——参数的估计与检验

4.1 参数的估计

4.1.1 问题与工作目标

4.1.2 构造估计量的方法

4.1.3 估计量的效能分析

4.1.4 参数的置信域分析

4.1.5 正态总体均值与方差的估计

4.1.6 非正态总体的参数估计

4.2 参数的假设检验

4.2.1 问题与工作目标

4.2.2 检验的思维逻辑与方法

4.2.3 正态总体均值与方差的检验

4.2.4 非正态总体参数的检验

4.2.5 参数检验若干问题的进一步讨论

4.3 维正态总体的参数推断

4.3.1 问题与工作目标

4.3.2 均值向量与协方差矩阵的估计

4.3.3 均值向量与协方差矩阵的检验

习题4

5 统计推断——非参数检验

5.1 非参数检验的基本概念

5.1.1 非参数检验问题

5.1.2 Pearson方法

5.1.3 Wilcoxon方法

5.2 分布拟合优度检验

5.2.1 连续分布的拟合优度检验

5.2.2 正态性检验的常用方法

5.3 分布一致性检验

5.3.1 两个连续分布的一致性检验

5.3.2 多个分布的一致性检验

5.4 独立性检验

5.4.1 列联表检验

5.4.2 秩相关系数检验

5.5 随机性检验

5.5.1 均匀性检验

5.5.2 同分布检验

习题5

6 方差分析——类均值一致性检验

6.1 方差分析的基本概念

6.1.1 问题与工作目标

6.1.2 统计推断的思想与方法

6.2 单因子方差分析

6.2.1 统计模型

6.2.2 检验方法

6.2.3 多重比较与效应估计

6.2.4 方差齐性检验

6.3 双因子方差分析

6.3.1 统计模型

6.3.2 检验方法

6.3.3 最优因子组合的估计

6.4 多元方差分析

6.4.1 统计模型与检验方法

6.4.2 协方差矩阵相等性的检验

6.4.3 几点说明

习题6

7 回归分析——相关关系的数学模型

7.1 线性回归分析

7.1.1 问题与工作目标

7.1.2 回归方程的建立

7.1.3 回归方程的显著性检验

7.1.4 自变量的筛选与回归方程的优化

7.1.5 基于最优回归方程的统计推断

7.1.6 伪非线性回归分析

7.2 偏最小二乘回归分析

7.2.1 问题与工作目标

7.2.2 偏最小二乘回归方程的建立

7.2.3 偏最小二乘方法的辅助分析

7.3 Logistic回归分析

7.3.1 问题与基本概念

7.3.2 Logistic回归方程的建立

7.3.3 几点说明

习题7

8 聚类与判别——事物相似性的分析

8.1 相似性及其度量

8.1.1 距离——样品之间的相似性度量

8.1.2 相似系数——变量之间的相似性度量

8.1.3 点集之间的相似性度量

8.2 聚类分析

8.2.1 问题与工作目标

8.2.2 谱系聚类法

8.2.3 K-均值聚类法

8.2.4 有序样品聚类法

8.3 判别分析

8.3.1 问题与工作目标

8.3.2 距离判别法

8.3.3 Fisher判别法

8.3.4 几点说明

习题8

附录A MATLAB语言简介

A.1 数值矩阵的建立与基本操作

A.1.1 直接输入法

A.1.2 文件装载法

A.1.3 函数生成法

A.1.4 矩阵的基本操作

A.2 基本数学运算

A.2.1 矩阵的代数运算

A.2.2 标量批处理运算

A.2.3 矩阵的关系和逻辑运算

A.3 数据的图形化

A.3.1 数据图形化的常用指令

A.3.2 多窗口绘图技术

A.3.3 点线图的单窗口多图技术

A.3.4 图形的标记

A.4 自定义M文件的编写

A.4.1 运算流程的控制

A.4.2 指令集的函数化

A.4.3 m文件的保护

A.5 MATLAB使用常识

附录B Statistics Toolbox中的常用函数

B.1 常用概率分布

B.2 统计量与统计作图

B.3 统计推断

B.4 协方差结构分析

B.5 线性模型

B.6 模式识别

B.7 其他

附录C 本书自定义的MATLAB函数

C.1 mnormpdfplot.m

C.2 interplot.m

C.3 chi2plot.m

C.4 stand.m

C.5 corrstand.m

C.6 chi2normtest.m

C.7 cttest.m

C.8 cca.m

C.9 ccorrtest.m

C.10 plscca.m

C.11 plscoeff.m

C.12 plsvip.m

C.13 logitcoeff.m

C.14 lp.m

C.15 dclass.m

参考文献

致谢

本书作为工科“概率论与数理统计”课程后续统计数据分析类课程的教材。内容包括： 非参数统计推断、方差分析和多元线性分析的基本内容；多维正态总体的推断问题、主成分分析、典型相关分析、聚类分析、判别分析、偏最小二乘回归分析和Logistic回归分析；MATLAB数据处理方法.本书可作为工科硕士研究生“统计分析与应用”课程的基础教材，也可作为对统计数据分析有较高要求的本科各专业高年级学生的选修教材，还可作为管理、科研和工程技术人员的参考读物。