发现数据之美

目 录第1章业务分析是一个蓬勃发展的方向 11．1 业务分析是什么 21．2 业务分析的应用现状 31．3 如何应用业务分析 51．4 大数据与业务分析 81．5 我们还在等什么 9第2章开始我们的旅程――从数据谈起 102．1 我们讨论的数据结构 112．1．1 行（Row）是什么 122．1．2 列（Column）是什么 132．1．3 多少行数据才合适 152．1．4 我们需要什么样的列 162．2 Statistics和Modeler的基本知识 182．3 数据导入（Loading Data） 242．4 数据探查（Data Exploring） 272．4．1 正态分布（Normal Distribution） 282．4．2 数据探查的常见统计量 302．4．3 数据可视化 352．5 本章小结 47第3章在分析之前，还需要数据预处理 483．1 数据的问题 493．2 数据校验 503．2．1 验证规则 503．2．2 验证数据 533．2．3 数据审计（Data Audit） 573．2．4 识别异常数据 603．3 数据集成（Data Integration） 653．3．1 在Statistics中进行数据集成 663．3．2 在Modeler中进行数据集成 683．4 数据转换（Data Transformation） 733．4．1 分箱（Binning） 733．4．2 数据调整（Data Rescale） 783．4．3 数据重新编码（Recode） 793．5 自动数据准备 833．5．1 Statistics中的自动数据准备 833．5．2 Modeler中的自动数据准备 883．6 本章小结 89第4章经典分析――统计学的魅力 914．1 随机变量及分布 924．2 数理统计导引 944．3 参数估计 964．3．1 点估计 964．3．2 区间估计 974．4 假设检验 984．4．1 正态分布检验和t检验 1014．4．2 非参数检验 1084．5 相关分析 1114．6 方差分析 1134．7 回归分析 1144．7．1 线性回归分析 1144．7．2 自动化线性回归分析 1204．7．3 广义线性模型 1224．7．4 广义线性混合模型（Generalized Linear Mixed Mode，GLMM） 1284．8 本章小结 135第5章我想预测未来 1365．1 数据挖掘的技术分类 1365．1．1 有监督的建模技术 1375．1．2 无监督的建模技术 1385．1．3 Feature Selection对于分类的意义 1395．1．4 查看建模的结果 1395．2 决策树 1405．2．1 C5．0算法 1415．2．2 分类和回归树 1455．2．3 卡方自动交互检测法（CHAID） 1475．2．4 快速、无偏、高效的统计树（QUEST） 1485．2．5 交互式的决策树构建方式 1495．3 决策表 1505．3．1 决策表算法的设置 1515．3．2 交互式决策表的生成方式 1535．4 贝叶斯网络 1545．4．1 一些基本概念 1545．4．2 IBM SPSS的做法 1565．5 神经网络（Neural Networks） 1585．5．1 神经网络是什么 1585．5．2 SPSS神经网络算法 1605．6 支持向量机（Support Vector Machine） 1625．6．1 什么是线性分类器 1625．6．2 Modeler中的支持向量机 1635．7 最近相邻（Nearest Neighbor） 1655．8 我该选用哪种算法 1675．9 如何评价预测结果 1705．9．1 基本指标 1705．9．2 Gains 1715．9．3 Lift 1735．9．4 Response 1755．9．5 Profit 1755．9．6 ROI 1775．10 本章小结 177第6章我想发现聚类（Cluster） 1796．1 聚类技术 1806．2 分层聚类 1816．3 K-means 1846．4 TwoStep 1886．4．1 预聚类 1896．4．2 离群值处理 1896．4．3 聚类 1896．4．4 TwoStep的使用 1906．5 Kohonen network 1926．6 我怎么知道聚类结果是好的 1946．6．1 考察聚类的数量和每个聚类中的记录数 1946．6．2 考察聚类内的特征 1956．6．3 考察聚类间的特征 1956．6．4 一个综合的考察指标Silhouette 1966．7 自动聚类 1976．8 理解聚类的结果 1986．9 一个聚类分析应用的例子 2016．10 本章小结 202第7章周而复始的规律――时间序列分析 2037．1 时间序列 2047．1．1 时间序列的类型 2047．1．2 时间序列的特征 2057．2 指数平滑模型 2067．2．1 简单指数平滑法 2067．2．2 带有趋势调整的指数平滑法（霍尔特指数平滑法） 2087．2．3 带有阻尼趋势的指数平滑法 2087．2．4 简单季节指数平滑法 2097．2．5 带有趋势和季节调整的指数平滑法（温特斯指数平滑法） 2097．2．6 指数平滑法的初始化 2107．2．7 去除时间序列的趋势和季节性因素 2117．3 自回归模型 2127．3．1 自回归模型 2127．3．2 移动平均模型 2137．3．3 自回归移动平均模型（ARMA） 2137．3．4 差分自回归移动平均模型 2147．4 SPSS产品中的时间序列模型 2147．4．1 Statistics中的时间序列模型 2147．4．2 Modeler中的时间序列模型 2357．5 时间序列分析的评价 2387．6 本章小结 239第8章你的行为完全可能被猜中――关联规则分析 2408．1 基本概念 2418．2 Apriori算法 2458．2．1 Apriori算法工作步骤 2458．2．2 Apriori算法的评估方法 2468．2．3 Apriori节点 2478．3 CARMA算法 2498．3．1 CARMA算法的工作步骤 2498．3．2 CARMA节点 2518．4 序列算法 2528．5 关联规则的评价 2558．6 典型应用案例 256第9章我们还需要优化技术的帮忙 2579．1 什么是优化技术 2589．2 优化问题的分类 2599．2．1 线性规划 2609．2．2 整数规划 2619．2．3 多目标规划 2629．2．4 动态规划 2629．3 IBM ILOG Optimization介绍 2639．4 本章小结 265第10章有关方法论的问题 26610．1 为什么我们要讨论方法论 26710．2 CRISP-DM 26710．2．1 CRISP-DM方法学 26810．2．2 CRISP-DM参考模型 27010．3 IBM SPSS CaDS 27310．3．1 Repository 27310．3．2 Job 27410．3．3 Model Refresh and Champion Challenger 27410．3．4 Scoring 27410．4 模型的部署不是终点 275第11章一个时髦的领域――决策管理 27611．1 决策管理系统 27611．1．1 什么是决策 27711．1．2 什么是决策管理系统 27911．1．3 决策支持与决策管理的比较 28111．2 构建决策管理系统 28211．2．1 构建决策支持系统的原则 28211．2．2 合适的决策 28311．2．3 如何找到合适的决策 28511．2．4 怎样在决策管理系统中定义决策 28711．2．5 决策管理系统中的优化技术 29211．2．6 决策影响的评估 29411．2．7 监控决策 29711．2．8 决策的持续改进 29811．2．9 构建和部署决策服务 29911．2．10 实施决策管理的一些要求 30011．3 IBM ADM 30111．3．1 ADM是SPSS数据分析能力的窗口 30111．3．2 ADM的着眼点是将数据分析结果转化为决策 30211．3．3 ADM是一个可以配置的决策服务平台 30311．3．4 ADM的工作步骤 30611．4 本章小结 308后记为未来做好准备 309

大数据时代已经来临，这将引起深刻的行业变革。本书从一个自底向上的角度，全面地阐述了数据分析所涉及的知识和技术，对于经典算法和工具的介绍也不止于泛泛而谈，而是加入了作者的经验和理解。所谓自底向上的角度，即从数据分析实践开始时所需要的数据准备、数据探查、数据再处理等， 到经典的统计分析和数据挖掘算法及应用，还讲述了模型的部署，优化技术的引入，最终到决策自动化。【作者简介】彭鸿涛，毕业于西安交通大学软件学院，自2008年加入IBM SPSS部门以来，一直担任SPSS Analytical Decision Management 架构师和技术主管。由于工作需要，对数理统计和数据挖掘有长期的使用和研究，对SPSS的产品及解决方案有深入理解，特别擅长于将具体的数据分析技术应用到实际的商业问题解决中。除此之外，对图像分析也有较深入的实践和应用。 目前，正致力于大数据的应用。聂磊，瑞典查尔姆斯理工大学应用信息技术和可靠计算机系统双硕士，PMP。2008 年加入IBM SPSS部门，现为IBM Analytical Decision Management团队主管及资深开发人员，从事数据挖掘和企业级业务分析与优化解决方案等产品的研发、部署实施和集成架构咨询工作，对数据挖掘和决策支持有深刻的认识和理解，对SPSS的产品及解决方案有深入的研究。目前专注于大数据和云计算等技术的研究。