实用数据分析

译者序

序

前言

评审者简介

致谢

第1章　开始

1.1　计算机科学

1.2　人工智能

1.3　机器学习

1.4　统计学

1.5　数学

1.6　专业领域知识

1.7　数据、信息和知识

1.8　数据的本质

1.9　数据分析过程

1.9.1　问题

1.9.2　数据准备

1.9.3　数据探索

1.9.4　预测建模

1.9.5　结果可视化

1.10　定量与定性数据分析

1.11　数据可视化的重要性

1.12　大数据

1.12.1　传感器和摄像头

1.12.2　社会化网络分析

1.12.3　本书的工具和练习

1.12.4　为什么使用Python

1.12.5　为什么使用mlpy

1.12.6　为什么使用D3.js

1.12.7　为什么使用MongoDB

1.13　小结

第2章　数据准备与处理

2.1　数据源

2.1.1　开源数据

2.1.2　文本文件

2.1.3　Excel文件

2.1.4　SQL数据库

2.1.5　NoSQL数据库

2.1.6　多媒体

2.1.7　网页检索

2.2　数据清洗

2.2.1　统计方法

2.2.2　文本解析

2.2.3　数据转化

2.3　数据格式

2.3.1　CSV

2.3.2　JSON

2.3.3　XML

2.3.4　YAML

2.4　开始使用OpenRefine工具

2.4.1　Text facet

2.4.2　聚类

2.4.3　文件过滤器

2.4.4　numeric facet

2.4.5　数据转化

2.4.6　数据输出

2.4.7　处理历史

2.5　小结

第3章　数据可视化

3.1　数据导向文件

3.1.1　HTML

3.1.2　DOM

3.1.3　CSS

3.1.4　JavaScript

3.1.5　SVG

3.2　开始使用D3.js

3.2.1　柱状图

3.2.2　饼图

3.2.3　散点图

3.2.4　单线图

3.2.5　多线图

3.3　交互与动画

3.4　小结

第4章　文本分类

4.1　学习和分类

4.2　贝叶斯分类

4.3　E-mail主题测试器

4.4　数据

4.5　算法

4.6　分类器的准确性

4.7　小结

第5章　基于相似性的图像检索

5.1　图像相似性搜索

5.2　动态时间规整

5.3　处理图像数据集

5.4　执行DTW

5.5　结果分析

5.6　小结

第6章　模拟股票价格

6.1　金融时间序列

6.2　随机游走模拟

6.3　蒙特?卡罗方法

6.4　生成随机数

6.5　用D3.js实现

6.6　小结

第7章　预测黄金价格

7.1　处理时间序列数据

7.2　平滑时间序列

7.3　数据--历史黄金价格

7.4　非线性回归

7.4.1　核岭回归

7.4.2　平滑黄金价格时间序列

7.4.3　平滑时间序列的预测

7.4.4　对比预测值

7.5　小结

第8章　使用支持向量机的方法进行分析

8.1　理解多变量数据集

8.2　降维

8.2.1　线性无差别分析

8.2.2　主成分分析

8.3　使用支持向量机

8.3.1　核函数

8.3.2　双螺旋问题

8.3.3　在mlpy中执行SVM

8.4　小结

第9章　应用细胞自动机的方法对传染病进行建模

9.1　流行病学简介

9.2　流行病模型

9.2.1　SIR模型

9.2.2　使用SciPy来解决SIR模型的常微分方程

9.2.3　SIRS模型

9.3　对细胞自动机进行建模

9.3.1　细胞、状态、网格和邻域

9.3.2　整体随机访问模型

9.4　通过D3.js模拟CA中的SIRS模型

9.5　小结

第10章　应用社会化图谱

10.1　图谱的结构

10.1.1　间接图谱

10.1.2　直接图谱

10.2　社会化网络分析

10.3　捕获Facebook图谱

10.4　使用Gephi对图谱进行再现

10.5　统计分析

10.6　度的分布

10.6.1　图谱直方图

10.6.2　集中度

10.7　将GDF转化为JSON

10.8　在D3.js环境下进行图谱可视化

10.9　小结

第11章　对Twitter数据进行情感分析

11.1　解析Twitter数据

11.1.1　tweet

11.1.2　粉丝

11.1.3　热门话题

11.2　使用OAuth访问API

11.3　开始使用Twython

11.3.1　简单查询

11.3.2　处理时间表

11.3.3　处理粉丝

11.3.4　处理地点和趋势信息

11.4　情感分类

11.4.1　ANEW

11.4.2　语料库

11.5　使用NLTK

11.5.1　单词包

11.5.2　朴素贝叶斯

11.5.3　tweet的情感分析

11.6　小结

第12章　使用MongoDB进行数据处理和聚合

12.1　开始使用MongoDB

12.1.1　数据库

12.1.2　集合

12.1.3　文件

12.1.4　Mongo shell

12.1.5　Insert/Update/Delete

12.1.6　Queries查询

12.2　数据准备

12.2.1　使用OpenRefine进行数据转换

12.2.2　通过PyMongo来插入文件

12.3　分组

12.4　聚合框架

12.4.1　流水线

12.4.2　表达式

12.5　小结

第13章　使用MapReduce方法

13.1　MapReduce概述

13.2　编程模型

13.3　在MongoDB中使用MapReduce

13.3.1　map函数

13.3.2　reduce函数

13.3.3　使用Mongo shell

13.3.4　使用UMongo

13.3.5　使用PyMongo

13.4　过滤输入集合

13.5　分组和聚合

13.6　文字云对tweet中最常见的积极词汇进行可视化

13.7　小结

第14章　使用IPython和Wakari进行在线数据分析

14.1　开始使用Wakari

14.2　开始使用IPython记事本

14.3　通过PIL进行图像处理简介

14.3.1　打开一个图像

14.3.2　图像直方图

14.3.3　过滤

14.3.4　操作

14.3.5　转化

14.4　使用Pandas

14.4.1　处理时间序列

14.4.2　通过数据框架来操作多变量数据集

14.4.3　分组、聚合和相关

14.5　使用IPython进行多机处理

14.6　分享你的记事本

14.7　小结

附录　环境搭建

《大数据技术丛书：实用数据分析》共14章：第1章探讨数据分析的基本原理和数据分析步骤；第2章解释如何清洗并准备好数据；第3章展示了在JavaScript可视化框架下应用D3.js来实现各类数据的可视化方法；第4章介绍如何应用朴素贝叶斯算法来区分垃圾邮件；第5章讲解应用动态时间规整方法寻找图像间的相似性；第6章介绍使用随机游走算法和可视化的D3.js动画技术模拟股票价格；第7章介绍核岭回归（KRR）的原理以及应用；第8章描述如何使用支持向量机方法进行分类分析；第9章介绍应用细胞自动机方法对传染病进行建模；第10章解释如何应用Gephi从Facebook获取社会化媒体图谱并使之实现可视化；第11章介绍如何应用Twitter数据进行情感分析；第12章介绍如何使用MongoDB进行数据处理和聚合；第13章详细介绍如何在MongoDB数据库中应用MapReduce编程模型；第14章介绍如何应用IPython和Wakari开展线上数据分析。
　　通过阅读本书，你将学到：
　　从数据分析项目中得到有意义的结果；
　　可视化你的数据，找出趋势和相关性；
　　建立你自己的图像相似性搜索引擎；
　　了解如何从时间序列数据中预测数值；
　　在MongoDB中探索MapReduce框架；
　　创建D3.js互动式模拟。

资深数据分析咨询师多年经验结晶，通过大量典型数据分析案例，全面而深入地讲解分类分析、聚类分析、数据可视化及预测方面的各种技术和方法，为快速掌握并灵活运用数据分析技术提供实践指南。