Spark MLlib机器学习实践

第1章 星星之火

1.1 大数据时代

1.2 大数据分析时代

1.3 简单、优雅、有效——这就是Spark

1.4 核心——MLlib

1.5 星星之火，可以燎原

1.6 小结

第2章 Spark安装和开发环境配置

2.1 Windows单机模式Spark安装和配置

2.1.1 Windows 7安装Java

2.1.2 Windows 7安装Scala

2.1.3 Intellij IDE下载和安装

2.1.4 Intellij IDE中Scala插件的安装

2.1.5 Spark单机版安装

2.2 经典的WordCount

2.2.1 Spark实现WordCount

2.2.2 MapReduce实现WordCount

2.3 小结

第3章 RDD详解

3.1 RDD是什么

3.1.1 RDD名称的秘密

3.1.2 RDD特性

3.1.3 与其他分布式共享内存的区别

3.1.4 RDD缺陷

3.2 RDD工作原理

3.2.1 RDD工作原理

3.2.2 RDD的相互依赖

3.3 RDD应用API详解

3.3.1 使用aggregate方法对给定的数据集进行方法设定

3.3.2 提前计算的cache方法

3.3.3 笛卡尔操作的cartesian方法

3.3.4 分片存储的coalesce方法

3.3.5 以value计算的countByValue方法

3.3.6 以key计算的countByKey方法

3.3.7 除去数据集中重复项的distinct方法

3.3.8 过滤数据的filter方法

3.3.9 以行为单位操作数据的flatMap方法

3.3.10 以单个数据为目标进行操作的map方法

3.3.11 分组数据的groupBy方法

3.3.12 生成键值对的keyBy方法

3.3.13 同时对两个数据进行处理的reduce方法

3.3.14 对数据进行重新排序的sortBy方法

3.3.15 合并压缩的zip方法

3.4 小结

第4章 MLlib基本概念

4.1 MLlib基本数据类型

4.1.1 多种数据类型

4.1.2 从本地向量集起步

4.1.3 向量标签的使用

4.1.4 本地矩阵的使用

4.1.5 分布式矩阵的使用

4.2 MLlib数理统计基本概念

4.2.1 基本统计量

4.2.2 统计量基本数据

4.2.3 距离计算

4.2.4 两组数据相关系数计算

4.2.5 分层抽样

4.2.6 假设检验

4.2.7 随机数

4.3 小结

第5章 协同过滤算法

第6章 MLlib线性回归理论与实战

第7章 MLlib分类实战

第8章 决策树与保序回归

第9章 MLlib中聚类详解

第10章 MLlib中关联规则

第11章 数据降维

第12章 特征提取和转换

第13章 MLlib实战演练——鸢尾花分析

Spark作为新兴的、应用范围最为广泛的大数据处理开源框架引起了广泛的关注，它吸引了大量程序设计和开发人员进行相关内容的学习与开发，其中 MLlib是 Spark框架使用的核心。本书是一本细致介绍 Spark MLlib程序设计的图书，入门简单，示例丰富。 本书分为 12章，从 Spark基础安装和配置开始，依次介绍 MLlib程序设计基础、MLlib的数据对象构建、MLlib中 RDD使用介绍，各种分类、聚类、回归等数据处理方法，最后还通过一个完整的实例，回顾了前面的学习内容，并通过代码实现了一个完整的分析过程。 本书理论内容由浅而深，采取实例和理论相结合的方式，内容全面而详尽，讲解细致直观，适合 Spark MLlib初学者、大数据分析和挖掘人员，也适合高校和培训学习相关专业的师生教学参考。