Hadoop集群与安全

译者序

作者简介

审校者简介

前言

第1章 构建Hadoop集群

1.1 选择Hadoop集群硬件

1.1.1 选择DataNode硬件

1.1.2 低存储密度集群

1.1.3 高存储密度集群

1.1.4 NameNode和JobTracker硬件配置

1.1.5 网关和其他辅助服务

1.1.6 网络配置

1.1.7 Hadoop硬件总结

1.2 Hadoop发行版

1.2.1 Hadoop版本

1.2.2 选择Hadoop发行版

1.2.3 Cloudera Hadoop 发行版

1.2.4 Hortonworks Hadoop发行版

1.2.5 MapR

1.3 为Hadoop集群选择操作系统

1.4 小结

第2章 安装和配置Hadoop

2.1 在Hadoop集群中配置操作系统

2.1.1 选择和设置文件系统

2.1.2 设置Java开发包

2.1.3 其他操作系统设定

2.1.4 设置CDH存储库

2.2 设置NameNode

2.2.1 JournalNode节点、ZooKeeper以及故障转移控制器

2.2.2Hadoop配置文件

2.2.3 NameNode高可用方案配置

2.2.4 JobTracker配置

2.2.5DataNode配置

2.3 小结

第3章 配置Hadoop生态系统

3.1托管Hadoop生态项目

3.2 Sqoop

3.2.1安装和配置Sqoop

3.2.2 Sqoop导入示例

3.2.3 Sqoop导出示例

3.3 Hive

3.3.1Hive架构

3.3.2安装Hive Metastore

3.3.3 安装Hive客户端

3.3.4 安装Hive Server

3.4Impala

3.4.1 Impala架构

3.4.2 安装Impala state store

3.4.3 安装Impala server

3.5 小结

第4章 Hadoop安全

4.1 Hadoop安全概述

4.2 Hadoop分布式文件系统安全

4.3 MapReduce安全

4.4 Hadoop服务级别验证

4.5 Hadoop和Kerberos

4.5.1 Kerberos概述

4.5.2 Hadoop中的Kerberos

4.6 小结

第5章 监控Hadoop集群

5.1 监控策略介绍

5.2 Hadoop参数

5.2.1 JMX参数

5.2.2 使用Nagios监控Hadoop

5.2.3 监控Hadoop分布式文件系统

5.2.4 NameNode校验

5.2.5 JournalNode检查

5.2.6 ZooKeeper检查

5.3 监控MapReduce

5.4 使用Ganglia监控Hadoop

5.5 小结

第6章 在云端使用Hadoop

6.1 Amazon Elastic MapReduce

6.1.1 安装EMR命令行接口

6.1.2 选择Hadoop版本

6.1.3 启动EMR集群

6.2 使用Whirr

6.3 小结

第7章 Hadoop平台安全概述

7.1 为什么需要保障Hadoop生态系统的安全

7.2 确保Hadoop生态系统安全面临的挑战

7.3 关键安全因素

7.4 小结

第8章 Hadoop安全体系设计

8.1 什么是Kerberos

8.1.1 Kerberos关键术语

8.1.2 Kerberos如何工作

8.1.3 Kerberos 的优点

8.2 不采用Kerberos的Hadoop默认安全模型

8.3 Hadoop Kerberos 安全模型实现

8.3.1 用户层次的访问控制

8.3.2 服务层次的访问控制

8.3.3 用户和服务认证

8.3.4 授权令牌

8.3.5 作业令牌

8.3.6 数据块访问令牌

8.4 小结

第9章 配置一个安全Hadoop集群

9.1 前提条件

9.2 设置Kerberos

9.3 配置Hadoop使用Kerberos认证

9.3.1 在所有Hadoop节点设置Kerberos客户端

9.3.2 配置Hadoop服务标识

9.4 Hadoop用户设置

9.5 安全Hadoop自动部署

9.6 小结

第10章 Hadoop生态系统安全保障

10.1 为Hadoop生态系统组件配置Kerberos

10.1.1 Hive安全设置

10.1.2 Oozie安全设置

10.1.3 Flume安全设置

10.1.4 HBase安全设置

10.1.5 Sqoop安全设置

10.1.6 Pig安全设置

10.2 Hadoop生态系统组件安全保障最佳实践

10.3 小结

第11章 集成Hadoop与企业安全系统

11.1 集成EIM系统

11.1.1 配置EIM与Hadoop集成

11.1.2 集成基于Active Directory的EIM系统与Hadoop生态系统

11.2 从企业网络访问安全Hadoop集群

11.2.1 HttpFS

11.2.2 HUE

11.2.3 Knox Gateway Server

11.3 小结

第12章 Hadoop中敏感数据安全保护

12.1 Hadoop中敏感数据及保护方法

12.2 小结

第13章 安全事件与审计日志

13.1 Hadoop集群安全事故和事件监控

13.2 Hadoop集群审计日志设置

13.3 小结

附录 Hadoop安全机制解决方案

Hadoop自动化安装和配置的问题在于隐藏了许多Hadoop组件协同工作的重要细节，《大数据技术丛书：Hadoop集群与安全》介绍如何手动安装和配置主要的Hadoop组件，以便高效使用Hadoop平台。通过设置一个完全可运行的集群，可对Hadoop内部的运行机制产生更深入的了解，并且有助于你调试任何可能发生的问题。《大数据技术丛书：Hadoop集群与安全》还介绍了保障基于Hadoop的大数据平台安全的实现方案和最佳实践，覆盖Kerberos安全协议和Hadoop安全机制的设计，并包括在企业内部来确保Hadoop及其生态系统相关组件安全的详细方案。
　　通过阅读《Hadoop集群与安全》，你将了解：
　　·如何手动配置主要的Hadoop组件，以及Hadoop生态系统。
　　·如何在云端使用Hadoop，包括Elastic MapReduce和Whirr的应用。
　　·如何配置Kerberos并建立安全的Hadoop集群。
　　·如何保护Hadoop生态系统中的敏感数据。

手把手教你配置高效的Hadoop集群，充分利用Hadoop平台的优势；
　　为Hadoop生态系统实现强健的端到端的安全保障。