Hadoop源代码分析

第1篇 Hadoop概述与安装第1章 Hadoop的简介和安装1.1 Hadoop的简介1.1.1 分布式文件系统HDFS1.1.2 并行计算模型MapReduce1.2 Hadoop的安装1.2.1 虚拟机以及Ubuntu的安装1.2.2 创建Hadoop用户1.2.3 JDK1.6的安装1.2.4 SSH的配置1.2.5 单机模式下Hadoop的安装1.2.6 伪分布式模式下Hadoop的安装1.2.7 分布式模式下Hadoop的安装第2篇 HDFS分布式文件系统及IO模型第2章 HDFS架构和分布式文件系统

第1篇 Hadoop概述与安装第1章 Hadoop的简介和安装1.1 Hadoop的简介1.1.1 分布式文件系统HDFS1.1.2 并行计算模型MapReduce1.2 Hadoop的安装1.2.1 虚拟机以及Ubuntu的安装1.2.2 创建Hadoop用户1.2.3 JDK1.6的安装1.2.4 SSH的配置1.2.5 单机模式下Hadoop的安装1.2.6 伪分布式模式下Hadoop的安装1.2.7 分布式模式下Hadoop的安装第2篇 HDFS分布式文件系统及IO模型第2章 HDFS架构和分布式文件系统2.1 分布式文件系统概述2.2 HDFS的特点2.3 HDFS文件系统架构2.4 Hadoop的抽象文件系统模型2.4.1 FileSystem抽象文件系统2.4.2 FileStatus文件状态信息2.4.3 FsPermission文件或目录的操作权限2.4.4 FileSystem的实现类2.4.5 FileSystem的输入流2.4.6 FileSystem的输出流2.5 小结第3章 Hadoop分布式文件系统HDFS的具体实现3.1 DistributedFileSystem分布式文件系统3.2 DFSClient HDFS客户端3.3 小结第4章 NameNode的实现4.1 INode抽象类4.2 INodeDirectory目录4.3 INodeFile文件4.4 FSDirectory文件系统目录4.5 FSEditLog文件系统的编辑日志4.6 FSImage文件系统镜像4.7 Host2NodesMap主机到DataNode的映射4.8 NetworkTopology网络拓扑结构4.9 HostsFileReader主机文件读取器4.10 BlocksMap 数据块到其元数据的映射4.11 FSNamesystem HDFS文件系统的命名空间4.12 NameNode名称结点4.13 小结第5章 Datanode的实现5.1 Block数据块5.2 DatanodeID类5.3 DatanodeInfo类5.4 BlockSender数据块发送器5.5 BlockReceiver数据块接收器5.6 DataBlockScanner数据块扫描器5.7 FSDataset Datanode数据集合5.8 DataXceiverServer5.9 DataXceiver5.10 Datanode类5.11 小结第6章 Hadoop的IO6.1 数据类型接口6.1.1 Writable接口6.1.2 Comparable接口6.1.3 WritableComparable接口6.1.4 RawComparator比较器接口6.1.5 WritableComparator接口6.2 基本数据类型6.2.1 IntWritable整型类型6.2.2 Text文本类型6.2.3 NullWritable类6.2.4 ObjectWritable类6.3 文件类型6.3.1 SequenceFile序列文件6.3.2 MapFile映射文件6.4 小结第3篇 MapReduce计算框架及RPC通信模型第7章 MapReduce的输入和输出7.1 输入格式InputFormat7.1.1 InputFormat抽象类7.1.2 FileInputFormat文件输入格式7.1.3 TextInputFormat文本文件输入格式7.1.4 KeyValueTextInputFormat键值对文件输入格式7.1.5 CombineFileInputFormat组合文件输入格式7.1.6 SequenceFileInputFormat序列文件输入格式7.1.7 DBInputFormat数据库输入格式7.1.8 MultipleInputs多种输入格式7.1.9 DelegatingInputFormat授权输入格式7.2 输入分片InputSplit7.2.1 FileSplit文件输入分片7.2.2 CombineFileSplit多文件输入分片7.2.3 DBInputSplit数据库输入分片7.3 记录读取器RecordReader7.3.1 LineRecordReader行记录读取器7.3.2 KeyValueLineRecordReader键值对记录读取器7.3.3 CombineFileRecordReader组合文件记录读取器7.3.4 SequenceFileRecordReader序列文件记录读取器7.3.5 SequenceFileAsTextRecordReader和SequenceFileAsBinaryRecordReader7.3.6 DBRecordReader数据库记录读取器7.4 输出格式OutputFormat7.4.1 OutputFormat抽象类7.4.2 FileOutputFormat文件输出格式7.4.3 TextOutputFormat文本格式的文件输出格式7.4.4 SequenceFileOutputFormat普通序列文件输出格式7.4.5 SequenceFileAsBinaryOutputFormat二进制序列文件输出格式7.4.6 FilterOutputFormat过滤器输出格式7.4.7 DBOutputFormat数据库输出格式7.4.8 MultipleOutputs多种输出格式7.5 记录写入器RecordWriter7.5.1 DBRecordWriter数据库记录写入器7.5.2 FilterRecordWriter过滤器记录写入器7.5.3 LineRecordWriter 文本行记录写入器7.6 输出提交器OutputCommitter7.6.1 OutputCommitter输出提交器7.6.2 FileOutputCommitter文件输出提交器7.7 小结第8章 Hadoop中的Context和ID8.1 Hadoop运行过程中的Context上下文8.1.1 JobContext作业上下文8.1.2 Job作业8.1.3 TaskAttemptContext任务尝试上下文8.1.4 TaskInputOutputContext任务输入输出上下文8.1.5 MapContext Mapper执行的上下文8.1.6 ReduceContext Reducer执行的上下文8.2 Hadoop运行过程中的ID类8.2.1 ID类8.2.2 JobID作业ID8.2.3 TaskID任务ID8.2.4 TaskAttemptID任务尝试ID8.3 小结第9章 Hadoop的计算模型MapReduce9.1 Map处理过程9.1.1 Mapper概述9.1.2 Mapper源代码分析9.1.3 InverseMapper反转Mapper9.1.4 TokenCounterMapper标记计数Mapper9.1.5 MultithreadedMapper多线程Mapper9.1.6 FieldSelectionMapper字段选择Mapper9.1.7 DelegatingMapper授权Mapper9.2 Reducer处理过程9.2.1 Reducer概述9.2.2 Reducer源代码9.2.3 IntSumReducer和LongSumReducer9.2.4 FieldSelectionReducer字段选择Reducer9.3 Partitioner分区处理过程9.3.1 Partitioner概述9.3.2 Partitioner源代码9.3.3 HashPartitioner hash分区9.3.4 BinaryPartitioner二进制分区9.3.5 KeyFieldBasedPartitioner基于键字段的分区9.3.6 TotalOrderPartitioner全排序分区9.4 小结第10章 JobClient的执行过程分析10.1 MapReduce作业处理过程概述10.1.1 JobConf MapReduce作业的配置信息10.1.2 JobSubmissionProtocol作业提交的接口10.1.3 RunningJob正在运行的Job作业的接口10.1.4 JobStatus和JobProfile作业状态信息和注册信息10.1.5 JobSubmissionFiles 获得作业提交的文件10.2 JobClient提交作业流程10.3 JobClient 提交Job的客户端10.4 小结第11章 JobTracker的执行过程分析11.1 JobTracker处理过程概述11.2 JobInfo作业信息11.3 Counters计数器11.4 Queue Job队列对象11.5 QueueManager Job队列管理对象11.6 JobInProgress正在处理的作业11.7 JobTracker对JobClient提交的作业的处理11.8 JobTracker的启动以及Job的初始化11.9 JobTracker的其他源代码分析11.10 JobTracker中的作业恢复管理器RecoveryManager11.11 JobInProgressListener和JobQueueJobInProgressListener11.12 小结第12章 Hadoop的作业调度器12.1 Hadoop作业调度器概述12.2 TaskScheduler调度器的抽象父类12.3 JobQueueTaskScheduler FIFO调度器12.4 LimitTasksPerJobTaskScheduler任务数限制FIFO调度器12.5 CapacityTaskScheduler计算能力调度器12.6 FairScheduler公平调度器12.7 小结第13章 TaskTracker的执行过程13.1 TaskTracker的启动13.2 TaskTracker与JobTracker进行通信的组件InterTrackerProtocol13.3 JobTracker返回给TaskTracker的Action的类型13.4 TaskTracker向JobTracker发送心跳的过程13.5 TaskTracker的任务处理过程13.6 TaskTracker的其他源代码分析13.7 TaskStatus任务的状态信息13.8 TaskInProgress正在处理的任务13.9 Task所有任务的父类13.10 MapTask执行过程概述13.11 MapOutputBuffer Map输出缓冲区13.12 ReduceTask执行过程概述13.13 ReduceCopier Reduce的Copy和Merge执行工具13.14 小结第14章 Hadoop的RPC协议14.1 Hadoop RPC概念概述14.2 RPC协议接口14.2.1 ClientDatanodeProtocol客户端与DataNode进行通信的协议14.2.2 ClientProtocol客户端和NameNode进行通信的协议14.2.3 DatanodeProtocol DataNode与NameNode进行通信的协议14.2.4 InterDatanodeProtocol DataNode之间进行通信的协议14.2.5 NamenodeProtocol SecondaryNameNode与NameNode进行通信的协议14.2.6 InterTrackerProtocol TaskTracker与JobTracker进行通信的协议14.2.7 JobSubmissionProtocol JobClient与JobTracker进行通信的协议14.2.8 TaskUmbilicalProtocol Child进程与TaskTracker父进程进行通信的协议14.3 RPC的客户端和服务器端的实现14.3.1 Client客户端14.3.2 Server服务端14.4 小结

本书是一本全面细致介绍和分析Hadoop源码和内部工作机理的技术书籍，通过对Hadoop内部源码详细透彻的解析，使读者能够快速高效地掌握Hadoop的内部工作机制，了解Hadoop内部源码架构，对Hadoop有更加深刻的认识。本书主要对Hadoop最核心的部分：HDFS和MapReduce进行源码解析和说明。适合所有想全面学习Hadoop开发技术的人员阅读，也适用于使用Hadoop进行开发的工程技术人员，还可作为想深入了解Hadoop运行机制、源代码的开发人员的参考书籍。

《深入云计算：Hadoop源代码分析》经典Hadoop源码分析图书，笔者悉心整理多年Hadoop架构分析与源码学习笔记，凝练丰富的实践开发经验，辛勤劳动成果倾囊相送，以飨读者。实践开发经验质的提升，深入解析Hadoop各部分的源代码，带领读者透彻理解Hadoop的结构和工作机理，深入了解Hadoop的底层工作机制。　　【本书特色】　　1.内容全面、系统、深入：本书全面介绍了Hadoop各个组件的源代码，包括HDFS、MapReduce以及RPC等部分。此外，每节都配有详细的UML模型图和流程图，以便2.读者对所讲内容有更加清晰的认识。　　讲解细致，适合各个层次的读者阅读：本书从不同的层次结构依次讲解Hadoop的源代码，并深入到其结构内部，详细讲解每个部分。内容梯度从易到难，讲解由浅3.入深，循序渐进，适合各个层次的读者阅读。　　4.全面而详细解析Hadoop源码：本书将Hadoop关键核心的代码一一展现给大家，做到浅显易懂，使读者能快速高效地对Hadoop有一个深入的理解。　　5.提供技术支持，答疑解惑：读者阅读本书时若有任何疑问可到网站http://www.rzchina.net 中的Hadoop相关论坛提问，以获得帮助。笔者会及时解答读者的各种问题。书中源代码下载地址：http://www.tdpress.com/zyzx/tsscflwj