云计算

第1章 绪论 1

1.1 云计算的概念 1

1.2 云计算发展现状 3

1.3 云计算实现机制 4

1.4 网格计算与云计算 6

参考文献 8

第2章 Google云计算原理 10

2.1 Google文件系统GFS 10

2.1.1 系统架构 11

2.1.2 容错机制 13

2.1.3 系统管理技术 13

2.2 并行数据处理MapReduce 14

2.2.1 产生背景 14

2.2.2 编程模型 15

2.2.3 实现机制 15

2.2.4 案例分析 17

2.3 分布式锁服务Chubby 19

2.3.1 Paxos算法 19

2.3.2 Chubby系统设计 20

2.3.3 Chubby文件系统 21

2.3.4 通信协议 23

2.3.5 正确性与性能 24

2.4 分布式结构化数据表Bigtable 25

2.4.1 设计动机与目标 25

2.4.2 数据模型 26

2.4.3 系统架构 27

2.4.4 主服务器 28

2.4.5 子表服务器 29

2.4.6 性能优化 32

参考文献 34

第3章 Google应用程序引擎 35

3.1 Google App Engine简介 35

3.2 应用程序环境 37

3.3 Google App Engine数据库 38

3.4 Google App Engine服务 39

3.4.1 图像操作API 39

3.4.2 邮件API 40

3.4.3 Memcache API 42

3.4.4 网址抓取API 44

3.4.5 用户API 45

3.4.6 数据库API 46

3.5 编程实例：Hello World 52

3.5.1 创建简单请求处理程序 53

3.5.2 使用webapp框架 55

3.5.3 使用用户服务 56

3.5.4 用webapp处理表单 57

3.5.5 使用数据库 59

3.5.6 使用模板 61

3.5.7 应用实例：搭建CDN 61

3.6 应用实例：用iPhone访问Google App Engine 63

3.7 应用实例：基于位置的聊天 66

参考文献 68

第4章 亚马逊云计算AWS 69

4.1 简介 69

4.2 亚马逊平台基础存储架构：Dynamo 69

4.2.1 Dynamo在亚马逊服务平台的地位 69

4.2.2 Dynamo架构的主要技术 71

4.3 弹性计算云EC2 76

4.3.1 EC2的主要特性 77

4.3.2 EC2基本架构及主要概念 77

4.3.3 常用API 81

4.4 简单存储服务S3 82

4.4.1 基本概念和操作 82

4.4.2 数据一致性模型 84

4.4.3 S3安全措施 85

4.4.4 常用API 87

4.5 简单队列服务SQS 87

4.5.1 SQS基本模型 88

4.5.2 两个重要概念 88

4.5.3 消息 89

4.5.4 身份认证 90

4.5.5 常用API 90

4.6 简单数据库服务SimpleDB 91

4.6.1 重要概念 91

4.6.2 与关系型数据库的比较 93

4.6.3 存在的问题及解决办法 93

4.6.4 SDB和其他AWS的结合使用 94

4.6.5 常用API 94

4.7 弹性MapReduce服务 95

4.7.1 弹性MapReduce 95

4.7.2 常用API 96

4.8 内容推送服务CloudFront 96

4.8.1 CDN 97

4.8.2 CloudFront 98

4.8.3 常用API 100

4.9 电子商务服务DevPay和FPS 100

4.9.1 DevPay 100

4.9.2 FPS 103

4.9.3 常用API 104

4.10 其他亚马逊云计算服务 105

4.10.1 简单支付服务Simple Pay 105

4.10.2 亚马逊完成Web服务 106

4.10.3 土耳其机器人 106

4.10.4 Alexa Web服务 107

4.10.5 常用API 108

4.11 AWS应用实例 108

4.11.1 在线照片存储共享网站SmugMug 109

4.11.2 在线视频制作网站Animoto 110

参考文献 110

第5章 微软云计算Windows Azure 113

5.1 微软云计算服务平台 113

5.2 微软云操作系统Windows Azure 114

5.2.1 概述 114

5.2.2 Windows Azure存储服务 116

5.2.3 Windows Azure计算服务 127

5.2.4 Fabric 129

5.2.5 使用Windows Azure 130

5.3 SQL服务 130

5.3.1 SQL数据服务 130

5.3.2 SDS数据模型 131

5.3.3 访问SDS 132

5.4 .NET服务 132

5.4.1 概述 132

5.4.2 访问控制服务 133

5.4.3 .NET服务总线 135

5.4.4 工作流服务 139

5.5 Live服务 143

5.5.1 概述 143

5.5.2 Live框架 144

5.5.3 访问数据 145

5.5.4 使用网络 146

5.5.5 Mesh-Enabled应用程序 147

5.6 小结 148

参考文献 148

第6章 开源云计算系统 149

6.1 开源云计算系统简介 149

6.1.1 Hadoop 149

6.1.2 Eucalyptus 151

6.1.3 Enomaly ECP 152

6.1.4 Nimbus 152

6.1.5 Sector and Sphere 153

6.1.6 abiquo 155

6.1.7 MongoDB 156

6.2 HDFS：GFS的开源实现 157

6.2.1 设计前提与目标 157

6.2.2 体系结构 158

6.2.3 保障可靠性的措施 159

6.2.4 提升性能的措施 161

6.2.5 访问接口 162

6.3 MapReduce的开源实现 163

6.3.1 逻辑模型 163

6.3.2 实现机制 164

6.4 HBase：Bigtable的开源实现 165

6.4.1 逻辑模型 165

6.4.2 物理模型 165

6.4.3 子表服务器 166

6.4.4 主服务器 167

6.4.5 元数据表 167

6.5 Eucalyptus：EC2的开源实现 168

6.5.1 背景 168

6.5.2 体系结构 169

6.5.3 主要构件 171

6.5.4 访问接口 172

6.5.5 服务等级协议 173

6.5.6 虚拟组网 174

参考文献 175

第7章 云计算仿真器CloudSim 177

7.1 CloudSim简介 177

7.2 CloudSim体系结构 178

7.2.1 SimJava层 179

7.2.2 GridSim层 179

7.2.3 CloudSim层 179

7.2.4 用户代码层 180

7.3 CloudSim技术实现 180

7.4 CloudSim的使用方法 182

参考文献 185

第8章 云计算理论研究热点 186

8.1 体系结构研究 186

8.1.1 Youseff划分方法 186

8.1.2 Lenk划分方法 188

8.2 关键技术研究 190

8.2.1 虚拟机 190

8.2.2 安全管理 191

8.2.3 云监测 192

8.2.4 能耗管理 194

8.2.5 数据管理 196

8.2.6 资源调度 197

8.3 编程模型研究 198

8.3.1 All-Pairs编程模型 198

8.3.2 GridBatch编程模型 199

8.4 支撑平台研究 200

8.4.1 Cumulus：数据中心科学云 200

8.4.2 CARMEN：e-Science云计算 201

8.4.3 RESERVOIR：云服务融合平台 202

8.4.4 TPlatform：Hadoop的变种 203

8.4.5 P2P环境的MapReduce 203

8.4.6 Yahoo云计算平台 205

8.5 应用研究 205

8.5.1 语义分析应用 205

8.5.2 生物学应用 206

8.5.3 数据库应用 207

8.5.4 地理信息应用 208

8.5.5 商业应用 209

8.6 云安全研究 211

8.6.1 Anti-Spam Grid：反垃圾邮件网格 211

8.6.2 CloudAV：终端恶意软件检测 213

8.6.3 AMSDS：恶意软件签名自动检测 214

8.6.4 云平台上的数字身份认证 215

参考文献 216

第9章 总结与展望 220

9.1 Google、亚马逊和微软云计算对比 220

9.1.1 应用场景 220

9.1.2 使用流程 221

9.1.3 体系结构 222

9.1.4 实现技术 223

9.1.5 小结 224

9.2 云计算压倒性的成本优势 226

9.3 云计算的历史坐标与发展方向 229

9.3.1 互联网发展的阶段划分 229

9.3.2 3G、物联网与云计算 231

9.3.3 云格（Gloud）-云计算的未来 232

参考文献 234

附录A 云计算实验——Hadoop安装与使用 235

A.1 Hadoop实验目的及实验环境 235

A.2 在Linux系统中安装使用Hadoop 235

A.2.1 实验准备 235

A.2.2 实验步骤 236

A.3 在Windows系统中安装使用Hadoop 243

A.3.1 实验准备 243

A.3.2 实验步骤 244

A.4 注意事项 249

附录B 云计算实验——HDFS使用 250

B.1 实验目的 250

B.2 实验环境 250

B.3 实验步骤 250

附录C 云计算实验——HDFS和MapReduce编程 254

C.1 实验目的 254

C.2 实验环境 254

C.3 实验步骤 254

C.4 注意事项 259

附录D 云计算实验——HBase安装使用 260

D.1 实验目的 260

D.2 实验环境 260

D.3 实验步骤 260

D.4 注意事项 264

附录E 云计算实验——CloudSim编程 265

E.1 实验目的 265

E.2 实验环境 265

E.3 实验步骤 265

参考文献 269

本书是中国云计算专家委员会刘鹏教授主编的系统讲解云计算技术的专业书籍，重点阐述了云计算领域具代表性的Google、亚马逊和微软三家公司的云计算平台的技术原理和应用方法，并介绍了以Hadoop为代表的开源云计算技术和云计算仿真器CloudSim，分析了云计算领域的理论研究热点问题，给出了云计算应用实例云计算实验的详细步骤。本书主要内容包括：Google的GFS、MapReduce、Bigtable、Chubby和App Engine等；亚马逊AWS的Dynamo、EC2、S3、SQS、SimpleDB和CloudFront等；微软 Azure、SQL服务、.Net服务和Live服务等；开源云计算技术HDFS、HBase和Eucalyptus等。读者可从配套网站中国云计算（http：//www.chinacloud.cn）获取更多资料和求解疑难问题。

云计算研发团队全面深入剖析云计算技术的权威书籍
　　传统IT巨头纷纷转型，成千上万家采用云计算技术的创新企业正在兴起，云计算、物联网和3G并驾齐驱、互为支撑，一场新的信息技术革命已经风起云涌.您还置身事外吗？令Google、亚马逊、微软和IBH等企业的云计算平台已经达到几十万乃至上百万台计算机的规模，众多新技术的运用使得云计算的性价比达到传统模式的30倍以上。您想了解其中的奥秘吗？不仅要弄清云计算概念和发展趋势，还要掌握云计算的核心技术原理；不仅要学会使用云计算和编写云程序，还要学会搭建自己的开源云计算平台；不仅要了解云计算理论研究前沿，还要会用云计算仿真器。您想从更好的角度研究和应用云计算吗？《云计算》配套网站中国云计算（chinacloud.cn）提供了大量云计算学习资料和课件，欢迎访问。解放军理工大学已经率先使用《云计算》为本科生开设云计算课程，欢迎更多高校采用。