数据中心资源优化调度

目 录

第1章 云计算概述 1

1．1 云计算发展背景 2

1．2 云计算是集大成者 4

1．2．1 并行计算 5

1．2．2 网格计算 6

1．2．3 效用计算 6

1．2．4 普适计算 7

1．2．5 SaaS 8

1．2．6 虚拟化技术 8

1．3 云计算的驱动因素 9

1．3．1 云计算发展现状和趋势 11

1．3．2 云计算应用初步分类 14

1．4 云计算产业链中的不同角色 16

1．5 云计算的主要特征和技术挑战 17

1．5．1 云计算的主要特征 17

1．5．2 挑战性问题 18

1．6 小结 19

思考题 19

参考文献 20

第2章 数据中心 21

2．1 数据中心概述 22

2．1．1 数据中心简介 22

2．1．2 数据中心的需求和挑战 24

2．2 云计算数据中心资源调度需求分析 25

2．2．1 技术需求 25

2．2．2 技术目标 26

2．3 云计算数据中心资源调度研究进展 26

2．4 云计算数据中心资源调度方案分析 27

2．4．1 Google解决方案 27

2．4．2 Amazon解决方案 28

2．4．3 IBM解决方案 30

2．4．4 HP解决方案 32

2．4．5 VMware解决方案 33

2．4．6 其他厂家解决方案 35

2．5 云计算数据中心资源调度标准进展 37

2．6 云资源管理调度关键技术及研究热点 38

2．7 小结 41

思考题 41

参考文献 42

第3章 大数据处理 45

3．1 大数据的发展背景及定义 46

3．2 大数据问题 49

3．2．1 速度方面的问题 50

3．2．2 种类及架构问题 51

3．2．3 体量及灵活性问题 51

3．2．4 成本问题 52

3．2．5 价值挖掘问题 53

3．2．6 存储及安全问题 53

3．2．7 互联互通与数据共享问题 55

3．3 大数据与云计算的辩证关系 56

3．4 大数据技术 57

3．4．1 基础架构支持 59

3．4．2 数据采集 61

3．4．3 数据存储 62

3．4．4 数据计算 66

3．4．5 数据展现与交互 74

3．5 小结 76

思考题 77

参考文献 77

第4章 云资源监控管理 80

4．1 云数据中心监控系统概述 81

4．1．1 研究背景 81

4．1．2 云数据中心资源监控的方式 83

4．1．3 虚拟机监控简介 83

4．2 云数据中心监控系统的相关研究 86

4．2．1 云数据中心监控系统的功能需求分析 86

4．2．2 实现云监控系统的关键技术 89

4．3 云数据中心计算资源监控系统的设计与实现 93

4．3．1 云数据中心计算资源监控系统的设计 93

4．3．2 云数据中心计算资源监控系统的实现 98

4．4 云数据中心监控系统数据分析 104

4．4．1 用户请求展示 105

4．4．2 用排队论分析用户请求 106

4．4．3 云数据中心的功耗计算 106

4．5 云资源监控系统的性能分析与评价 110

4．6 小结 116

思考题 117

参考文献 117

第5章 实时负载均衡调度 120

5．1 引言 121

5．2 相关工作 121

5．2．1 示例说明 122

5．2．2 问题描述和模型建立 123

5．2．3 负载均衡调度算法的度量指标 125

5．3 OLRSA算法 127

5．4 算法性能比较 130

5．4．1 模拟设置 130

5．4．2 模拟仿真的结果和分析 131

5．5 小结 136

思考题 137

参考文献 137

第6章 计算资源节能调度概述 139

6．1 数据中心节能研究背景 140

6．1．1 国内外研究背景介绍 142

6．1．2 国内外主要参考文献 143

6．2 数据中心能耗模型 145

6．2．1 数据中心调度系统 145

6．2．2 数据中心能耗评估 146

6．2．3 服务器能耗模型 148

6．3 节能问题描述与建模 149

6．3．1 前置条件 149

6．3．2 主要节能调度算法分类 151

6．4 离线调度算法 152

6．4．1 同构且请求容量为单位容量 152

6．4．2 同构且请求容量为任意容量 153

6．5 在线调度算法 154

6．6 随机调度算法 154

6．6．1 M/M/1排队模型 154

6．6．2 M/M/k排队模型 155

6．7 节能调度算法评估 155

6．7．1 理论分析证明 155

6．7．2 模拟对比分析 156

6．8 小结 164

思考题 165

参考文献 166

第7章 离线和在线节能调度算法 169

7．1 离线节能调度算法 170

7．1．1 MFFDE算法分析 170

7．1．2 MFFDE算法的近似度证明 171

7．2 在线节能调度算法 174

7．2．1 BFF算法分析与近似度证明 174

7．2．2 BFF算法性能评估 179

7．3 MinTBT问题及节能调度算法在数据中心节能中的应用 183

7．4 小结 184

思考题 184

参考文献 184

第8章 Hadoop集群节能调度管理 186

8．1 Hadoop介绍 187

8．1．1 Hadoop简介 188

8．1．2 Hadoop框架 189

8．1．3 Hadoop运行流程 191

8．2 新型动态负反馈调度算法 192

8．2．1 Hadoop集群动态管理设计特点 192

8．2．2 负载模型设计 193

8．2．3 DANF算法设计与实现 194

8．2．4 动态调度模块算法伪代码 196

8．3 节能调度系统设计 197

8．3．1 系统总体架构 197

8．3．2 模块详细设计 198

8．4 系统测试和分析 201

8．4．1 测试环境 201

8．4．2 程序功能性测试 201

8．4．3 性能测试 202

8．5 Hadoop其他节能方式 206

8．6 小结 207

思考题 207

参考文献 207

第9章 计算资源的利润最大化问题 209

9．1 计算资源作为服务的利润最大化 210

9．1．1 云计算与数据中心 210

9．1．2 数据中心的发展 213

9．2 传统的最大化利润解决方法 214

9．2．1 经典的0-1背包问题 214

9．2．2 动态规划法 214

9．2．3 贪婪算法 215

9．2．4 回溯法 215

9．3 区间调度问题介绍 216

9．4 带权区间调度 217

9．4．1 传统的带权区间调度问题 217

9．4．2 WIS中的可相互兼容区间 218

9．4．3 带权区间调度问题 218

9．5 考虑容量共享的带权区间调度 220

9．5．1 考虑容量共享的带权区间调度问题 220

9．5．2 WISWCS问题中可相互共享兼容的区间 220

9．5．3 WISWCS问题中的容量分割 220

9．5．4 WISWCS问题中的权值与容量成比例 221

9．5．5 最大化利润的公式 222

9．5．6 一种考虑容量共享的准确调度算法 223

9．5．7 用SAWIS算法找出最佳子集 224

9．6 可共享容量调度问题的应用 226

9．6．1 云计算中的虚拟机调度 226

9．6．2 通信链路共享 226

9．6．3 性能评估 227

9．7 相关工作 228

9．8 小结 228

思考题 229

参考文献 229

第10章 云工作流应用 230

10．1 科学计算云平台研究背景 231

10．2 工作流和云平台集成的相关研究工作 233

10．3 科学计算云平台的结构化方案 234

10．3．1 需求 234

10．3．2 架构 236

10．3．3 集成选项 237

10．3．4 实现细节 240

10．4 科学计算云平台集群配置和产品部署 244

10．4．1 MODIS图片处理工作流 244

10．4．2 产品部署 248

10．5 小结 250

思考题 250

参考文献 250

第11章 数据中心调度模拟系统 255

11．1 引言 256

11．2 CloudSched的架构和主要特点 257

11．2．1 数据中心的建模 260

11．2．2 虚拟机分配的建模 260

11．2．3 用户请求建模 261

11．3 不同调度算法的性能度量 262

11．3．1 多维度负载均衡的度量指标 262

11．3．2 节能算法的度量指标 264

11．3．3 最大化资源利用率的度量指标 265

11．3．4 置信区间的度量 265

11．4 CloudSched的设计与实现 266

11．4．1 数据中心的调度过程 266

11．4．2 调度算法――以LIF算法为例 266

11．5 性能评估 269

11．5．1 负载均衡比较 270

11．5．2 节能效果比较 271

11．6 小结 273

参考文献 273

第12章 总结与展望 276

12．1 动态多层次分布式资源监控 277

12．2 动态综合调度策略和算法研发 278

12．3 多数据中心（多调度域）的调度策略和算法动态可选择 280

12．4 监控、调度和部署等功能融合 282

12．5 绿色节能数据中心的综合解决方案 283

12．6 从基础资源调度拓展到应用任务调度 284

本书围绕数据中心IT基础资源优化调度管理关键问题，介绍了云计算的发展背景和挑战性问题、主要服务提供商的数据中心解决方案和国内外研究现状，对资源优化调度管理领域内的主要挑战性问题进行了深入分析和探索，特别是实时负载均衡调度、能耗敏感调度、计算资源最大化利润调度、云工作流和数据中心模拟系统设计应用等关键内容，希望为读者深入了解相关知识和有兴趣的研究人员提供一些借鉴。