数据管理

前言

第一篇 概论

第1章 数据管理背景

1.1 数据增长

1.2 数据管理目标

1.3 数据管理功能

1.3.1 数据存储

1.3.2 元数据管理

1.3.3 副本管理

1.3.4 数据传输管理

1.3.5 存储资源管理

1.3.6 结构化数据的访问与整合

1.4 本书结构

1.5 本章小结

第2章 数据管理需求与挑战

2.1 高能物理

2.1.1 大型强子对撞机

2.1.2 北京正负电子对撞机

2.1.3 羊八井宇宙线实验

2.2 生物信息

2.2.1 生物信息学

2.2.2 基因研究

2.3 虚拟天文台

2.4 地质地理

2.5 其他领域

2.6 数据管理挑战

2.7 本章小结

第二篇 非结构化数据管理

第3章 数据管理体系结构

3.1 引言

3.2 科学数据管理的体系结构

3.3 本章小结

参考文献

第4章 数据存储

4.1 引言

4.2 存储技术概述

4.3 分布式文件系统

4.3.1 Lustre文件系统

4.3.2 Gluster文件系统

4.3.3 全局并行文件系统(GPFS)

4.3.4 Panasas文件系统

4.3.5 并行虚拟文件系统(PVFS)

4.4 分级存储系统

4.4.1 CASTOR存储系统

4.4.2 dCache存储系统

4.4.3 dCache的副本机制

4.5 云存储技术

4.5.1 亚马逊云存储服务S3

4.5.2 微软的Azure存储

4.5.3 Hadoop的开源云存储解决方案

4.5.4 Openstack的Swift

4.5.5 Nimbus的Cumulus云存储

4.5.6 云存储技术在科学数据管理中的应用

4.6 数据备份系统

4.6.1 常见备份技术

4.6.2 备份系统的基本结构

4.7 本章小结

参考文献

第5章 元数据管理

5.1 简介

5.1.1 LpC

5.1.2 AMGA

5.1.3 DQ2

5.2 副本管理

5.2.1 副本创建

5.2.2 副本选择

5.2.3 副本删除

5.2.4 副本定位

5.2.5 副本一致性

5.2.6 副本安全性

5.3 本章小结

参考文献

第6章 数据传输

6.1 GridFTP

6.1.1 GridFTP的功能特性

6.1.2 GridFTP的API

6.2 bbFTP

6.2.1 与FTP和SSH的比较

6.2.2 bbFTP的安装

6.2.3 bbFTP的选项命令

6.3 可靠文件传输

6.3.1 可靠性含义

6.3.2 组成结构

6.4 副本定位

6.4..1 RLS的几点要素

6.4.2 Giggle框架

6.5 FTS

6.5.1 通道

6.5.2 代理

6.6 PheDex

6.6.1 。PheDex的结构

6.6.2 PheDex的运行

6.7 BES数据传输系统

6.7.1 主要特性

6.7.2 组成结构

6.7.3 实际应用

6.8 本章小结

参考文献

第7章 存储资源管理

7.1 简介

7.2 SRM

7.2.1 应用场景

7.2.2 SRM在网格体系中的定位

7.2.3 SRM在网格中的优势

7.3 文件管理

7.3.1 永久文件和稳定临时文件

7.3.2 持久文件

7.4 空间管理

7.4.1 空间类型

7.4.2 “最大努力”空间

7.4.3 分配文件到空间

7.5 其他重要的SRM概念

7.5.1 传输协议协商

7.5.2 其他协商和行为广告

7.5.3 源路径、传输路径和站点路径

7.5.4 PIN文件的语义

7.6 SRM实现实例

7.6.1 使用SRM管理海量存储系统

7.6.2 SRM提供的健壮的文件复制

7.6.3 通过SRM向存储系统提供GridFTP接口

7.7 本章小结

参考文献

第8章 数据管理标准

8.1 传输协议

8.1.1 FTP

8.1.2 HTTP

8.1.3 GridFTP

8.1.4 RestfulWeb服务

8.1.5 WebDAV

8.1.6 S3

8.2 管理接口标准

8.2.1 SRM

8.2.2 OCCI

8.2.3 CDMI

8.2.4 SimpleCloudAPI

8.3 本章小结

参考文献

第三篇 结构化数据管理

第9童OGSA.DAI

9.1 概述

9.2 基本架构

9.3 工作流与活动

9.4 使用0GSA.DAI

9.4.1 部署数据资源

9.4.2 活动的使用

9.4.3 工作流的使用

9.5 本章小结

参考文献

第10章 异构数据库整合

10.1 基本概念

10.2 系统结构

10.3 对外功能和接口

10.3.1 数据提供者接口

10.3.2 开发人员接口

10.4 内部工作流程

10.5 异构数据库整合系统的软件结构

10.5.1 概述

10.5.2 核心服务类

10.5.3 虚拟活动管理类

10.5.4 虚拟活动对象类

10.5.5 执行引擎类

10.5.6 SOL解析器类

10.5.7 物理活动管理类

10.6 参考实现：CGSPHDB

10.6.1 概述

10.6.2 虚拟表及其支持的数据类型

10.6.3 映射表和数据类型映射

10.6.4 执行文档和响应文档示例

lO.7 本章小结

参考文献

第四篇 应用实例

第11章 高能物理网格数据管理

11.1 网格技术在高能物理领域的应用

11.2 高能物理网格中数据服务管理

11.3 高能物理网格中数据服务组件

11.3.1 元数据服务器

11.3.2 数据集管理系统

11.4 一个具体的工作流程

11.5 本章小结

参考文献

第12章 虚拟天文台数据管理

12.1 网格技术在天文领域的应用

12.2 虚拟天文台中数据服务组件

12.2.1 天文数据的特点

12.2.2 开放网格服务架构的数据访问与集成

12.2.3 虚拟天文台数据访问服务

12.3 数据服务举例

12.3.1 中国虚拟天文台VO.DAS

12.3.2 VO.DAS的系统集成

12.4 本章小结

参考文献

程耀东、单志广、姜进磊编写的《网络计算环境 --数据管理》系统讲述以网络为基础的科学活动环境 中的数据管理技术。全书 由概论、非结构化数据管理、结构化数据管理、应用 实例四大部分组成， 包括数据管理背景、数据管理需求与挑战、数据管理 体系结构、数据存储、 元数据管理、数据传输、存储资源管理、数据管理标 准、OGsA-DAl、异构 数据库整合、高能物理网格数据管理、虚拟天文台数 据管理12章。
　　本书取材广泛，内容系统，集成了多种网络数据 管理技术，反映了国内 外前沿技术发展，可供广大网络计算及相关领域的科 研和技术人员阅读参考。