并行计算综论

第一部分 并行性

第1章 引言

1.1 并行计算硬件

1.2 并行应用

1.3 软件和算法

1.4 并行计算科学

第2章 并行机体系结构

2.1 单处理机体系结构

2.2 并行体系结构

2.3 并行体系结构的未来趋势

2.4 小结

第3章 并行编程面临的问题

3.1 体系结构

3.2 程序并行分解

3.3 并行性能优化

3.4 存储层次管理

3.5 并行调试

3.6 性能分析与调整

3.7 并行I/O

3.8 小结

第二部分 并行应用

第4章 一般应用问题

4.1 一个简单例子的应用特征

4.2 求解泊松方程的雅可比方法的通信结构

4.3 一般计算格式的通信开销

4.4 基本复合系统应用模型

4.5 时间步进模拟和事件驱动模拟

4.6 应用问题的时间结构

4.7 基本复合系统并行模型小结

4.8 元计算问题

4.9 小结

第5章 计算流体力学中的并行计算

5.1 计算流体力学概述

5.2 不可压流

5.3 可压流

5.4 小结

第6章 环境和能源科学中的并行计算

6.1 地下流建模

6.2 IPARS和NetSolve网格计算

6.3 IPARS的跟踪与交互式模拟

6.4 地表水模拟

6.5 利用ADR实现流体和输运耦合模拟

6.6 小结

第7章 并行计算化学：NWChem综述

7.1 分子量子化学

7.2 NWChem体系结构

7.3 NWChem中的并行计算支撑模块

7.4 NWChem中的化学相关模块

7.5 NWChem在计算化学领域中的地位

7.6 计算化学算法的共同特征

7.7 小结

第8章 应用综述

8.1 数值广义相对论

8.2 格子量子色动力学的数值模拟

8.3 海洋建模

8.4 地震模拟

8.5 宇宙结构的形成

8.6 计算电磁学

8.7 数据挖掘中的并行算法

8.8 信号和图像处理中的高性能计算

8.9 确定型Monte Carlo方法及其并行化

8.10 光子源拟实时X射线微成像实验

8.11 基于WebHLA的部队建模与仿真元计算环境

8.12 应用的计算结构

8.13 小结

第三部分 各种软件技术

第9章 软件技术

9.1 并行编程技术的选择

9.2 如何获得正确和有效的执行

9.3 小结

第10章 消息传递和线程

10.1 消息传递编程模型

10.2 多线程编程

10.3 小结

第11章 并行I/O

11.1 并行I/O框架

11.2 MPI-IO

11.3 并行I/O优化

11.4 如何获得高的I/0性能

11.5 小结

第12章 编程语言与编译器

12.1 自动并行

12.2 高性能FORTRAN：数据并行编程

12.3 OpenMP：共享存储并行编程

12.4 Co-Array FORTRAN：SPMD编程

12.5 支持技术

12.6 发展趋势

12.7 小结

第13章 面向对象的并行库

13.1 面向对象的并行库

13.2 Java中的面向对象并行编程

13.3 C 多线程计算

13.4 远程函数调用、全局指针和Java RMI

13.5 基于组件的软件设计

13.6 小结

第14章 问题求解环境

14.1 NetSolve：基于网络的解法器：

14.2 基于WebFlow对象的Web计算

14.3 WebPDELab

14.4 其他网格计算环境

14.5 小结

第15章 性能调整和程序调试工具

15.1 正确性和性能监测的基本概念

15.2 测试与调试实现上面临的问题

15.3 编译器的高度集成

15.4 软件工具的界面和使用

15.5 软件工具实例

15.6 面临的挑战和开放性问题

15.7 小结

第16章 二维泊松问题

16.1 数学模型

16.2 简单算法

16.3 泊松方程的并行求解

16.4 增加全局操作

第四部分 关键技术与算法

第17章 可重用的软件和算法

17.1 模板：并行软件的设计模式

17.2 通信器和中性数据结构

17.3 标准的库和组件

17.4 自动微分

17.5 模板和数值线性代数

17.6 小结

第18章 高性能科学模拟的图剖分技术

18.1 网格剖分与图

18.2 静态图剖分技术

18.3 自适应计算的负载平衡

18.4 并行图剖分

18.5 多约束和多目标图剖分

18.6 小结

第19章 网格生成

19.1 网格生成的策略和技术

19.2 网格生成过程和几何预处理

19.3 自适应网格生成

19.4 并行网格生成

19.5 网格生成软件

19.6 网格结构

19.7 与网格生成有关的网址

19.8 几何/网格生成的主要困难

19.9 未来发展方向

19.10 小结

第20章 模板和数值线性代数

20.1 稠密线性代数算法

20.2 计算机体系结构对性能的影响

20.3 稠密线性代数库

20.4 稀疏线性代数方法

20.5 稀疏直接法

20.6 稀疏迭代法

20.7 稀疏特征值问题

20.8 小结

第21章 可扩展的偏微分方程解法软件

21.1 偏微分方程简介

21.2 并行偏微分方程计算的难点

21.3 并行求解策略

21.4 PETSc软件中并行求解偏微分方程的方法

21.5 PDE软件

21.6 小结

第22章 并行连续最优化

22.1 局部最优化

22.2 全局最优化

22.3 直接搜索方法

22.4 相连子系统最优化

22.5 变量与约束分布

22.6 小结

第23章 科学计算中的路径追踪及其在AUTO上的实现

23.1 局部连续

23.2 全局连续和度理论

23.3 折叠和分歧

23.4 实际的路径追踪方法

23.5 分歧点处的分支选择

23.6 计算实例：AUTO

23.7 并行AUTO

23.8 小结

第24章 自动微分

24.1 自动微分概述

24.2 自动微分实现技术

24.3 自动微分软件

24.4 消息传递并行代码的自动微分

24.5 自动微分的高级用法

24.6 小结

第五部分 结 论

第25章 结论和未来发展方向

25.1 计算资源

25.2 应用

25.3 软件

25.4 模板、算法和技术

25.5 未来发展方向

参考文献

术语表

作者介绍

并行计算具有将计算能力从单个处理机无缝地扩展到无穷多个处理机的潜力。然而，应用程序的性能仍无法与并行机的峰值性能相匹配，并行机上的编程任务仍然相当繁重，而且在编程时还需要尽可能挖掘应用程序的并行性。当前，在并行机上获取高可扩展并行性的诸多工作仍然是由应用开发人员承担的。 《并行计算综论》一书收集了60多位从事并行计算的杰出研究人员的知识和经验，主要按照并行性、并行应用、软件技术，以及关键技术和算法等方面展开讨论，为相关领域的学生、科学家和工程师们提供了一本内容丰富的读本。 本书主要特点： 由研究并行工具、语言、技术等领域的专家编写。 测试可用的并行技术并指导学生和技术人员如何选择和获取实用的技术。 提供多具应用领域中的实例，其中包括化学、图像处理、数据挖掘、海洋模拟和地震模拟等。 探讨了并行计算技术未来发展方向及其所能支持的应用类型。这是一本全面介绍近年来并行计算研究进展的著作，主要按照并行性、并行应用、软件技术以及关键技术和算法等方面展开讨论。关于并行性，主要概述了并行计算的各个方面并介绍其所依赖的软、硬件平台；关于并行应用，主要介绍了并行计算在计算流体力学、环境与能源、计算化学，以及其他十几个典型数值和非数值计算领域中的应用；关于软件技术，主要介绍了并行计算的软件基础，包括消息传递和线程、并行I/O、编程语言与编译器、面向对象的并行库、问题求解环境、性能调整与程序调试工具等；关于关键技术和算法，主要介绍了在大量应用领域广泛使用的并行计算技术和并行算法，包括可重用软件与算法、高性能科学模拟中的图剖分问题、网格剖分、模板与数值线性代数、PDE可扩展求解软件、并行连续优化、科学计算路径追踪和自动微分等。本书还列出了近年来与并行计算相关的上千篇参考文献。 本书是一本综合性很强的并行计算专著，可供对并行计算感兴趣的高等院校、研究所、工业和商业部门等各应用领域的研究和工程技术人员参考。