DB2数据库性能调整和优化

第1章 性能调整概述

1.1 性能概述

1.2 性能评估

1.3 建立性能目标

1.4 什么时候需要做性能调整

1.5 性能调整准则

1.6 性能调整的方法和过程

1.6.1 性能调整的步骤

1.6.2 性能调整的限制

1.6.3 向客户了解情况

1.6.4 性能调整流程图

1.7 性能模型

1.7.1 输入

1.7.2 处理

1.7.3 输出

1.8 本章小结

第2章 操作系统及存储的性能调优

2.1 AIX性能监控综述

2.1.1 监控工具

2.1.2 监控系统总体运行状态

2.1.3 监控CPU性能

2.1.4 监控内存使用

2.1.5 监控存储系统状态

2.1.6 监控网络状态

2.2 操作系统性能优化

2.2.1 直接I/O和并发I/O

2.2.2 异步I/O和同步I/O

2.2.3 minpout和maxpout

2.2.4 文件系统和裸设备

2.2.5 负载均衡及条带化(Striping)

2.3 逻辑卷和lvmo优化

2.3.1 使用lvmo进行优化

2.3.2 卷组pbuf池

2.3.3 pbuf设置不合理导致性能问题调整案例

2.3.4 使用ioo进行优化

2.4 操作系统性能调整总结

2.5 存储I/O设计

2.6 存储基本概念

2.6.1 硬盘

2.6.2 磁盘阵列技术

2.6.3 存储的Cache

2.6.4 网络存储技术

2.7 存储架构

2.7.1 存储I/O处理过程

2.7.2 RAID IOPS

2.7.3 RAID 10和RAID 5的比较

2.8 良好存储规划的目标

2.9 良好存储规划的设计原则

2.10 存储相关性能调整案例

2.11 存储I/O性能调整总结

2.12 本章小结

第3章 DB2性能监控

3.1 快照监视器案例

3.1.1 监控动态SQL语句

3.1.2 监控临时表空间使用

3.2 事件监视器及监控案例

3.3 利用表函数监控

3.4 性能管理视图及案例

3.4.1 监控缓冲池命中率

3.4.2 监控Package Cache大小

3.4.3 监控执行成本最高的SQL语句

3.4.4 监控运行时间最长的SQL语句

3.4.5 监控SQL准备和预编译时间最长的SQL语句

3.4.6 监控执行次数最多的SQL语句

3.4.7 监控排序次数最多的SQL语句

3.4.8 监控锁等待时间

3.4.9 监控Lock Chain

3.4.10 监控锁内存的使用

3.4.11 监控锁升级、死锁和锁超时

3.4.12 监控全表扫描的SQL

3.4.13 检查页清理器是否足够

3.4.14 监控prefecher是否足够

3.4.15 监控数据库内存使用

3.4.16 监控日志使用情况

3.4.17 监控占用日志空间最旧的事务

3.4.18 监控存储路径

3.4.19 追踪监控历史

3.5 db2pd

3.5.1 常用db2pd监控选项和示例

3.5.2 使用db2pd监控死锁案例

3.5.3 db2pd使用问题总结

3.6 内存监控

3.6.1 db2pd 内存监控

3.6.2 db2mtrk 内存监控

3.7 本章小结

第4章 DB2配置参数调整

4.1 初识DB2配置参数

4.2 监控和调优实例级(DBM)配置参数

4.2.1 代理程序相关配置参数

4.2.2 sheapthres

4.2.3 fcm_num_buffers

4.2.4 sheapthres_shr

4.2.5 intra_parallel

4.2.6 mon_heap_sz

4.2.7 query_heap_sz

4.3 监控和调优数据库级配置参数

4.3.1 缓冲池大小

4.3.2 日志缓冲区大小(logbufsz)

4.3.3 应用程序堆大小(applheapsz)

4.3.4 sortheap和sheapthres_shr

4.3.5 锁相关配置参数

4.3.6 活动应用程序的最大数目(maxappls)

4.3.7 pckcachesz

4.3.8 catalogcache_sz

4.3.9 异步页清除程序的数目(num_iocleaners)

4.3.10 异步I/O 服务器的数目(num_ioservers)

4.3.11 组提交数目(mincommit)

4.3.12 avg_appls

4.3.13 chngpgs_thresh(DB)

4.3.14 maxfilop

4.3.15 logprimary、logsecond和logfilsz

4.3.16 stmtheap

4.3.17 dft_queryopt

4.3.18 util_heap_sz (DB)

4.4 调整DB2概要注册变量

4.4.1 db2_parallel_io

4.4.2 db2_evaluncommitted

4.4.3 db2_skipdeleted

4.4.4 db2_skipinserted

4.4.5 db2_use_page_container_tag

4.4.6 db2_selectivity

4.4.7 db2_logger_non_buffered_io

4.5 内存自动调优

4.5.1 内存自动调优示例

4.5.2 启用内存自动调优及相关参数

4.5.3 内存配置参数的配置原则

4.6 本章小结

第5章 高级锁与优化

5.1 隔离级别与锁

5.1.1 可重复读(RR-Repeatable Read)

5.1.2 读稳定性(RS-Read Stability)

5.1.3 游标稳定性(CS-Cursor Stability)

5.1.4 当前提交(Currently Committed)

5.1.5 未提交读(UR-Uncommitted Read)

5.1.6 隔离级别总结

5.2 加锁总结

5.2.1 如何获取锁

5.2.2 意图锁和非意图锁

5.2.3 读锁和写锁

5.2.4 LRB(Lock Resource Block)

5.2.5 USE AND KEEP LOCKS

5.2.6 索引类型和下一键锁

5.2.7 扫描方式与加锁

5.3 乐观锁

5.3.1 悲观锁和乐观锁

5.3.2 DB2 V9.5中的乐观锁

5.3.3 乐观锁应用案例

5.4 内部锁

5.4.1 内部方案锁(Internal Plan Lock)

5.4.2 内部V锁(Internal Variation Lock)

5.4.3 内部S锁

5.4.4 内部C锁

5.4.5 其他内部锁

5.5 锁等待及调整案例

5.5.1 锁等待问题解决流程和步骤

5.5.2 捕获引起锁等待的SQL语句

5.5.3 利用db2pd捕获锁超时

5.5.4 利用事件监视器捕获锁超时

5.6 锁升级及调整案例

5.6.1 监控锁升级

5.6.2 锁升级调整

5.7 死锁及调整案例

5.7.1 利用事件监视器监控死锁

5.7.2 死锁案例

5.7.3 最小化死锁建议

5.8 最大化并发性

5.8.1 选择合适的隔离级别

5.8.2 尽量避免锁等待、锁升级和死锁

5.8.3 设置合理的注册表变量

5.9 锁相关的性能问题总结

5.10 锁与应用程序开发

5.11 本章小结

第6章 索引设计与优化

6.1 索引概念

6.1.1 索引优点

6.1.2 索引类型

6.2 索引结构

6.3 理解索引访问机制

6.4 索引设计

6.4.1 创建索引

6.4.2 创建集群索引

6.4.3 创建双向索引

6.4.4 完全索引访问

6.4.5 与创建索引相关的问题

6.4.6 创建索引示例

6.5 索引创建原则与示例

6.5.1 索引与谓词

6.5.2 根据查询使用的列建立索引

6.5.3 根据条件语句中谓词的选择度创建索引

6.5.4 避免在建有索引的列上使用函数

6.5.5 在那些需要被排序的列上创建索引

6.5.6 合理使用INCLUDE关键词创建索引

6.5.7 指定索引的排序属性

6.6 影响索引性能的相关配置

6.6.1 设置影响索引性能的配置参数

6.6.2 为索引指定不同的表空间

6.6.3 确保索引的集群度

6.6.4 使表和索引统计信息保持最新

6.6.5 重组索引

6.7 索引维护

6.7.1 异步索引清除(AIC)

6.7.2 联机索引整理碎片

6.7.3 查找使用率低下的索引

6.7.4 索引压缩

6.8 DB2 Design Advisor(db2advis)

6.9 本章小结

第7章 DB2优化器

7.1 DB2优化器介绍

7.2 SQL语句执行过程

7.3 优化器组件和工作原理

7.3.1 查询重写示例：谓词移动、合并和转换

7.3.2 优化器成本评估

7.3.3 本地谓词基数(cardinality)估计

7.3.4 连接基数(cardinality)估计

7.3.5 分布统计信息

7.3.6 列组统计信息对基数的影响

7.4 扫描方式

7.4.1 全表扫描

7.4.2 索引扫描

7.4.3 RID SCAN

7.5 连接方法

7.5.1 嵌套循环连接

7.5.2 合并连接

7.5.3 哈希连接

7.5.4 选择最佳连接的策略

7.6 优化级别

7.6.1 优化级别概述

7.6.2 选择优化级别

7.6.3 设置优化级别

7.7 基于规则的优化

7.7.1 优化器概要文件概述

7.7.2 启用优化概要文件

7.7.3 优化概要文件使用示例

7.8 如何影响优化器来提高性能

7.8.1 使DB2统计信息保持最新

7.8.2 构建适当的索引

7.8.3 配置合理的数据库配置参数

7.8.4 选择合适的优化级别

7.8.5 合理的存储I/O设计

7.8.6 良好的应用程序设计和编码

7.9 本章小结

第8章 统计信息更新与碎片整理

8.1 统计信息更新

8.1.1 统计信息的重要性

8.1.2 统计信息更新示例

8.1.3 LIKE STATISTICS统计信息更新

8.1.4 列组统计信息更新

8.1.5 分布统计信息更新

8.1.6 统计信息更新策略

8.2 自动统计信息更新

8.2.1 自动RUNSTATS的基本概念

8.2.2 如何打开auto runstats

8.2.3 如何监控auto runstats

8.2.4 DB2 V10新特性--自动收集统计视图的统计信息

8.3 碎片整理

8.3.1 碎片产生机制和影响

8.3.2 确定何时重组表和索引

8.3.3 执行表、索引检查是否需要做REORG

8.3.4 REORG的用法和使用策略

8.4 重新绑定程序包

8.5 本章小结

第9章 SQL语句调优

9.1 通过监控找出最消耗资源的SQL语句

9.2 通过解释工具分析SQL语句执行计划

9.2.1 解释表

9.2.2 Visual Explain(可视化解释)

9.2.3 db2expln

9.2.4 db2exfmt

9.2.5 各种解释工具的比较

9.2.6 如何从解释信息中获取有价值的建议

9.3 理解SQL语句如何工作

9.3.1 理解谓词类型

9.3.2 排序和分组

9.3.3 连接方法

9.3.4 扫描方式

9.4 SQL调优案例

9.4.1 尽量使用单条语句完成逻辑

9.4.2 合理使用NOT IN和NOTEXISTS

9.4.3 利用子查询进行优化

9.4.4 调整表连接顺序使JOIN最优

9.4.5 数据非均匀分布时手工指定选择性

9.4.6 使用UDF代替查询中的复杂部分

9.4.7 合并多条SQL语句到单个SQL表达式

9.4.8 使用SQL一次处理一个集合语义

9.4.9 在无副作用的情况下使用SQL函数

9.4.10 小结

9.5 提高应用程序性能

9.5.1 良好的SQL编码规则

9.5.2 提高SQL编程性能

9.5.3 改进游标性能

9.5.4 根据业务逻辑选择最低粒度的隔离级别

9.5.5 通过REOPT绑定选项来提高性能

9.5.6 统计信息、碎片整理和重新绑定

9.5.7 避免不必要的排序

9.5.8 在C/S环境中利用SQL存储过程降低网络开销

9.5.9 在高并发环境下使用连接池

9.5.10 使用Design Advisor(db2advis)建议索引

9.5.11 提高批量删除、插入和更新速度

9.5.12 提高插入性能

9.5.13 高效的SELECT语句

9.6 高性能SQL语句注意事项

9.6.1 避免在搜索条件中使用复杂的表达式

9.6.2 将 OPTIMIZE FOR n ROWS子句与FETCH FIRST nROWS ONLY子句配合使用

9.6.3 避免使用冗余的谓词

9.6.4 避免使用多个带有DISTINCT关键字的聚集操作

9.6.5 避免连接列之间数据类型不匹配

9.6.6 避免对表达式使用连接谓词

9.6.7 避免在谓词中使用空操作表达式来更改优化器估算

9.6.8 确保查询符合星型模式连接的必需条件

9.6.9 避免使用非等式连接谓词

9.6.10 避免使用不必要的外连接

9.6.11 使用参数标记来缩短动态查询的编译时间

9.6.12 使用约束来提高查询优化程度

9.7 本章小结

第10章 DB2调优案例、问题总结和技巧

10.1 调优案例1：某移动公司存储设计不当和SQL引起的I/O瓶颈

10.2 调优案例2：某银行知识库系统锁等待、锁升级引起性能瓶颈

10.3 调优案例3：某汽车制造商ERP系统通过调整统计信息提高性能

10.4 调优案例4：某农信社批量代收电费批处理慢调优案例

10.5 调优案例5：某银行系统SQL执行慢，通过跟踪信息获取调整信息

10.6 调优案例6：某银行系统字段类型定义错误导致SQL执行时间变长

10.7 调优学习案例：利用压力测试程序学习DB2调优

本书侧重于介绍DB2数据库的性能调优。性能调优是一个系统工程：全面监控分析操作系统、I/O性能、内存、应用及数据库才能快速找到问题根源；深刻理解DB2的锁及并发机制、索引原理、数据库参数、优化器原理、SQL语句调优等内部机理才能针对性地快速提出解决问题的方法；快照、db2pd、db2expln及事件监控器等则是必须熟练掌握的工具。这本书覆盖了进行DB2数据库性能调优所需的全部知识和工具，并提供了大量的性能调优的实际案例。本书系统性地总结了DB2数据库性能调整的方法、流程、思路和保持系统良好性能的注意要点。最难得的是作者分享了其10年积累的DB2性能调优案例和经验总结。
本书特色 ：
◆本书全面揭示了性能相关的主题，并从基本原理入手，解释造成性能问题的根本原因，并提供最好的解决方法，从而实现DB2数据库的调优
◆本书体现了作者多年调优经验的心得体会，包含了大量的实战技巧，实用性极高 作者介绍： 牛新庄，国内顶尖数据架构和信息治理专家，担任对外经济贸易大学客座教授、北京交通大学兼职教授、中国DB2用户协会(CDUG)理事长、亚洲金融合作联盟信息科技委员会主任。2008年曾以217万年薪受聘于中国建设银行总行特聘技术顾问，2009年受邀加入中国民生银行总行科技部，现任总行科技部总经理。 牛新庄博士拥有20多项国际厂商认证(包括DB2 V5～V9的全部认证），获得过国内数据库领域最高荣誉的“2006年中国首届杰出数据库工程师奖”、“首届IBM杰出软件专家奖”、“2006年IT168技术卓越奖”等奖项。 　

· 国内最权威的DB2图书，由业界领军人物牛新庄博士执笔
· 针对DB2技术的最新发展和上一版的读者反馈，对《DB2数据库性能调整和优化（第2版）》内容和章节安排做了更新，更加贴近实用
· DB2从业人员的必备案头书