数据仓库结构设计与实施

第1章数据仓库技术与应用概述1

1.1数据仓库的基本概念2

1.1.1数据仓库的系统体系2

1.1.2数据仓库的应用目标3

1.2数据仓库与常规事务处理数据库的区别与联系3

1.2.1从数据仓库到操作型数据库数据仓库的根与源3

1.2.2数据仓库与传统数据库的区别4

1.3数据仓库的产生原因4

1.3.1数据囚笼现象5

1.3.2信息孤岛现象6

1.3.3相互矛盾的信息流6

1.3.4集成的解决办法7

1.3.5动力和动机8

1.4管理信息系统的“上层建筑”9

1.4.1管理层次的概念9

1.4.2中层和上层管理存在的系统真空10

1.4.3数据仓库系统应用的基本作用10

1.4.4数据仓库应用的基本目标12

1.4.5数据仓库应用成功的保障12

1.5电子商务与电子政务12

1.5.1现代社会中的电子商务与电子政务13

1.5.2以客户为中心的现代社会环境14

1.5.3电子商务与电子政务提高了服务效率15

1.6数据仓库的ROI（回报投入比）17

1.7联机综合分析系统中数据仓库的应用19

1.8挑战和趋势20

第2章数据仓库的总体结构25

2.1金字塔结构25

2.2数据仓库的结构与环境29

2.3准备区数据源和数据仓库之间的过渡32

2.4元数据与模型32

2.4.1元数据的定义34

2.4.2元数据的作用34

2.4.3元数据和模型的整建35

2.4.4命名法35

2.4.5元数据存储区36

2.4.6元数据的维护和应用37

2.4.7元数据的定义和管理39

2.4.8统一元数据标准和元数据交换43

2.5多维数据结构46

2.5.1星型结构46

2.5.2雪花型结构48

2.5.3混杂型结构49

2.5.4度量应用举例50

2.6映像50

2.6.1映像的含义52

2.6.2数据迁移和转换的过程52

2.6.3抽象与映像层次54

2.6.4应变式映像策略57

2.6.5映像类型58

2.7滚动综合数据59

2.8联机分析处理63

2.8.1联机分析处理数据仓库的自然延伸64

2.8.2联机分析处理系统的集成64

2.8.3维的作用65

2.8.4对多维数据方阵的链接和分析65

2.8.5方阵系列的设计要点66

2.8.6总计数据的自动更新67

2.8.7报表构架67

2.8.8联机分析处理（OLAP）的解决办法67

2.8.9表示工具68

2.8.10表示工具的预处理68

2.9数据发掘69

2.9.1数据发掘的重要性69

2.9.2数据发掘的方法与技术70

2.10实现闭环的联机分析处理71

2.11卸载操作型数据库与保护数据源74

2.11.1数据源企业最重要的信息资产74

2.11.2操作型事务处理数据库的特征74

2.11.3决策支持数据库系统的特点74

2.11.4两种作业混合的弊端75

2.11.5回顾过去作业的局限性75

2.11.6卸载76

2.11.7双赢的解决办法78

2.12数据仓库的三要素79

2.13多维总计方阵81

2.13.1从基本数据到综合信息81

2.13.2方阵是联机分析的基础结构81

2.13.3方阵的类型82

2.13.4方阵的卸载与底层数据表的屏蔽85

2.13.5刷新86

2.13.6方阵的设计要点87

2.13.7从数据仓库基本数据（事实/维）到最终分析报告的映像88

2.14ETL（提取转换加载）从数据源到目标89

2.14.1数据的启程90

2.14.2数据标准化的准备工作和数据清洗的工具字典90

2.14.3粒度与聚合数据90

2.14.4魔力无边的巨型章鱼91

2.14.5数据仓库的数据追加91

2.14.6提取转换加载处理的映像过程92

2.14.7作业顺序、依赖关系和进程控制92

2.14.8从数据源进入数据仓库到以分析报表输出93

2.14.9数据提取转换加载的主要流程和会话期流程94

2.15从数据源到目标Informatica97

2.16数据仓库在因特网环境下的应用98

2.16.1客户-服务器系统的特点99

2.16.2因特网数据仓库的特点100

2.16.3设计指南101

2.16.4安全性技术102

第3章数据仓库应用实例104

3.1分布式数据仓库独立的数据库接口104

3.2共享式数据仓库共享式支票信用认可网络107

3.3某飞机制造公司单源生产数据108

3.4汽车销售管理网络数据仓库支持下的联机分析报表109

第4章数据仓库应用开发的策略与过程111

4.1数据仓库开发策略111

4.2跳跃（蛙跳）式发展113

4.2.1数据仓库的演变史113

4.2.2建立真正的数据仓库114

4.3数据仓库系统平台115

4.3.1观察数据仓库系统的基本结构116

4.3.2多层结构环境116

4.3.3多层次、多分区系统117

4.3.4坚实的胡桃117

4.3.5表示层与内核的部署118

4.3.6应用软件的基本结构118

4.4数据仓库应用开发的要点与特征121

4.4.1数据仓库应用的命题/主题确定123

4.4.2往复循环式开发数据仓库127

4.4.3建立数据集市133

4.5数据仓库设计质量134

4.5.1数据仓库质量的重要性134

4.5.2数据质量保障134

4.5.3数据质量保障的环境和各个处理环节135

4.5.4错误检测136

4.5.5质量保障系统137

4.5.6及时发现错误138

4.5.7错误追踪138

4.5.8解决劣质数据144

4.6数据仓库应用开发保障技术144

4.6.1知识与知识产权的维护145

4.6.2团队147

4.7数据仓库安全性与有关技术152

4.7.1识别安全威胁的类型与攻击方法153

4.7.2安全性防范思想与布局155

4.7.3安全性策略与技术155

4.7.4数据仓库安全性的应用结构设计技术157

第5章数据仓库设计与应用开发160

5.1数据仓库的概念设计161

5.1.1概念设计162

5.1.2元数据定义及管理162

5.1.3数据结构概图163

5.1.4数据仓库的基本表164

5.1.5从逻辑设计到物理设计165

5.2数据仓库的物理设计165

5.2.1事实表设计166

5.2.2维数169

5.2.3分区173

5.2.4索引设计175

5.2.5完整性约束设计176

5.2.6实体化视图设计177

5.3数据提取转换加载（ETL）188

5.3.1建立事件映像189

5.3.2建立视图或实体化视图与视图模拟189

5.3.3ETL过程举例189

5.3.4提取转换加载的方法192

5.3.5数据的标准化与规范化193

5.3.6数据清洗与实例195

5.3.7数据提取转换加载工具198

5.3.8数据提取200

5.3.9加载和转换204

5.3.10数据提取转换加载的主流程209

5.4综合管理212

5.4.1总体构架212

5.4.2汇总准备214

5.4.3报表准备工作的基础从数据仓库生成并刷新实体化视图214

5.4.4刷新实体化视图214

5.4.5监控数据仓库的刷新216

5.4.6实体化视图的管理要点218

5.5联机分析处理（OLAP）219

5.5.1SQL与综合函数219

5.5.2多维分析技术220

5.5.3数据仓库SQL总计分析语句结构与流程221

5.5.4综合SQL和函数的应用222

5.5.5SQL和分析函数235

5.6报表发布242

5.6.1表示系统软件工具的联用从后台到前台242

5.6.2建立报表的过程244

5.6.3对多维方阵的钻入/聚合操作244

5.6.4表示工具的预处理245

5.6.5应用SQL分析服务器245

5.7报表系统构架250

5.7.1报表系统构架及其支撑结构251

5.7.2从数据库生成XML数据251

5.7.3建立报表函数库259

5.7.4建立报表程序库288

5.7.5报表系统构架及其支撑结构301

5.7.6应用表函数312

　　数据仓库技术在操作型数据库的基础上对数据的进一步集成和分析提出了更明确的目标和解决方案，其概念、方法、应用技术、功能得到了广泛应用，给用户带来了巨大的竞争优势。　　本书将从数据仓库技术背景、技术结构框架、开发和应用等方面，结合作者在数据仓库技术实施过程中的实际经验，深刻阐述数据仓库开发生命周期在各个阶段的特点和策略运用，以及在管理信息系统中的位置和作用。　　本书共分5章，涉及数据仓库的基本概念、定义及主要特点；根据数据仓库的基础技术和结构概念，采用从元数据、多维数据结构、联机分析处理、数据挖掘、数据仓库的基础部件到联机和成品分析报告一条龙的方法，描述了数据仓库设计与开发生命周期的各个阶段以及相应的技术结构框架；另外，还提供了大量的应用实例，如支票信用认可网络系统、某飞机制造公司单源生产数据、汽车销售管理网络系统等多个工程开发的成功案例；同时，本书还介绍了数据仓库开发过程和策略，主要有跳跃（蛙跳）式发展、数据仓库系统多层次的结构平台内核与外壳、数据仓库应用开发的要点与特征、数据仓库设计、质量保障、任务、资源、团队、技能等基本内容；最后，通过一系列程序实例，讲解了数据仓库设计与应用开发的建立过程，以及SQL程序在Oracle9i和SQLServer分析服务器平台上的实施情况，包括概念设计、物理设计、ETL、总合管理、联机分析、SQL分析和报表构架等详细技术说明。　　本书以成功实践为基础，理论与技术实践密切结合，结构紧凑，内容新颖，图文并茂，论述精辟，可作为高等院校信息技术和管理专业、数据库专业教学与研究的教材；同时也适合从事信息系统研究与工程应用开发的广大科技人员作为学习与指导的参考读物。