数据仓库的开发

时间:2007-12-29 09:31:50 来源: 作者:

数据集市(Data Marts)：
决策就是依据某些数据，对企业现状进行分析，并决定采取相应的措施来推动企业的发展，,但让决策者在浩如烟海的企业信息系统中找出这些数据可能并非易事。正是为了这样的目的设置了数据集市。它实际上就是为了各种特殊需要而专门设计的数据表的集合。特别是对一些需要紧急查询的内容设置这样的数据表,就更有必要。您可以注意到数据集市不是设置在每个主题内,而是设置在数据仓库的范畴内,这也就是说,您可在以分主题的方式在对原来运行数据重组的基础上
,为了某种支持决策的需要,再跨主题进行数据的重组。可以想象,这给您随着企业管理的发展,在要求您为了业务重组而进行数据重组时,创造可持续增长的、无限的数据重组的广阔天地。

运行数据定义(Operational Data Definition)
在这里定义您要取出的数据。前面已述数据仓库不仅应有多种方式可从各种环境中取出数据,而且可以通过数据仓库管理系统中启动这些操作。

数据仓库的开发

数据仓库并不等同于数据库 ,数据仓库也有其自身开发的特点。创建一个数据仓库会有以下五方面的工作:

任务和环境的评估
需求的收集和分析
构造数据仓库
数据仓库技术的培训字串6
回顾、总结及再发展

任务和环境的评估
数据仓库是建立在原有运行系统之上的。因此要结合用户的现状,来明确数据仓库的目标任务。除了业务现状外,特别要搞清任务所面对的数据源所在系统和其中的数据的状况。通过对这些情况的评估,看建立数据仓库这个任务是否可行;所能建立的数据仓库是不是用户所期望的;在此有没有不可逾越的障碍。最好能确定评定将来数据仓库系统成功与否的基本原则。

开展评估工作一定要有高层负责人参加,最好他就是将来使用数据仓库部门的负责人。这样从他这里就可以了解到全部的业务工作状况。他也最清楚今后的工作目标及对任务的期望,以及和竞争对手比较的差距。在评估工作开展过程中,他应当及时的提出问题
,并检查、回顾工作的进展。
在他的领导下要组成一个项目组,并有以下人员参加:项目总负责人,与数据仓库相关的所有业务单位的负责人,计算机软/硬件负责人,向数据仓库提供数据的数据库管理员以及网络方面的人员。项目组要进行项目定义,并首先按要求达到的目标初步确定数据仓库的主题。进一步说明这个主题的层次结构,及所涉及的相关业务处理。最好还能设立几个可量化的工作指标。

除了业务工作外,还要对相关的信息技术状况进行评估:数据源的数据库类型,工作平台,数据量,数据的质量等;将要建立数据仓库的环境状况,以及所利用的网络技术状况。全部评估工作应有正规的/doc/">文档记载,并交数据仓库负责人审定。

字串7

需求的收集和分析

数据仓库是为支持决策服务的。故首先要看决策者(亦即领导)的需求,即现在最重要的工作目标是什么;怎样衡量这个目标的达到与否;现在是怎样获得决策支持信息的;和竞争对手比差距是什么。

领导的决策总是由一批具体工作人员支持的,所以还应从他们这里收集具体的需求,
并加以分析:对应前面所定的主题,现在利用什么信息或报表(最好有实例);这报表中还缺什么信息;这报表是如何制作出来的;有没有紧急、突发的决策信息要求,其内容是什么;
还希望数据仓库为他们完成什么等。
在此基础上确认:当前共同的业务问题是什么;希望开发怎样的功能来解决这些问题
;由此定义好业务处理的规则;初步估计功能的规模和数据量;与此同时还要定义、理清业务和/">编程所需的代码。
基于上述业务需求和分析即可开始制定系统的逻辑模型。
此外,还要对在实现这些业务需求时,对信息技术的需求加以分析:每一个数据源的物理存储状况、运行平台、数据质量如何;确认硬件、网络和软件的限制条件;数据装载与更新的策略和问题;数据量和占用空间的估计;从信息技术看数据的质量有何问题等。

最后,还有/doc/">文档制作,其内容应包括: 字串3

项目概述
差距分析
系统基本架构图示
逻辑模型
物理模型
数据仓库初始装载和更新的策略
数据仓库的运行计划
决策信息展现的希望和需求
数据仓库建成的时限

构造数据仓库
构造数据仓库包括了数据仓库的管理,数据仓库的组织和决策支持信息的展现三部分。

数据仓库的管理通过建立以下诸项内容实现之:设置和编写取用数据的/doc/">程序;设置和编写数据转换/doc/">程序;设置和编写数据更新/doc/">程序;设置和编写运行的接口/doc/">程序;建立这一阶段的所有管理用数据——Metadata;此阶段所有/doc/">程序统一标准命名和建档。

数据仓库的组织包括了:规划数据仓库的初始装载;在数据仓库中建立所需的索引;除了数据表外,建立数据视窗(View);进行数据仓库及工作平台的安全检查;装入数据和应用功能;建立这一阶段的所有管理用数据——Metadata。

数据仓库技术的培训

数据仓库是支持其使用者进行决策的,人对系统的运作是决定性的因素。只有人成功地利用数据仓库的决策功能才可以证明数据仓库的成功。建成数据仓库后要认真进行最终用户的培训。首先要向用户介绍数据仓库的全部情况,用户掌握的越深入,将来运用的就更好;数据是向用户介绍的重点,不仅要介绍详尽的数据内容,而且要介绍系统如何保障数据的质量、完整性和可靠性,并且让他们在今后使用中进一步注意这些问题,很可能这就是以后需要维护,改进的地方;

字串1

Metadata是数据仓库的管理性数据,要告诉用户什么是Metadata
,在何处,如何使用它;图形化的界面和各项功能当然是培训的主要内容;还要介绍数据的更新计划和此后数据的可用性;汇总层次的增加,可能是用户新需求的内容,要让他们知道如何和开发人员一起完成这件事;最后,不要忘记安全规范的培训。

假如数据仓库的管理员不是系统的开发者,那末该员亦属培训范围。培训内容是:数据仓库的逻辑和物理模型;从OLTP系统到数据仓库的数据流;全部的数据转换操作;所有Metadata的所在和内容,管理员对Metadata要有相当的熟悉程度才能胜任工作;数据装载和更新的策略;所有安全性问题及其测度;所有/doc/">程序/doc/">文档资料的管理等。

回顾、总结再发展
在数据仓库开发过程中要不断总结回顾哪些地方可以做得更好;业务部门对开发的支持是否到位;双方如何合作得更好;什么可以为业务部门带来最立竿见影的效益;什么可以为开发部门带来最立竿见影的效益,利用它更好地为用户服务。

开发有了一定进展,就要慎重地看看:主题的范围选择是否恰当;是否所有应参与的部门都积极主动地参与了工作;有什么阶段成果;发布这些成果的反映如何;业务和开发部门分别有什么反映;公司层的领导是否看到了初步成果;若有问题应及时改进。在数据仓库开发完成后要检查:采用数据仓库是否对公司的发展有所推进;是否提高了公司的竞争优势;投资的回报率是否达到了预计的水平;公司的其它部门是否可以利用数据仓库获得效益;有没有得到未曾期望过的效益。

字串4

数据仓库的开发往往是从一个简明的急需主题开始,从中积累经验,并由此也可能会激发用户的新需求,然后不断扩大数据仓库的内容和规模。只要稳扎稳打,循序渐进,一定能建立好数据仓库,并使企业利用它获得更大的效益。