数据仓库

目录

1       定义... 2

2       数据仓库的特点... 2

2.1        面向主题... 2

2.2        集成的... 3

2.3        相对稳定的... 3

2.4        反映历史变化... 3

3       数据仓库的组成... 3

3.1        数据仓库数据库... 3

3.2        数据抽取工具... 3

3.3        元数据... 3

3.4        访问工具... 4

3.5        数据集市（Data Marts）... 4

4       数据仓库的步骤... 5

4.1        数据仓库的设计步骤... 5

4.2        数据仓库的建立步骤... 5

5       数据挖掘、OLAP和数据仓库... 6

6       小结... 6

1       定义

数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。

数据仓库 ，由数据仓库之父W.H.Inmon于1990年提出，主要功能乃是将组织透过资讯系统之联机交易处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，以利各种分析方法如线上分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。

数据仓库之父William H. Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。

 

2       数据仓库的特点

2.1     面向主题

　　操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。

2.2     集成的

　　数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

2.3     相对稳定的

　　数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。

2.4     反映历史变化

数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

3       数据仓库的组成

3.1     数据仓库数据库

　　数据仓库的数据库是整个数据仓库环境的核心，是数据存放的地方和提供对数据检索的支持。相对于操纵型数据库来说其突出的特点是对海量数据的支持和快速的检索技术。

3.2     数据抽取工具

　　数据抽取工具把数据从各种各样的存储方式中拿出来，进行必要的转化、整理，再存放到数据仓库内。对各种不同数据存储方式的访问能力是数据抽取工具的关键，应能生成COBOL程序、MVS作业控制语言（JCL）、UNIX脚本、和SQL语句等，以访问不同的数据。数据转换都包括，删除对决策应用没有意义的数据段；转换到统一的数据名称和定义；计算统计和衍生数据；给缺值数据赋给缺省值；把不同的数据定义方式统一。

3.3     元数据

　　元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类，技术元数据和商业元数据。

　　技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库是用的数据。包括：数据源信息；数据转换的描述；数据仓库内对象和数据结构的定义；数据清理和数据更新时用的规则；源数据到目的数据的映射；用户访问权限，数据备份历史记录，数据导入历史记录，信息发布历史记录等。

　　商业元数据从商业业务的角度描述了数据仓库中的数据。包括：业务主题的描述，包含的数据、查询、报表；

　　元数据为访问数据仓库提供了一个信息目录（informationdirectory），这个目录全面描述了数据仓库中都有什么数据、这些数据怎么得到的、和怎么访问这些数据。是数据仓库运行和维护的中心，数据仓库服务器利用他来存贮和更新数据，用户通过他来了解和访问数据。

3.4     访问工具

　　为用户访问数据仓库提供手段。有数据查询和报表工具；应用开发工具；经理信息系统（EIS）工具；联机分析处理（OLAP）工具；数据挖掘工具。

3.5     数据集市（Data Marts）

　　为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subjectarea）。在数据仓库的实施过程中往往可以从一个部门的数据集市着手，以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是再实施不同的数据集市时，同一含义的字段定义一定要相容，这样再以后实施数据仓库时才不会造成大麻烦。

　　数据仓库管理：安全和特权管理；跟踪数据的更新；数据质量检查；管理和更新元数据；审计和报告数据仓库的使用和状态；删除数据；复制、分割和分发数据；备份和恢复；存储管理。

信息发布系统：把数据仓库中的数据或其他相关的数据发送给不同的地点或用户。基于Web的信息发布系统是对付多用户访问的最有效方法。

 

4       数据仓库的步骤

4.1     数据仓库的设计步骤

1           选择合适的主题（所要解决问题的领域）。

2           明确定义fact表。

3           确定和确认维。

4           choosing the facts。

5           计算并存储fact表中的衍生数据段。

6           rounding out the dimension tables。

7           choosing the duration of the database。

8           the need to tracks lowly changing dimensions。

9           确定查询优先级和查询模式。

4.2     数据仓库的建立步骤

1           收集和分析业务需求。

2           建立数据模型和数据仓库的物理设计。

3           定义数据源。

4           选择数据仓库技术和平台。

5           从操作型数据库中抽取、净化、和转换数据到数据仓库。

6           选择访问和报表工具。

7           选择数据库连接软件。

8           选择数据分析和数据展示软件。

9           更新数据仓库 。

5       数据挖掘、OLAP和数据仓库

数据仓库可以作为数据挖掘和OLAP等分析工具的资料来源，由于存放于数据仓库中的资料，必需经过筛选与转换，因此可以避免分析工具使用错误的资料，而得到不正确的分析结果。

数据挖掘和OLAP同为分析工具，其差别在于OLAP提供用户一便利的多维度观点和方法，以有效率的对数据进行复杂的查询动作，其预设查询条件由用户预先设定，而数据挖掘，则能由资讯系统主动发掘资料来源中，未曾被查觉的隐藏资讯，和透过用户的认知以产生知识。

数据挖掘(Data Mining)技术是经由自动或半自动的方法探勘及分析大量的资料，以创建有效的模型及规则，而企业透过数据挖掘更了解他们的客户，进而改进他们的行销、业务及客服的运作。 数据挖掘是数据仓库的一种重要运用。基本上，它是用来将你的资料中隐藏的资讯挖掘出来，所以 Data Mining 其实是所谓的 Knowledge Discovery 的一部份，Data Mining 使用了许多统计分析与 Modeling 的方法，到资料中寻找有用的特征（Patterns）以及关连性（Relationships）。 Knowledge Discovery 的过程对 Data Mining 的应用成功与否有重要的影响，只有它才能确保 Data Mining 能获得有意义的结果。

6       小结

文章内容摘之百度百科、智库百科、维基百科。

PDF下载：数据仓库