企业数据仓库总线架构、总线矩阵笔记 (第三篇)

        一、总线架构

维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构(MD)中的三个关键性概念之一,另两个是一致性维度(Conformed Dimension)和一致性事实(Conformed Fact)。

在多维体系结构(MD) 的数据仓库架构中,主导思想是分步建立数据仓库,由数据集市组合成企业的数据仓库。但是,在建立第一个数据集市前,架构师首先要做的就是设计出在整个企业内具有统一解释的标准化的维度和事实,即一致性维度和一致性事实。而开发团队必须严格的按照这个体系结构来进行数据集市的迭代开发。

一致性维度就好比企业范围内的一组总线,不同数据集市的事实的就好比插在这组总线上的元件。这也是称之为总线架构的原因。

实际设计过程中,我们通常把总线架构列表成矩阵的形式,其中列为一致性维度,行为不同的业务处理过程,即事实,在交叉点上打上标记表示该业务处理过程与该维度相关。这个矩阵也称为总线矩阵(Bus Matrix)。

总线架构和一致性维度、一致性事实共同组成了Kimball的多维体系结构的基础,也建立了一套可以逐步建立数据仓库的方法论。由于总线架构是多维体系结构的核心,所以我们有时就把多维体系结构直接称为总线架构。

企业数据仓库总线架构、总线矩阵笔记 (第三篇)_第1张图片

 

二、价值链的意义

每家机构都有一个关键业务过程组成的潜在价值链,这个价值链确定机构主体活动的自然逻辑流程。数据仓库建设就是围绕着价值链建立一致化的维度和事实。

企业数据仓库总线架构、总线矩阵笔记 (第三篇)_第2张图片

 三 . 数据总矩阵

     矩阵的每一行对应都对应机构中的一个业务过程,每一列都和一个业务维度相对应,用叉号填充显示的是和每一行相关的列。业务过程应该先从单个数据源系统开始,然后再进行多数据源的合并。

企业数据仓库总线矩阵是DW/BI系统的一个总体数据架构,提供了一种可用于分解企业数据仓库规划任务的合理方法,开发团队可以独立的,异步的完成矩阵的各个业务过程,迭代地去建立一个集成的企业数据仓库。 

企业数据仓库总线架构、总线矩阵笔记 (第三篇)_第3张图片

          四. 一致性维度和事实

         企业数据仓库应该建立一个一致性维度和事实,而不是为每个部门建立维度和事实。

  五. 一致性维度

        具有一致的维度关键字,一致的属性列名称,一致的属性定义和一致的属性值。一致性维度要么是统一的,要么是维度表的一个子集。

  六. 一致性事实

        指每个度量在整个数据仓库中都是唯一的统计口径,为了避免歧义,一个度量只有唯一的业务术语。

  七. 维度模型的设计方法

企业数据仓库总线架构、总线矩阵笔记 (第三篇)_第4张图片

          八. 维度模型设计流程图

                                            企业数据仓库总线架构、总线矩阵笔记 (第三篇)_第5张图片 

 

           9.维度模型设计步骤

        9.1.需求调研 

        9.2.数据探查

             根据总线矩阵,确定业务过程的优先级,就要对候选数据源进行可行性评估,产出文档有源系统跟踪报告,数据评估报告。主要内容有:

                                            企业数据仓库总线架构、总线矩阵笔记 (第三篇)_第6张图片

 

                 9.3.高层模型设计

                                         企业数据仓库总线架构、总线矩阵笔记 (第三篇)_第7张图片

    9.4.识别维度和度量
                 有了高层模型,就要设计维度和度量,维度和度量清单不仅仅是业务用户所关心,还要从业务过程出发,自上而下的设计所涉及的维度和度量。防止业务用户的需求变化带来的冲击。 

    9.5.确定命名规范
                 在详细设计之前,为DW/BI系统制定规范,主要包含源系统、主题、业务术语、报表,物理设计命名、调度任务、文档方面的规范。 

    9.6.编写详细设计映射文档
                详细设计文档包括从源系统到维度模型的每个数据层的物理映射文档。 

    9.7.审查和验证模型
                详细设计文档出来后,要和业务用户和团队成员进行评审,记录下来评审过程中的问题,形成问题清单。

     9.8.完成设计文档
 最后确定设计文档,进行下一步的ETL开发。

本节文章可结合阿里巴巴《数据之路》,Kimball(数据库工具箱)

链接:https://pan.baidu.com/s/1GU-FdUH2eEyFWmJ5Nm9XqQ 
       提取码:7i4w

你可能感兴趣的:(数据仓库构建,数据仓库,ETL)