数仓建模理论与设计

1.什么是数据建模

---

数据建模就是基于对于业务的理解，将各种数据进行整合和关联，并最终使得这些数据可用性、可读性增强，让使用方法快速的获取到自己关系的有价值的信息并及时的作出相应，为公司带来效益。

---

2.为什么要建模

---

        数据建模是一套方法论，主要对数据的存储和整合做一些指导，强调从各个角度合理的存储数据。

有合适的数据模型，带来的好处：

1、查询使用性能提升

2、用户效率提高，改善用户体验

3、提升数据质量

因此大数据系统需要数据模型方法来更好的组织和存储，以便在性能，成本，效率和质量之间取得平衡。

---

3.建模常用工具

---

PowerDesigner：

 Power Designer 是Sybase公司的CASE工具集，使用它可以方便地对管理信息系统进行分析设计，他几乎包括了数据库模型设计的全过程。利用Power Designer可以制作数据流程图、概念数据模型、物理数据模型，还可以为数据仓库制作结构模型，也能对团队设计模型进行控制。他可以与许多流行的软件开发工具，例如PowerBuilder、Delphi、VB等相配合使开发时间缩短和使系统设计更优化。

      power designer是能进行数据库设计的强大的软件，是一款开发人员常用的数据库建模工具。使用它可以分别从概念数据模型(Conceptual Data Model)和物理数据模型(Physical Data Model)两个层次对数据库进行设计。在这里，概念数据模型描述的是独立于数据库管理系统(DBMS)的实体定义和实体关系定义；物理数据模型是在概念数据模型的基础上针对目标数据库管理系统的具体化。

ER/Studio：

ER/Studio 是一个支持多平台环境的直观数据建模工具，并且本地集成了用于处理大数据平台，例如-MongoDB和Hadoop Hive。它能够进行正向和逆向工程，并且拥有“比较合并”功能，能够输出例如XML、PNG、JPEG等格式文档。内建自动执行任务功能支持当前流行数据库平台。ER/Studio功能非常强大，拥有直观的界面和很好的用户支持特别易于马上开始工作。

Datablau(数语科技)DDM：

        国内商业版数据建模工具。由前Erwin全球研发团队打造。性价比高，所需建模功能齐全；支持完整的二次开发API，对接内部系统；且同样具备浮动许可证的服务。支持对关系型、NoSQL、ERP数据源的数据模型自动抽取。可视化ER图的方式设计数据库。支持应用数据标准到数据库设计。支持多人协作的数据建模跨部门共享数据模型。支持周期性监控实际数据库与数据模型的一致性，管理数据库中文界面全新设计，更适合国内企业现状和使用习惯。

---

4.业务系统和数据仓库建模的区别

---

        在业务系统中，通常面对业务数据库的读写，目前采用三范式3NF模型存储数据。

        而在数据仓库的建模过程中，由于主要是数据的批量读取操作，但是事务并不是我们所关心的，主要是关注数据的整合以及查询处理性能，因此会采用其他建模方法，以Kimball维度建模最为经典。

---

5.Kimball和Inmon架构

---

Inmon架构：

        辐射状企业信息工厂(CIF) 方法由Bill Inmon及业界人士倡导的。在这个环境下，数据从操作性数据源中获取，在ETL系统中处理，将这一过程称为数据获取，从这一过程中获得的原子数据保存在满足第三范式的数据库中，这种规范化的原子数据的仓库被称为CIF架构下的企业级数据仓库(EDW)。

        与Kimball方法相似，CIF强调企业数据协调与集成，但CIF认为要利用规范化的EDW承担这一角色，而Kimball架构强调具有一致性维度的企业总线的重要作用。

  Inmon企业级数据仓库的分析数据库通常以部门为中心（而不是围绕业务过程来组织），而且包含汇总数据，并不是原子级别数据，如果ETL过程中数据所应用的业务规则超越了基本概要，如部门改名了或者其他的类似计算，要将分析数据库与EDW原子数据联系起来将变得很困难。

Kimball架构：

         Kimball架构利用了CIF中处于中心地位的EDW，但是此次的EDW完全与分析与报表用户隔离，仅作为数据来源，其中数据是维度的，原子的，以过程为中心的，与企业级数据仓库总线结构保持一致。

 架构对比：

1、流程

Inmon架构是自顶向下，即从数据抽取-->数据仓库-->数据集市，以数据源为导向，是一种瀑布流开发方式，模型偏向于3NF。

Kimball架构是自下向上，即从数据集市(主题划分)-->数据仓库-->数据抽取，是以需求为导向的，一般使用星型模型。

2、事实表和维表

Inmon架构下不强调维表和事实表的概念，因为数据源变化可能比较大，更加强调的数据清洗的工作。

Kimball架构强调模型是由维表和事实表组成，注重维表和事实表的设计。

3、数据集市

Inmon架构中，数据集市有自己的物理存储，是真实存在的。

Kimball数据仓库架构中，数据集市是一个逻辑概念，只是多维数据仓库中的主题域划分，并没有自己的物理存储，也可以说是虚拟的数据集市。是数据仓库的一个访问层，是按主题域组织的数据集合，用于支持部门级的决策。

4、中心

Inmon架构是以部门为中心，而Kimball架构是以业务过程为中心。

5、EDW访问

Inmon架构中用户可以直接访问企业数据仓库(EDW)。

Kimball架构中用户不可以直接访问企业数据仓库(EDW)，只能访问展现区数据。

总结：

企业开发中一般选择Kimball架构。

---

6.数据建模的几种方式

---

6.1、ER模型

ER模型是属于三范式，是企业级的主题抽象而不是单独描述某个业务。

6.1.1、什么是范式

当分类不可再分时，这种关系是规范化的，一个低级范式分解转换为更高级的范式时，就叫做规范化。数据表可以分为1-5NF，第一范式是最低要求，第五范式则是最高要求。最常用的范式有第一范式（1NF）、第二范式（2NF）、第三范式（3NF）

第一范式（1NF）：

表中的每一列都是不可拆分的原子项。

由上图可知，phone字段里面存了2个值，具有可分割性，不符合1NF，可以改成：

 第二范式（2NF）:

满足第一范式，没有部分依赖。

上图可以看出，如果一个用户下了很多订单，则用户名，收获地址和手机号有重复出现的情况造成数据冗余，很明显不太符合第二范式，可以改成：

 第三范式（3NF）：

第三范式要同时满足两个条件：满足第二范式，没有传递依赖。简单点说，关系重复，能互相推导出来。

 如上图所示，如果知道了zip邮编，其实是能推出来省市区的，相反，知道了省市区，也是可以推出邮编的，有传递依赖，造成了冗余，不符合第三范式，需要改造:

6.1.2、小结  

        在关系数据模型设计中，一般需要满足第三范式的要求。如果一个表有良好的主外键设计，就应该是满足3NF的表。

规范化带来的好处是通过减少数据冗余提高更新数据的效率，同时保证数据完整性。然而，我们在实际应用中也要防止过度规范化的问题。规范化程度越高，划分的表就越多，在查询数据时越有可能使用表连接操作。 

        而如果连接的表过多，会影响查询的性能。关键的问题是要依据业务需求，仔细权衡数据查询和数据更新的关系，制定最适合的规范化程度。还有一点需要注意的是，不要为了遵循严格的规范化规则而修改业务需求。

 6.2、维度建模

         维度建模是一种将大量数据结构化的逻辑设计手段，包含维度和指标，它不像ER模型目的是消除冗余数据，维度建模是面向分析，最终目的是提高查询性能，所以会增加数据冗余，并且违反三范式。

        维度建模也是重点关注让用户快速完成需求分析且对于复杂查询及时响应，维度建模一般可以分为三种：星型模型、雪花模型、星座模型。其中最常用的其实是星型模型。

6.2.1、背景

        在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型，雪花型模型及星座模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型，雪花型模型还是星座模型进行组织。

6.2.2、星型模型 

        星形模型中有一张事实表，以及零个或多个维度表，事实表与维度表通过主键外键相关联，维度表之间没有关联，当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型。星形模型是最简单，也是最常用的模型。由于星形模型只有一张大表，因此它相比于其他模型更适合于大数据处理。其他模型可以通过一定的转换，变为星形模型。

        星型架构是一种非正规化的结构，多维数据集的每一个维度都直接与事实表相连接，不存在渐变维度，所以数据有一定的冗余，如在地域维度表中，存在国家 A 省 B 的城市 C 以及国家 A 省 B 的城市 D 两条记录，那么国家 A 和省 B 的信息分别存储了两次，即存在冗余。

6.2.3、雪花模型  

        当有一个或多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花模型。雪花模型是对星型模型的扩展。它对星型模型的维表进一步层次化，原有的各维表可能被扩展为小的维度表，形成一些局部的 " 层次 " 区域，这些被分解的表都连接到主维度表而不是事实表。如图，将地域维表又分解为国家，省份，城市等维表。它的优点是 : 通过最大限度地减少数据存储量以及联合较小的维表来改善查询性能。雪花型结构去除了数据冗余。

 6.2.4、星座模型

        星座模型是由星型模型延伸而来，星型模型是基于一张事实表而星座模式是基于多张事实表，并且共享维度表信息，这种模型往往应用于数据关系比星型模型和雪花模型更复杂的场合。星座模型需要多个事实表共享维度表，因而可以视为星形模型的集合，故亦被称为星系模型。

6.2.5、对比

属性	星型模型	雪花模型
事实表	一个或多个	集中式
维度表	一级维表	多级维表(子维表)
存储空间	多	少
数据冗余度	高	低
表宽度	宽	窄
扩展性	差	好
Join复杂度	低	高
查询逻辑	简单	难
查询性能	高	低
可读性	高	低
表个数	少	多

星型模型因为数据的冗余所以很多统计查询不需要做外部的连接，因此一般情况下效率比雪花型模型要高。星型结构不用考虑很多正规化的因素，设计与实现都比较简单。

雪花型模型由于去除了冗余，有些统计就需要通过表的联接才能产生，所以效率比较低。正规化也是一种比较复杂的过程，相应的数据库结构设计、数据的 ETL、以及后期的维护都要复杂一些。

 6.2.6、小结

        通过对比，我们可以发现数据仓库大多数时候是比较适合使用星型模型构建底层数据Hive表，通过大量的冗余来减少表查询的次数从而提升查询效率，星型模型对OLAP的分析引擎支持比较友好，这一点在Kylin中比较能体现。而雪花模型在关系型数据库中如MySQL，Oracle中非常常见，尤其像电商的数据库表。在数据仓库中雪花模型和星座模型的应用场景比较少，但也不是没有，所以在具体设计的时候，可以考虑是不是能结合两者的优点参与设计，以此达到设计的最优化目的。

6.2.7、建模原则

1.高内聚低耦合：

        将业务相近或者相关、粒度相同的数据设计为一个逻辑或者物理模型：将高概率同 时访问的数据放一起 ，将低概率同时访问的数据分开存储。

2.核心模型与扩展模型分离：

         建立核心模型与扩展模型体系，核心模型包括的字段支持常用的核心业务，扩展模型包括的字段支持个性化或少量应用的需要 ，不能让扩展模型的字段过度侵人核心模型，以免破坏核心模型的架构简洁性与可维护性。

3.公共处理逻辑下沉及单一：

        越是底层公用的处理逻辑越应该在数据调度依赖的底层进行封装与实现，不要让公用的处理逻辑暴露给应用层实现，不要让公共逻辑多处同时存在。

4.成本与性能平衡：

         适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制。

5.数据可回滚：

        处理逻辑不变，在不同时间多次运行数据结果确定不变。

6.一致性：

        具有相同含义的字段在不同表中的命名必须相同，必须使用规范定义中的名称。

7.命名清晰、可理解：

        表命名需清晰、一致，表名需易于消费者理解和使用。

星型模型设计步骤：

1.选择需要进行分析决策的业务过程。业务过程可以是单个业务事件，比如交易的支付、退款等；也可以是某个事件的状态，比如当前的账户余额等；还可以是一系列相关业务事件组成的业务流程，具体需要看我们分析的是某些事件发生情况，还是当前状态，或是事件流转效率。

2.选择粒度。在事件分析中，我们要预判所有分析需要细分的程度，从而决定选择的粒度。粒度是维度的一个组合。

3.识别维表。选择好粒度之后，就需要基于此粒度设计维表，包括维度属性，用于分析时进行分组和筛选。

4.选择事实。确定分析需要衡量的指标。

6.3、Data Vault模型 

         Data Vault Dan Linstedt 发起创建的一种模型，它是模型的衍生，其设计的出发点也是为了实现数据的整合，但不能直接用于数据分析决策。它强调建立一个可审计的基础数据层，也就是强调数据的历史性、可追溯性和原子性，而不要求对数据进行过度的一致性处理和整合；同时它基于主题概念将企业数据进行结构化组织，并引入了更进一步的范式处理来优化模型，以应对源系统变更的扩展性。Data Vault 型由以下几部分组成：

 • Hub ：是企业的核心业务实体，由 实体 key 、数据仓库序列代理键、装载时间、数据来源成。

 • Link ：代表 Hub 之间的关系。这里与 模型最大的区别是将关系作为一个独立的单元抽象，可以提升模型的扩展性。它可以直接描述 1:1 1:n n:n 的关系，而不需要做任何变更。它由 Hub 的代理键、装载时间、数据来源组成。

• Satellite ：是 Hub 的详细描述内容， 一个 Hub 可以有多个 Satellite它由 Hub 的代理键、装载时间、来源类型、详细的 Hub 描述信息组成。

Data Vault 模型比 ER 模型更容易设计和产出，它的 ETL 加工可实现配置化。

---

7、模型分层  

---

7.1、前言

        数据仓库一般分为三层，自下而上分别为数据贴源层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。

7.2、ods层

        贴源层，与业务库保持一致，不做任何处理。

7.3、cdm层

        数据公共层CDM（Common Data Model，又称通用数据模型层），包括DIM维度表、DWD,DW和DWS，由ODS层数据加工而成。主要完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。

• 公共维度层（DIM）：基于维度建模理念思想，建立企业一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表，维度和维度逻辑表通常一一对应。

• 明细粒度事实层（DWD）：对数据进行规范化编码转换，清洗，统一格式，脱敏等，不做横向整合。

• 主题宽表层(DW) 对dwd各种信息进行整合，输出主题宽表(面向业务过 程，不同业务过程的信息不冗余建设，采用外键形式)。

• 公共汇总粒度事实层（DWS）：以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段物理化模型。构建命名规范、口径一致的统计指标，为上层提供公共指标，建立汇总宽表、明细事实表。 公共汇总粒度事实层的表通常也被称为汇总逻辑表，用于存放派生指标数据。

7.4、ads层

        数据应用层ADS（Application Data Service）：面向业务需求定制开发，存放数据产品个性化的统计指标数据。

7.5、逻辑分层架构

7.6、分层的好处

1. 清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。

2. 数据血缘追踪：简单来讲可以这样理解，我们最终给业务呈现的是一张能直接使用的张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。

3. 减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。

4. 把复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。