电商数仓3.0 - 电商数据仓库系（1） - 知识点总结

1. 三大范式

• 第一范式

属性不可分割

• 第二范式

不能存在“部分函数依赖”

• 第三范式

不能存在传递函数依赖

2. 关系建模与维度建模

• 联机事物处理 - OLTP

OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。

• 联机分析处理 - OLAP

OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果

• 对比
  
• 关系建模
  
• 维度建模
  

维度建模主要应用于OLAP系统中，通常以某一个事实表为中心进行表的组织，主要面向业务，特征是可能存在数据的冗余，但是能方便的得到数据。
关系模型虽然冗余少，但是在大规模数据，跨表分析统计查询过程中，会造成多表关联，这会大大降低执行效率。
所以通常我们采用维度模型建模，把相关各种表整理成两种：事实表和维度表两种。

3. 维度表和事实表

• 维度表

一般是对事实的描述信息。每一张维表对应现实世界中的一个对象或者概念。 例如：用户、商品、日期、地区等。

• 事实表

事实表中的每行数据代表一个业务事件（下单、支付、退款、评价等）。“事实”这个术语表示的是业务事件的度量值（可统计次数、个数、金额等）

1）事务型事实表
以每个事务或事件为单位，例如一个销售订单记录，一笔支付记录等，作为事实表里的一行数据。一旦事务被提交，事实表数据被插入，数据就不再进行更改，其更新方式为增量更新。
2）周期型快照事实表
周期型快照事实表中不会保留所有数据，只保留固定时间间隔的数据，例如每天或者每月的销售额，或每月的账户余额等。
例如购物车，有加减商品，随时都有可能变化，但是我们更关心每天结束时这里面有多少商品，方便我们后期统计分析。
3）累积型快照事实表
累计快照事实表用于跟踪业务事实的变化。例如，数据仓库中可能需要累积或者存储订单从下订单开始，到订单商品被打包、运输、和签收的各个业务阶段的时间点数据来跟踪订单声明周期的进展情况。当这个业务过程进行时，事实表的记录也要不断更新。

4. 维度建模

建模过程：选择业务过程→声明粒度→确认维度→确认事实

• 选择业务过程

在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流业务，一条业务线对应一张事实表。

• 声明粒度

数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。
声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以此来应各种各样的需求。
典型的粒度声明如下：
订单事实表中一行数据表示的是一个订单中的一个商品项。
支付事实表中一行数据表示的是一个支付记录。

• 确定维度

维度的主要作用是描述业务是事实，主要表示的是“谁，何处，何时”等信息。
确定维度的原则是：后续需求中是否要分析相关维度的指标。例如，需要统计，什么时间下的订单多，哪个地区下的订单多，哪个用户下的订单多。需要确定的维度就包括：时间维度、地区维度、用户维度。

• 确定事实

此处的“事实”一词，指的是业务中的度量值（次数、个数、件数、金额，可以进行累加），例如订单金额、下单次数等。
在DWD层，以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的明细层事实表。事实表可做适当的宽表化处理。

• 建立表格（横坐标为维度表，纵坐标为事实表）
  

至此，数据仓库的维度建模已经完毕，DWD层是以业务过程为驱动。
DWS层、DWT层和ADS层都是以需求为驱动，和维度建模已经没有关系了。
DWS和DWT都是建宽表，按照主题去建表。主题相当于观察问题的角度。对应着维度表。

• 建模完毕
  

5. hive配置问题

• Yarn容量调度器并发度问题

针对容量调度器并发度低的问题，考虑调整yarn.scheduler.capacity.maximum-am-resource-percent该参数。默认值是0.1，表示集群上AM最多可使用的资源比例，目的为限制过多的app数量

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percentname>
    <value>0.5value>
    <description>集群中用于运行应用程序ApplicationMaster的资源比例上限，该参数通常用于限制处活动状态的应用程序数目。该参数类型为浮点型，默认是0.1，表示10%。所有队列的ApplicationMaster资源比例上限可通过参数
yarn.scheduler.capacity.maximum-am-resource-percent设置，而单个队列可通过参数yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent设置适合自己的值。
    description>
 property>

• 配置Yarn容量调度器多队列

默认Yarn的配置下，容量调度器只有一条default队列。在capacity-scheduler.xml中可以配置多条队列，修改以下属性，增加hive队列。

<property>
    <name>yarn.scheduler.capacity.root.queuesname>
    <value>default,hivevalue>
    <description>
     再增加一个hive队列
    description>
property>

<property>
    <name>yarn.scheduler.capacity.root.default.capacityname>
<value>50value>
    <description>
      default队列的容量为50%
    description>
property>

<property>
    <name>yarn.scheduler.capacity.root.hive.capacityname>
<value>50value>
    <description>
      hive队列的容量为50%
    description>
property>

<property>
    <name>yarn.scheduler.capacity.root.hive.user-limit-factorname>
<value>1value>
    <description>
      一个用户最多能够获取该队列资源容量的比例，取值0-1
    description>
property>

<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-capacityname>
<value>80value>
    <description>
      hive队列的最大容量（自己队列资源不够，可以使用其他队列资源上限）
    description>
property>

<property>
    <name>yarn.scheduler.capacity.root.hive.statename>
    <value>RUNNINGvalue>
    <description>
      开启hive队列运行，不设置队列不能使用
    description>
property>

<property>
    <name>yarn.scheduler.capacity.root.hive.acl_submit_applicationsname>
<value>*value>
    <description>
      访问控制，控制谁可以将任务提交到该队列,*表示任何人
    description>
property>

<property>
    <name>yarn.scheduler.capacity.root.hive.acl_administer_queuename>
<value>*value>
    <description>
      访问控制，控制谁可以管理(包括提交和取消)该队列的任务，*表示任何人
    description>
property>

<property>
    <name>yarn.scheduler.capacity.root.hive.acl_application_max_priorityname>
<value>*value>
<description>
      指定哪个用户可以提交配置任务优先级
    description>
property>

<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-application-lifetimename>
<value>-1value>
    <description>
      hive队列中任务的最大生命时长，以秒为单位。任何小于或等于零的值将被视为禁用。
description>
property>
<property>
    <name>yarn.scheduler.capacity.root.hive.default-application-lifetimename>
<value>-1value>
    <description>
      hive队列中任务的默认生命时长，以秒为单位。任何小于或等于零的值将被视为禁用。
description>
property>

6. 拉链表

• 什么是拉链表

维度表基本上都是天天全量导入hive分区表中，每个分区都记录这全量数据，但有一些维度表数量巨大，每天更改条数较少，则出现拉链表来解决此现象，拉链表记录每天记录的声明周期，一旦一条记录的生命周期结束，就重新开始一条新的记录，并把当前日期放入生效开始日期

首次导入维度表时要加入两个时间字段，后续则可以增量导入

• 拉链表制作流程图