电商数仓——数仓理论

一、数仓分层

目的：

• 减少重复操作

• 方便问题定位

• 隔离原始数据

• ODS（原始数据层） 不做处理，存放原始数据，创建分区表（方便管理），压缩（hdfs中数据已是压缩数据）（起备份作用）

• DWD（明细数据层） 粒度（月、天等）与原始表一致 进行简单数据清洗，降维（一条）
  　　ETL工具：hive、hql、MR、spark sql、python、kettle

• DWS（服务数据层） 按天进行轻度汇总（做宽表，一天）

• DWT（数据主题层） 按主题进行汇总（多天累计)

• ADS（数据应用层） 为报表提供数据

二、数仓理论

2.1 维度表

一般是对事实的描述信息。 每一张维表对应现实世界中的一个对象或者概念。
例如： 用户、 商品、 日期、 地区等。

• 维表的范围很宽（具有多个属性、 列比较多）
• 跟事实表相比， 行数相对较小： 通常< 10 万条
• 内容相对固定： 编码表

2.2事实表

事实表中的每行数据代表一个业务事件（ 下单、 支付、 退款、 评价等）
包括可度量值（次数、金额等），以及维度表的id（user_id，省份id，商品id等）

• 非常的大
• 内容相对的窄： 列数较少
• 经常发生变化， 每天会新增加很多。

2.2.1事务型事实表
以事务或者事件为单位，一旦提交不在更改，增量式更新
2.2.2周期型快照事实表
不保留所有数据，值保留固定时间间隔的数据（每天的销售额、每月账户余额等）
2.2.3累计型快照事实表
累计快照事实表用于跟踪业务事实的变化。（订单下单、打包、运输、签收）

三、数仓建模

3.1 ODS 层 （负责备份数据工作）

（1）保持数据原貌不做任何修改，起到备份数据的作用。
（2）数据采用LZO压缩，并创建索引减少磁盘存储空间（切片）
（3）创建分区表，防止后续的全表扫描
（4）创建外部表（多人共用），内部表（仅自己使用）

3.2 DWD 层 （负责准备数据工作）

DWD 层需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。
（1）数仓维度建模（星型模型），使维度退化。好处：减少后续大量join操作
（2）数据清洗（ETL)
（3）数据采用LZO压缩，
（4）parquet列式存储：减小磁盘空间，加快查询效率
（5）脱敏（手机号，身份证号，个人信息）
（6）对用户行为数据进行解析 event事件表（10张表，解析）

维度建模一般按照以下四个步骤： 选择业务过程→声明粒度→确认维度→确认事实
（1）选择业务过程
在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流 业务，一条业务线对应一张事实表。
（2）声明粒度
数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。
声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以 此来应各种各样的需求。
典型的粒度声明如下：
订单中，每个商品项作为下单事实表中的一行，粒度为每次下单
每周的订单次数作为一行，粒度就是每周下单。
每月的订单次数作为一行，粒度就是每月下单
（3）确定维度
维度的主要作用是描述业务是事实，主要表示的是“谁，何处，何时”等信息。维度退化（多张表join成一张宽表，使事实表周围只有一个维度，构建星型模型）
（4）确定事实
此处的“事实”一词，指的是业务中的度量值，例如订单金额、下单次数等。
在 DWD 层，以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的 明细层事实表。事实表可做适当的宽表化处理。

3.3 DWS 层 （各个主题一天发生的行为数据）

主题：分析问题的角度（站在DWD中的维度）
统计各个主题对象的当天行为，服务于 DWT 层的主题宽表，以及一些业务明细数据， 应对特殊需求（例如，购买行为，统计商品复购率）。

3.4 DWT 层 （从用户或商品产生到当前时刻累积的数据）

以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建主题对象的全量宽表(累计过程)

3.5 ADS 层 （分析具体报表，直观数据）

对电商系统各大主题指标分别进行分析。