第七章 数据仓库的链路优化

1、CDM概述

  • CDM:公共数据层,由DWD+DWS+ADS+DIM共同构成

(1)DWD核心:公共处理逻辑收敛和下沉

(2)DWS+ADS的核心:统一公共指标和公共维度,减少数据的不一致性

(3)DIM核心:建立整个业务范围内的一致性维度,并确保使用;

2、公用数据沉淀

  • CDM层需不断根据上游的数据需求,将公用数据沉淀到CDM层,为其他的数据需求提供服务,减少重复计算并统一口径,开发过程是不断迭代的

3、链路长度度量

(1)长度限制:CDM层链路不宜过长,如果过长,请考虑复用&重构;

(2)深度限制:CDM层链路深度不宜过大,单个任务连路控制在一小时以内,否则数据重跑时间成本过大;

4、查询优先级别

(1)ADS层和临时查询:优先使用CDM层数据

(2)若ODS层数据没有沉淀到CDM,则通过新建CDM层的视图访问

你可能感兴趣的:(#,离线数据仓库实战,数据仓库)