数据整合以及管理体系

面对爆炸式增长的数据，如何建设高效的数据模型和，对这些数据进行有序和有结构的分类和，避免和，保证数据的规范性，一直是大数据系统建设不断追求的方向。

如何快速上手工作： 从业务架构设计到模型设计，从数据研发到数据服务

规范化

建设统一的、规范化的数据集接入层（ODS）和数据中间层（DWD 、DWS）, 通过数据服务和数据产品，完成数据公共层建设

体系架构

a087d1a7e0e0678598802dc82a37345.jpg

899e448e554bf668f69af68988b3862.jpg

主体域划分：
主题域
数据域
业务过程
时间周期
修饰类型
修饰词
度量/ 原子指标
维度
维度属性

指标体系：
原子指标
派生指标：源自指标、时间周期修饰词
衍生指标

模型设计

数据模型分为三层：操作数据层ODS、公共维度模型层CDM （包括明细数据层DWD、汇总数据层DWS） 、应用数据层ADS

0057a2d5-df7d-46fd-87d1-e881605918dc.jpg

DIM层（维度数据）横跨了DWS 和 DWD

公共维度模型层CDM：存放明细事实数据（DWD）、维度数据（DIM）、公共指标汇总数据（DWS），其中DWD、DIM一般根据ODS层数据加工生成，DWS一般根据DWD、DIM加工生成

43920978155e4f354fd383c756d2130.jpg

数据调用服务优先使用公共维度曾（CDM）数据，当公共层没有数据时，需要评估是否需要创建公共层数据，当不需要建设公用的公共层时，方可使用操作数据层（ODS），应用数据层（ADS）作为餐品持有的个性化数据一般不对外提供数据服务，但是ADS作为被服务方也需要遵守这个约定