学习笔记-大数据之路-数据模型篇-数据整合及管理体系-模型设计

9.3，模型设计

9.3.1，指导理论

维度建模为基础，构建一致性的维度和事实

9.3.2，模型层次

三层结构
操作数据层（ ODS ）
公共维度模型层（ CDM ）
应用数据层（ ADS ）
其中
CDM包括明细数据层（ DWD ）和汇总数据层（ DWS ）

各层详细说明
ODS层：业务数据和日志数据等需要存储分析的数据无处理地存放在数据仓库系统中；
CDM层：存放明细事实数据、维表数据及公共指标汇总数据。其中明细事实数据、维表数据一般根据 ODS 层数据加工生成 ；公共指标汇总数据根据维表数据和明细事实数据加工生成。
ADS层：存放数据产品个性化的统计指标数据，根据CDM层与 ODS 层加工生成
模型架构图

说明：数据调用服务优先使用CDM层，若CDM层没有所需数据，需要评估是否创建公共层数据，当不需要创建，才可以直接使用ODS层数据。ADS层一般不对外提供服务

9.3.3，基本原则

高内聚和低耦合
数据业务特性：将业务相近或者相关、粒度相同的数据设计为一个逻辑或者物理模型
访问特性：将高概率同时访问的数据放一起 ，将低概率同时访问的数据分开存储。
核心模型与扩展模型分离
核心模型包括的字段支持常用的核心业务
扩展模型包括的字段支持个性化或少量应用的需要
避免扩展模型字段过度侵入核心模型
公共处理逻辑下沉及单一
核心就是底层处理逻辑应该在底层进行封装实现，不能让公共逻辑多处存在
成本与性能平衡
也就是常说的性价比最高
数据可回滚
数据脚本多次运行最后的结果数据不变
一致性
具有相同含义的字段在不同表中的命名必须相同，必须使用规范定义中的名称
命名清晰、可理解
表命名需清晰、一致，表名需易于消费者理解和使用

我是dyson不只是吹风机，若是对大数据-数据仓库技术感兴趣的可以加我沟通交流，一起进步。VX：daijun1211

ps：若文章侵权、触犯隐私请联系作者删除，谢谢~~