数仓入门基础-5-数仓建模

个人博客：https://renwula.github.io/，本系列基于互联网公司数仓，使用hive搭建数仓

---

      从业中，数仓建模是一个数仓工程师需要的必备的能力，优秀的分层设计能够让整个数据体系更易理解和使用。所以想入行数仓数仓分层是需要补一补的，才能知道分层的意义。

很多人都不理解为什么分层，分层的意义是什么，分层有这么重要吗？是的就是这么重要，说一下我的理解：

>1.理清业务数据：随着数据量和业务数据表的不断扩张，需要我们理清数据作用域，就是做什么的，可以清晰的找到数据来源。

>2.避免重复计算：为了避免多次计算，多次关联多张表，分层可以保存中间结果，减小开发成本。

>3.增加数据使用便捷性：仓库层的设计，让数据能分析，好分析，能支持大部分的数据需求。

>4.避免数据分歧：统一数据口径，保证数据质量，避免出现统一指标多种概念。

比较通用的简单的维度建模分层，分为三层：

 

 

 一、ODS层，操作数据层

把操作系统的数据几乎无处理的存放在数仓中，主要有以下工作：

1.将业务结构化数据增量或全量的同步进来；

2.将日志等非结构化的数据结构化处理后落地到数仓中；

3.累计历史数据，根据数据业务需求、审计等要求保存历史数据、清洗数据，保留的数据快照也便于回溯问题。

二、CDM层，公共维度模型层

存放明细事实数据、维度数据及公共指标汇总数据，统一口径，保持数据一致性，减少数据重复计算，CDM层分为DWD层和DWS层。

1.DWD层,明细数据层

dwd层对业务数据进行清洗、规范化，例如去除作弊数据，对数据字段进行规范命名从而避免歧义化等，另外可采用维度退化手段，将维度退化到事实表中，减少事实表与维度表的关联，提高明细表的易用性。

2.DWS层,汇总数据层

dws层，加强指标的维度退化，采用更多的宽表化的手段构建公共指标数据层，提升公共指标的复用性，减少重复加工。

三、ADS层，应用数据层

ads层存放数据进行个性化的指标计算，不共用性、复杂性（指数型、比值型、排名型）等，会基于应用数据组装，像大宽表集市、横标转纵表、趋势指标串等，另外由于ADS某些指标具有个性化的特点，尽量不对外提供服务。

举个例子

 

 

1.ods层会将各种日志数据及业务库中数据或者其他一些数据，进行数据落地。

2.dwd层，像用户登录表，会做以下一些操作

>2.1去除爬虫等异常数据，保持数据质量

>2.2规范统一数据字段

>2.3拆解需拆解的字段

>2.4融合各端数据

3.dws层，像用户主题表，会做以下一些操作

>3.1统计操作轨迹用户数数据

>3.2统计用户购买商品数，登录次数，订单数，退货数，

>3.3增加用户维度，时间维度

4.ads层，像用户转化漏斗，可以利用dws层数据进行维度分析，分析漏斗，为产品做决策

建模的基本原则

    简单讲建模的一些原则，在建模的考虑中需要加以考虑，避免后续遇到大坑措手不及，而不要简单的为了建模而建模。

1.高内聚&&低耦合

主要从数据业务特性和访问特性两个角度来考虑:

将业务相近或者相关、粒度相同的数据设计为一个逻辑或者物理模型；

将高概率同时访问的数据放一起 ，将低概率同时访问的数据分开存储。

2.核心模型与扩展模型分离

核心模型包括的宇段支持常用的核心业务，扩展模型包括的字段支持个性化或少量应用的需要，不要让扩展模型包括的字段过多的入侵核心模型，破坏核心模型的性能及简洁等

 3.存储成本与计算性能均衡

在很多时候，设计可能清晰，但存储成本很高，或存储成本很小但计算逻辑复杂，性能差，都需要做一个比较，做到均衡，而非执意孤行。

4.公共逻辑下沉及统一

避免重复计算，需将公共逻辑在底层实现并统一口径

5.幂等性

处理逻辑不变，多次执行结果需保持一致。

6.规范性

相同含义字段需在多表中命名一致，表命名需清晰规范，便于查询及使用，后续将统一讲数仓规范。

    吼吼！！公众号开通了，保持每周至少更新一篇，立帖为证！！！
    另外公众号会定期分享一些免费视频与书籍，以供大家参考学习。
    本次分享的是廖雪峰 【大数据分析全栈工程师】视频课程（据说价值8000RMB），费了牛劲才搞到的，不要问我咋弄到的，关注公众号，回复【资源】即可获得相关链接吼~