学大数据&数据分析?那数据仓库分层你不得不清楚!

一、数据仓库分几层?每层做什么?
image.png

(1)ODS层(Operation Data Store):原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。
(2)DWD层(Data Warehouse Detail):明细数据层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据)。
(3)DWS层(Data Warehouse Service):服务数据层,以DWD为基础,进行轻度汇总。
(4)ADS层(Application Data Store):数据应用层,为各种统计报表提供数据

二、数据仓库为什么要分层?

(1)把复杂问题简单化
将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单、并且方便定位问题。

(2)减少重复开发
规范数据分层,通过中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。

(3)隔离原始数据
不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开。

三、数据仓库层级关系示例图
image.png

你可能感兴趣的:(学大数据&数据分析?那数据仓库分层你不得不清楚!)