Hadoop体系-3数据应用体系

image.png

底层数据,通过数据抽取(ETL)将数据抽入Hadoop的仓库中,仓库通过HDFS文件格式来存放这些数据。
数仓数据分层大体有两种分法:

1、三层:DWD,DWB,DWS
DWD:data warehouse detail 细节数据层,有的也称为 ODS层,是业务层与数据仓库的隔离层
DWB:data warehouse base 基础数据层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。
DWS:data warehouse service 服务数据层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据,一般是宽表。

2、四层:ODS,DWD,DWS,ADS
ODS:原始日志数据
DWD:对原始日志数据做清洗
DWS:根据业务的数据需求对DWD日志类数据做转义,比如流量,启动,留存,日活,最终形成宽表
ADS:数据应用层数据,将DWS层数据分法到指定的数据应用层,供业务使用

DIM:维度信息表

数据应用同样是通过数据交换的工具,将数仓计算完成的数据,基本可以理解为DWS的数据分发到各个业务应用的数据库中。

这样就完成了数仓从原始数据到业务数据的整个流程。

你可能感兴趣的:(Hadoop体系-3数据应用体系)