Hive中的数据分层

理论上一般分为三个层:ODS数据运营层、DW数据仓库层、ADS数据服务层。基于这个基础分层之上,再提交信息的层次,来满足不同的业务需求。

1.1数据运营层(ODS):原始数据

 ODS:Operation Data Store 数据准备区,也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份,称为ODS层,是后续数据仓库加工数据的来源。
ODS层数据的来源方式:

  1. 业务库 : 经常会使用sqoop来抽取,例如每天定时抽取一次。
    实时方面,可以考虑用canal监听mysql的binlog,实时接入即可。
  2. 埋点日志 :  日志一般以文件的形式保存,可以选择用flume定时同步
    可以用spark streaming或者Flink来实时接入
  3. 消息队列:即来自ActiveMQ、Kafka的数据等.

1.2数据仓库层(DW):数据清洗,建模

  DW数据分层,由下到上为DWD(数据明细层),DWM(数据中间层),DWS(数据服务层)。从 ODS 层中获得的数据按照主题建立各种数据模型。这一层和维度建模会有比较深的联系。

  1.DWD:data warehouse details 细节数据层,是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。(依企业业务需求)
数据清洗:去除空值、脏数据、超过极限范围的

这一层主要是保证数据的质量和完整,方便后续层中特征分析
  2.DWM:也有的称为DWB(data warehouse base) 数据基础层,对数据进行轻度聚合,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。

  这里最容易搞混,实际生产中甚至跳过这个,只有dwd和dws层,其实严格要求上来讲,dwd层数据来源于生产系统,只对数据负责,别的不考虑。而到了dwm层,已经开始向我们的业务层靠拢,要根据数据来进行分析和轻度聚合,进行细粒度统计和沉淀。
  3.DWS:data warehouse service 数据服务层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据层,一般是宽表。按照业务进行划分:流量、用户、订单....用于提供后续的业务查询,OLAP分析,数据分发等。

3.3数据服务层/应用层(ADS):出报表

  ADS:applicationData Service应用数据服务,该层主要是提供数据产品和数据分析使用的数据,一般会存储在ES、mysql等系统中供线上系统使用。
我们通过说的报表数据,或者说那种大宽表,一般就放在这里。

总结:

  1. 原始数据拉取过来,保持和元数据同步,不做处理形成ODS层;

  2. 基于ODS层,保持数据原始粒度,对数据加工和处理(也就是清洗),提供干净的数据作DWD层;

  3. 根据ODS和DWD层数据,进行轻度汇总,保留较多维度,形成DWM层;

  4. 基于以上所有DW层数据,进行高度汇总,形成DWS层。

你可能感兴趣的:(大数据,hive,数据仓库)