数仓分层理论和应用

一、数据分层概念及用途
1.数据运营层:ODS(Operational Data Store),数据来源经过ETL存入hive后就是ODS层。
2.数仓:ODS经过按照主题建立各种数据模型,细分如下:
1)数据明细层:DWD(Data Warehouse Detail),按照业务处理方式将各个专业数据进行集中,保证数据完整性和质量。
2)数据中间层:DWM(Data WareHouse Middle),对DWD层的生产数据进行轻度综合和汇总统计,面向分析型应用对数据进行细粒度沉淀,保留的维度较多。
3)数据服务层:DWS(Data WareHouse Servce)即数据集市或宽表,高度集中,按照业务划分生成字段较多宽表,提供给业务查询,OLAP分析,数据分发。
3.App产品应用层:从数据集市获取数据查询统计展现或导入Mysql使用,服务于特定场景。

二、数据来源
1.业务数据库:使用sqoop抽取
2.埋点日志:通过flume定时抽取,或spark streaming实时抽取,一般日志通过filebeat收取发到kafka获取
一般需要进行简单清晰处理,如异常字段处理,统一规范,时间字段统一等。

三、主题
主题是高层次对企业数据信息进行综合,归类,分析利用的概念。每个主题对应一个分析领域。

你可能感兴趣的:(大数据)