书仓介绍

1.ODS层 
ODS层中的数据全部来自于业务数据库,ODS层的表格也业务数据库中的表格一一对应
由于业务数据库(OLTP)基本按照ER实体模型建模,因此ODS层中的建模方式也是ER实体模型。

2.DW层
DWD层要做的就是将数据清理、整合、规范化、脏数据、垃圾数据、规范不一致的、状态定义不一致的、命名不规范的数据都会被处理。
DWD层应该是覆盖所有系统的、完整的、干净的、具有一致性的数据层。
在DWD层会根据维度模型,设计事实表和维度表,也就是说DWD层是一个非常规范的、高质量的、可信的数据明细层。
DWS层为公共汇总层,会进行轻度汇总,粒度比明细数据稍粗,基于DWD层上的基础数据,整合汇总成分析某一个主题域的服务数据,一般是宽表。
DWS层应覆盖80%的应用场景。

3.DM层 
DM层为数据集市层,面向特定主题。
在DM层完成报表或者指标的统计,DM层已经不包含明细数据,是粗粒度的汇总数据。
DM层是针对某一个业务领域建立模型,具体用户(一般为决策层)查看DM层生成的报表。


1.表名命名规范
为了让数据所有相关方对于表包含的信息有一个共同的认知。比如说属于哪一层(ODS、DW明细、DW汇总、DM)?
哪个业务/部门?
哪个维度(用户、车机设备)?
哪个时间跨度(天、月、年、实时)?
增量还是全量?
命名格式:层次_业务/部门_修饰/描述_范围/周期

你可能感兴趣的:(hive)