数据仓库第二讲-数据仓库建模

数据仓库建模

  • 1.ODS层建模方法
  • 2.DIM层和DWD层
  • 3. DWS层与DWT层
  • 4.ADS

1.ODS层建模方法

1.HDFS用户行为数据
创建一个表日志表,里面只需要一个字段就行了。这个表然后就是按天分区。每天日志采集。每天数据
2.HDFS业务数据–sqoop同步mysql的数据
1.同步那些表就建立那些表
2.表结构,需要哪些同步那些表的字段。
按天进行分区。

2.DIM层和DWD层

DIM层DWD层需构建维度模型,一般采用星型模型,呈现的状态一般为星座模型。 DIM 对应的是维度表,DWD对应的是事实表
维度建模一般按照以下四个步骤:
选择业务过程→声明粒度→确认维度→确认事实。
1)选择业务过程。–确定事实表
挑选我们感兴趣的业务线,比如下单业务,支付业务,退款业务,物流业务,一条业务线对应一张事实表。
2) 声明粒度
数据粒度指数据仓库的数据中保存数据的细化程度。
支付事实表中一行数据表示的是一个支付记录。
3)确定维度。–维度外键
维度的主要作用是描述业务是事实,主要表示的是“谁,何处,何时”等信息。需要确定的维度就包括:时间维度、地区维度、用户维度。
4 )确定事实
此处的“事实”一词&#x

你可能感兴趣的:(数据仓库,数据仓库,big,data,hadoop)