行为数仓分层案例ODS& DWD& DWS&DM& ADS

本案例只是举例了一个通常的模型,有的项目会比现有的层数多或者少。

一、数仓分层

ODS: Operation Data Store
原始数据

DWD(数据清洗/DWI) data warehouse detail
数据明细详情,去除空值,脏数据,超过极限范围的
明细解析
具体表
PS:DWB: data warehouse base 基础数据层,有的会进一步细分额外加一层 ,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。

DWS(宽表-用户行为,轻度聚合) data warehouse service ----->有多少个宽表?多少个字段
服务层–留存-转化-GMV-复购率-日活
点赞、评论、收藏;
轻度聚合对DWD

ADS(APP/DAL/DF层):出报表结果 Application Data Store
做分析处理同步到RDBS数据库里边
DM层,数据集市:狭义ADS层; 广义上指DWD DWS ADS 从hadoop同步到RDBS的数据

二、数仓搭建之ODS & DWD

1)创建gmall数据库

hive (default)> create database

你可能感兴趣的:(大数据开发,数仓设计和数据处理)