数据仓库设计规范

数据仓库设计规范

一、模型层次结构

ODS 原始数据层

由业务方生成的原始数据，直接放入原始数据层

如果需要查原始日志可以从ODS层进行检查

DWD 仓库明细层

是对原始数据层的提炼和清洗，这一层注重对原始数据的清洗和简单汇总

DWB 仓库核心明细层

这一层主要是还是明细，在这一层中，可以和其他的维表进行关联，进而产生产品经理或分析师较为关注的字段

DWS 仓库核心汇总

在这一层中，主要是汇总信息，比如统计ID访问次数，PC登陆人数等汇总后的统计信息

ST / DIM 应用层

主要用于业务部门使用，该层是最后一层，也是终端展示层

二、表的命名规范

第一个字段：T 和TMP

T: T表为临时表的一种，一般T表只会保留最近一段时间的数据。现在大部分CBAS的表都为这种类型，保留最近的一段时间，该表多为日志明细表，数据量大，保存时间短，这种表保存时间短，该表内的汇总信息会长时间保存。

针对T表，后缀内容需要注意

分表后缀由两个字母组成,结构及含义如下：[时间周期 D, W, T, M, Q, Y][增量S/全量D]

DD：标示该表是按日运行生成,任何一个分区都保存当前的全量明细数据,即最新分区即可取到最新的全量数据。

MS：标示该表是按月运行生成,任何一个分区保存当前数据周期计算数据,即一个分区对应该数据日期当日的增量或汇总数据。

TMP：tmp表是一个完整的php脚本执行过程中使用的临时表，每个php脚本中都可以根据需要设置若干个tmp表

tmp表的名字具有唯一性

tmp表的使用具有独占性，即一个tmp表只能被一个php脚本使用，生命周期在该php内。

php脚本执行前，需要先清空所有用到的tmp表（分区）

tmp表命名规则：

[tmp][php脚本名称][序号] tmp_dws_biz_operate_base_ds_01

第二个字段：模型层次

遵循仓库模型架构定义的层次结构命名

如ODS, DWD, DWB,DWS, DM,ST……

第三个字段：主题

用户(CRD) 用户信息,标签等以用户(不包括游客)为维度的数据集合

订单(ORD) 交易购买行为,包括购买的产品,基金,股票等

行为(ACT) 用户(包括游客)在网页,PC客户端,app,股灵通等平台或者产品上的行为基础数据,通用的行为分析数据

产品/业务(BIZ) 各产品或业务的基础层独立数据,特别分析数据,包括效果分析等,如果是较为通用的行为分析,可以放到行为主题中

其它(OTH) 只有公共类维表等与业务无关的小数据表可以放到该主题中,如dim_oth_pub_date

客服(CRM) 客服工作量等客服相关,或者给客服提供的服务数据

第四个字段：有意义的名字

取业务相关的名称即可

三、建表规范

建表时使用三种字段类型

string（字符串）

bigint（长整型，用于金额等字段类型，如金额单位为元，从dwb层开始需要转换成分）

double（仅用于服务费率等含小数字段类型,以及源系统单位是元的同步数据）

除tmp表之外，一律建成外部表

表数据存储格式一律用textfile，非压缩，字段间用制表符（\t）分割，行间隔用换行符（\n）分割

如果采用分区表，分区字段定义为p_date；除维表（dim）之外，其余表建成分区表（使用时需要避免全表扫描）

建表语句模板：

CREATE EXTERNAL TABLE dim_oth_stock_code

(

stock_code string

,stock_name string

,stock_parent_id string

,begin_date string

,end_date string

,gmt_ins string

)

partitioned by (p_date string)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘\t’

STORED AS TEXTFILE

LOCATION ‘/user/hive/warehouse/dim/oth/dim_oth_stock_code’

;

alter table dim_oth_stock_code set serdeproperties(‘serialization.null.format’ = ‘’);

四、数据格式

日期格式字段统一使用yyyymmdd的格式，类型使用string

Timestamp格式字段统一使用yyyy-mm-dd hh24:mi:ss的格式，类型使用string,hive处理时会自动做为时间型数据来处理

如建成分区表，分区字段p_date格式为“yyyymmdd”

五、数据仓库存储结构

HADOOP目录/ 模型层次/ 主题域

例：

/user/hive/warehouse/ods(dwd、dwb、dws、dm、st、dim、t、tmp…)/crd(ord、act、biz、oth、crm…)/dim_oth_stock_code/p_date=20141031/

六、PHP调度脚本规范

php程序命名

ETL清洗任务: [目标表名].php

程序名称一律小写

   例：

   目标表：              dim_oth_stock_code

   对应的php名称：       /dim_oth_stock_code/dim_oth_stock_code.php

特殊情况

多个php脚本往一个表生成数据，通过[目标表名]+[序列号].php 实现

   例：

   dim_oth_stock_code_1.php

   dim_oth_stock_code_2.php

具体可见PHP 模板

七、常用HQL语句模板

常用建表语句模板

CREATE TABLE tmp_dim_biz_percentile_period

(

report_date string

,sec_desc string

,amt_per_00 string

,amt_per_01 string

,amt_per_02 string

,amt_per_03 string

,amt_per_04 string

,amt_per_05 string

,amt_per_06 string

,amt_per_07 string

,amt_per_08 string

,amt_per_09 string

,amt_per_10 string

,gmt_ins string

)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘\t’

STORED AS TEXTFILE

LOCATION ‘/user/hive/warehouse/dim/biz/tmp_dim_biz_percentile_period’

;

alter table tmp_dim_biz_percentile_period set serdeproperties(‘serialization.null.format’ = ‘’);

常用ETL插入表数据语句模板

insert overwrite table dim_biz_percentile_period partition(p_date)

select report_date

   ,sec_desc

   ,amt_per_00

   ,amt_per_01

   ,amt_per_02

   ,amt_per_03

   ,amt_per_04

   ,amt_per_05

   ,amt_per_06

   ,amt_per_07

   ,amt_per_08

   ,amt_per_09

   ,amt_per_10

   ,from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') as gmt_ins

   ,a.report_date as p_date

from tmp_dim_biz_percentile_period a

where a.report_date is not null