* 数据仓库构建难点：
1.主题的准确划分，需要经常进行表的整合，有些表因为别人使用而无法废弃，表的数量越来越多
2.数据库每个主题都有多张表，对使用方需要维护一个表说明清单，查询指标需要依赖额外的工具平台（会查到很多非自身业务的无效信息）
3.不断增加的指标造成表的代码逻辑不断增大，关联表不断增加，性能下降，维护难度增加
4.多层次的模型，导致每增加一个指标都需要在多个层次的表中同步维护，人力成本高
5.hive无法删除字段，变更表结构要刷新分区
以上这些问题基本都是基于宽表造成的，所以可以换个思路用长表来解决。
* 设计思想：
一、数据仓库开发表
<1>开发层大长表
每个大主题有一张对应的长表，分支主题则基于label分区开发。一个主题下的所有特征都维护在一张长表中，多维度特征就整合为多层级的字典json格式。以最低的冗余度存储开发数据。
CREATE EXTERNAL TABLE `platform_dw.platform_dw_sr_dw_user_item_info`(
`user_id` bigint COMMENT '用户ID',
`attr_key` string COMMENT '项目名',
`attr_value` string COMMENT '项目内容')
PARTITIONED BY (
`dt` string,
`label` string)
<2>特征维度表
将数据集市所有特征信息以字典形式人工维护到一张表，对使用方能提供统一的特征接口，不用维护额外的文档管理数据表。
特征维度表也为整个集市的监控和综合信息表服务。开发者基于这张表也能够避免重复特征的开发，以及差异化特征的集中说明。主题的划分也是其重要功能。
CREATE EXTERNAL TABLE `platform_dw.platform_dw_sr_dim_feature_info`(
`feature_en` string COMMENT '特征英文名',
`feature_cn` string COMMENT '特征中文名',
`data_type` string COMMENT '数据类型',
`is_json` int COMMENT 'json格式标识',
`subject` string COMMENT '主题',
`partition_dev` string COMMENT '开发分区',
`task_id` string COMMENT '开发任务ID',
`owner` string COMMENT '所属者',
`update_time` string COMMENT '更新时间',
`description` string COMMENT '描述')
PARTITIONED BY (
`label` string)
<3>开发中难免需要落地一些实体表保留数据为后面提供支持
比如：
1.各大主题都需要一张控制数据量的主表，需要单独建立任务，方便后续依赖关系的维护
2.复用的轻度聚合表
二、综合信息表
基于前面的长表，建立一个将整个大主题汇总的表，除了主键其余字段全部拼接在一起处理为json格式（字典型），方便查询使用。
示例：
CREATE EXTERNAL TABLE `platform_dw.platform_dw_sr_dm_user_info`(
`user_id` bigint COMMENT '用户ID',
`info_json` string COMMENT '综合信息')
PARTITIONED BY (
`dt` string)
三、大宽表
长表无法直观查看是其一大缺点，综合信息表因为拼接格式问题缺乏稳定性，加之使用方习惯使用宽表格式，所以按照仓库的习惯对外提供一张大宽表，使用长表作为数据源，可以简单的维护和拓展特征。
示例：
insert overwrite table platform_dw.platform_dw_sr_dm_user_info_wide partition (dt='${day}')
select
user_id,
cast(max(case when attr_key='age' then attr_value end) as int) as age,
cast(max(case when attr_key='order_amt' then attr_value end) as double) as order_amt
from dm_user_item_info
where dt='${day}'
group by user_id
;
说明：大宽表因为涉及刷数据的问题，所以定期更新，如果急需使用刚开发的特征，也可以用上面的逻辑从长表里提取使用。
四、监控体系
1.对特征维表和开发层特征的监控，防止维表维护缺失，以及开发层特征生产丢失
2.对特征重复值、覆盖量的监控，可以有效监控特征的有效性，和开发时的特征名、开发分区覆盖情况
3.对大宽表和应用表的监控，监控其数量、主键重复和指标空值情况