hive中拉链表

在有些情况下，为了保持历史的一些状态，需要用拉链表来做，这样做目的在可以保留所有状态的情况下可以节省空间。

拉链表适用于以下几种情况吧

数据量有点大，表中某些字段有变化，但是呢变化的频率也不是很高，业务需求呢又需要统计这种变化状态，每天全量一份呢，有点不太现实，

不仅浪费了存储空间，有时可能业务统计也有点麻烦，这时，拉链表的作用就提现出来了，既节省空间，又满足了需求。

一般在数仓中通过增加begin_date,en_date来表示，如下例，后两列是start_date和end_date.

1  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-20
1  2016-08-20  2016-08-21  支付 2016-08-21  2016-08-21
1  2016-08-20  2016-08-22  完成 2016-08-22  9999-12-31
2  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-20
2  2016-08-20  2016-08-21  完成 2016-08-21  9999-12-31
3  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-21
3  2016-08-20  2016-08-22  支付 2016-08-22  9999-12-31
4  2016-08-21  2016-08-21  创建 2016-08-21  2016-08-21
4  2016-08-21  2016-08-22  支付 2016-08-22  9999-12-31
5  2016-08-22  2016-08-22  创建 2016-08-22  9999-12-31

begin_date表示该条记录的生命周期开始时间，end_date表示该条记录的生命周期结束时间；

end_date = ‘9999-12-31’表示该条记录目前处于有效状态；

如果查询当前所有有效的记录，则select * from order_his where dw_end_date = ‘9999-12-31′

如果查询2016-08-21的历史快照，则select * from order_his where begin_date <= ‘2016-08-21′ and end_date >= ‘2016-08-21’

再简单介绍一下拉链表的更新：

假设以天为维度，以每天的最后一个状态为当天的最终状态。

以一张订单表为例，如下是原始数据，每天的订单状态明细

1   2016-08-20  2016-08-20  创建
2   2016-08-20  2016-08-20  创建
3   2016-08-20  2016-08-20  创建
1   2016-08-20  2016-08-21  支付
2   2016-08-20  2016-08-21  完成
4   2016-08-21  2016-08-21  创建
1   2016-08-20  2016-08-22  完成
3   2016-08-20  2016-08-22  支付
4   2016-08-21  2016-08-22  支付
5   2016-08-22  2016-08-22  创建

根据拉链表我们希望得到的是

1  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-20
1  2016-08-20  2016-08-21  支付 2016-08-21  2016-08-21
1  2016-08-20  2016-08-22  完成 2016-08-22  9999-12-31
2  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-20
2  2016-08-20  2016-08-21  完成 2016-08-21  9999-12-31
3  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-21
3  2016-08-20  2016-08-22  支付 2016-08-22  9999-12-31
4  2016-08-21  2016-08-21  创建 2016-08-21  2016-08-21
4  2016-08-21  2016-08-22  支付 2016-08-22  9999-12-31
5  2016-08-22  2016-08-22  创建 2016-08-22  9999-12-31

可以看出 1，2，3，4每个订单的状态都有，并且也能统计到当前的有效状态。

本例以hive为例，只考虑到实现，与性能无关

首先创建表

CREATE  TABLE  orders (
orderid  INT ,
createtime STRING,
modifiedtime STRING,
status STRING
) row format delimited fields terminated  by  '\t'


CREATE  TABLE  ods_orders_inc (
orderid  INT ,
createtime STRING,
modifiedtime STRING,
status STRING
) PARTITIONED  BY  ( day  STRING)
row format delimited fields terminated  by  '\t'


CREATE  TABLE  dw_orders_his (
orderid  INT ,
createtime STRING,
modifiedtime STRING,
status STRING,
dw_start_date STRING,
dw_end_date STRING
) row format delimited fields terminated  by  '\t'  ;

首先全量更新，我们先到2016-08-20为止的数据。

初始化，先把2016-08-20的数据初始化进去

INSERT  overwrite  TABLE  ods_orders_inc PARTITION ( day  =  '2016-08-20' )
SELECT  orderid,createtime,modifiedtime,status
FROM  orders
WHERE  createtime <  '2016-08-21'  and  modifiedtime < '2016-08-21' ;

刷到dw中

INSERT  overwrite  TABLE  dw_orders_his
SELECT  orderid,createtime,modifiedtime,status,
createtime  AS  dw_start_date,
'9999-12-31'  AS  dw_end_date
FROM  ods_orders_inc
WHERE  day  =  '2016-08-20' ;

如下结果

select  *  from  dw_orders_his;
OK
1  2016-08-20  2016-08-20  创建 2016-08-20  9999-12-31
2  2016-08-20  2016-08-20  创建 2016-08-20  9999-12-31
3  2016-08-20  2016-08-20  创建 2016-08-20  9999-12-31

剩余需要进行增量更新

INSERT  overwrite  TABLE  ods_orders_inc PARTITION ( day  =  '2016-08-21' )
SELECT  orderid,createtime,modifiedtime,status
FROM  orders
WHERE  (createtime =  '2016-08-21'   and  modifiedtime =  '2016-08-21' )  OR  modifiedtime =  '2016-08-21' ;

select  *  from  ods_orders_inc  where  day = '2016-08-21' ;
OK
1  2016-08-20  2016-08-21  支付 2016-08-21
2  2016-08-20  2016-08-21  完成 2016-08-21
4  2016-08-21  2016-08-21  创建 2016-08-21

先放到增量表中，然后进行关联到一张临时表中，在插入到新表中

DROP  TABLE  IF EXISTS dw_orders_his_tmp;
CREATE  TABLE  dw_orders_his_tmp  AS
SELECT  orderid,
createtime,
modifiedtime,
status,
dw_start_date,
dw_end_date
FROM  (
    SELECT  a.orderid,
    a.createtime,
    a.modifiedtime,
    a.status,
    a.dw_start_date,
    CASE  WHEN  b.orderid  IS  NOT  NULL  AND  a.dw_end_date >  '2016-08-21'  THEN  '2016-08-21'  ELSE  a.dw_end_date  END  AS  dw_end_date
    FROM  dw_orders_his a
    left  outer  join  ( SELECT  *  FROM  ods_orders_inc  WHERE  day  =  '2016-08-21' ) b
    ON  (a.orderid = b.orderid)
    UNION  ALL
    SELECT  orderid,
    createtime,
    modifiedtime,
    status,
    modifiedtime  AS  dw_start_date,
    '9999-12-31'  AS  dw_end_date
    FROM  ods_orders_inc
    WHERE  day  =  '2016-08-21'
) x
ORDER  BY  orderid,dw_start_date;

INSERT  overwrite  TABLE  dw_orders_his
SELECT  *  FROM  dw_orders_his_tmp;

在根据上面步骤把2016-08-22号的数据更新进去，最后结果如下

select  *  from  dw_orders_his;
OK
1  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-20
1  2016-08-20  2016-08-21  支付 2016-08-21  2016-08-21
1  2016-08-20  2016-08-22  完成 2016-08-22  9999-12-31
2  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-20
2  2016-08-20  2016-08-21  完成 2016-08-21  9999-12-31
3  2016-08-20  2016-08-20  创建 2016-08-20  2016-08-21
3  2016-08-20  2016-08-22  支付 2016-08-22  9999-12-31
4  2016-08-21  2016-08-21  创建 2016-08-21  2016-08-21
4  2016-08-21  2016-08-22  支付 2016-08-22  9999-12-31
5  2016-08-22  2016-08-22  创建 2016-08-22  9999-12-31

至此，就得到了我们想要的数据。