hive拉链表

什么是拉链表

拉链表是数据仓库中用来

记录一个事务从开始，一直到当前状态的所有变化的信息表

如下是一张拉链表

这张拉链表中存储的是

用户的基本信息 以及 每条记录的生命周期
我们可以使用这张表拿到当天的最新数据以及之前的历史数据

拉链表使用场景
在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计：

有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超过100G，在HDFS使用双备份或者三备份的就会更大。
表中的部分字段会被update更新操作，如用户联系方式，产品的描述信息，订单的状态等等。
需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态
表中的记录变化的比例和频率不是很大，比如，总共有10亿的用户，每天新增和发生变化的有200万左右，变化的比例占的很小。

对于这种表我们有以下几种方案：
方案一：每天只留最新的一份数据，比如我们每天用sqoop抽取最新的一份全量数据到Hive中
方法二：每天保留一份全量的切片数据
方案三：使用拉链表

方案一实现简单，节省空间，但是没有历史数据
方案二每天保留一份全量的切片可以保留历史数据，但是非常的占用存储空间
方案三
拉链表需要在表的后面加上两条记录数据生命周期的字段，一个字段为数据开始时间，一个字段为数据结束时间
拉链表在空间上做了取舍，既能获取最新数据，也能添加筛选条件获取历史数据