HBase Minor Compaction和Major Compaction

背景

HBase在将数据落盘到HDFS上之后，为了解决小文件并提高数据访问效率，定义了两种方式来合并HFile文件。

1. Minor Compaction

控制Minor Compaction的几个参数及说明：

参数名	默认值	描述信息
hbase.hstore.compaction.min	3	表示至少要有三个文件满足minor合并要求时才会启动minor合并
hbase.hstore.compaction.mix	10	表示一次minor合并最多选择10个store file进行合并
hbase.hstore.compaction.min.size		小于该值的store file一定会被选入到minor compaction中
hbase.hstore.compaction.mix.size		大于该值的store file一定不会被选入到minor compaction中
hbase.hstore.compaction.ratio	1.2	将store file按落盘时间排序，minor compaction总是从older store file开始选择，如果该文件的size小于后面hbase.hstore.compaction.max个store file文件总和乘以hbase.hstore.compaction.ratio的值，那么该store file将加入到minor store中，同时要满足hbase.hstore.compaction.mix规定的条件才会启动minor compaction.

2. Major Compaction

触发Major Compaction的三种方法：

1. 在命令行中使用命令major_compact

2. 使用API majorCompact()

3. Region Server 自动运行

如果采用自动运行，则控制Major Compaction的几个参数及说明如下：

参数名	默认值	描述信息
hbase.hregion.majorcompaction	24	当启动region server自动运行major compaction时的运行周期
hbase.hregion.majorcompaction.jetter	0.2	为防止region server在同一时间运行major compaction，运行周期浮动错开同时运行情况.

24-24*0.2=19.2

24+0.2*24=28.8

所以Major Compaction 19.2~28.8小时运行一次