HBase 计划外启动 Major Compaction 的原因

HBase 的 Compaction 有两个线程池,一个是为 Minor Compaction 准备的, 一个是为 Major Compaction 准备的,hbase.regionserver.thread.compaction.throttle 是决定 Compaction 请求放入哪个线程池的阈值,当待合并文件的总大小小于这个阈值时,就是一个 Minor Compaction,当待合并文件的总大小大于这个阈值时,就是一个 Major Compaction。这个阈值的默认值是:2.5 GB (2684354560 Bytes), 这是基于以下方式计算得到的:

2 × hbase.hstore.compaction.max(StoreFile文件数量,默认10个) × hbase.hregion.memstore.flush.size (StoreFile文件大小,默认128MB)= 2.5 GB

所以,有时候我们可能会发现:虽然集群已经 Disabled 了周期性自动 Compaction,但是在日志中依然会发现有:Completed major compaction ... 字样的信息,也就是说:确实发生了 Major Compaction,原因就是上面的提到的这种情况。

如果想避免这种计划外的 Compaction(全部手动触发),可以:

  1. 调大:hbase.regionserver.thread.compaction.throttle (默认是2.5GB)
  2. 调小:hbase.hstore.compaction.max

你可能感兴趣的:(付费专栏,hbase,major,compaction,阈值)