HBase系列-RegionServer管理region数量上限

RegionServer管理region数量上限

在生产场景中，如果拥有大量数据，通常会关注每台服务器可以拥有的最大region数。region的最大数量主要由memstore内存使用量决定。每个region都有自己的memstore，memstore大小可配置，通常在128-256 MB范围内，请参阅hbase.hregion.memstore.flush.size。每个列族存在一个memstore（因此，如果表中有一个CF，则每个region只有一个memstore）。 RS将总内存的一小部分专用于memstore存储（请参阅hbase.regionserver.global.memstore.size）。如果超出此内存（memstore使用率过高），则可能会导致不良后果，例如无响应的服务器或压缩风暴。每个RS的region数量（假设一个表）的上限建议如下：

((RS memory) * (total memstore fraction)) / ((memstore size)*(# column families))

这个公式是伪代码。以下是使用实际可调参数的两个公式，HBase 0.98+按照第一个计算，HBase 0.94.x按照第二个计算
HBase 0.98.x

（（RS Xmx）* hbase.regionserver.global.memstore.size）/（hbase.hregion.memstore.flush.size *（＃column families））

HBase 0.94.x

((RS Xmx) * hbase.regionserver.global.memstore.upperLimit) / (hbase.hregion.memstore.flush.size * (# column families))

如果给定的RegionServer具有16 GB的RAM，并且使用默认设置，则利用公式（HBase 0.98.x）公式计算region个数为：16384 * 0.4 / 128 约为51个region。通常可以上限region数量可以是计算出来的2~3倍，那么每个RegionServer管理的region的上限为 150个。

参考
HBase 官方文档