11.2 本地memstore分配缓冲区

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、 生存期长的keyvalue实例刷写到磁盘中--》老生代堆上生成孔洞-》孔洞越来越多,无法足够大的连续空间分配-》JRE使用 stop-the-world垃圾回收器-》重写整个堆空间,并压缩剩余可用对象

二、 解决以上问题的方法 :

  0.92版本后使用 本地memstore分配缓冲区(memstore-local allocation buffer) MSLAB

  即,从堆中分配同样大小的对象,当最终被回收时,堆中将留下固定大小的孔洞。

三、配置文件中 配置:

  1 通过hbase.hregion.memstore.mslab.enabled 来配置

  2 分配缓冲区大小:hbase.hregion.memstore.mslab.chunksize ,默认是2M,且是合理的。

    根据自己的keyvalue实例大小来调整。

  3 存储缓冲区上边界:hbase.hregion.memstore.mslab.max.allocation 属性,默认256kb,

    超过这个值,直接在java堆中申请空间。

四 优缺点:

   优点:推迟垃圾回收停顿的发生 

   缺点:1 浪费堆空间,不能充分利用

            2 使用缓冲区需要额外的内存复制工作,比直接使用keyvalues实例

转载于:https://my.oschina.net/u/1537182/blog/270627

你可能感兴趣的:(11.2 本地memstore分配缓冲区)