ROOT不在线的另外一种原因及解决办法

转载请声明出处：http://blackwing.iteye.com/blog/1914898

近来hbase总是不稳定，运行一两天后，就会发现-ROOT-不在线，代码连接读表，会有一下报错：

Unable to find region xxxx,,99999999999999 after 10 tries

而rs打印出来的log则有以下错误：

org.apache.hadoop.hbase.NotServingRegionException: Region is not online: -ROOT-„0

有老外说这其实是客户端问题，原因是本地的host列表中没有添加全部rs节点域名，但当把全部rs的host添加到/etc/hosts中后，问题依旧。

据观察，当发生ROOT不在线时，hbase web界面的Regions in Transition列表中总有好几百个region在进行操作，根据淘宝文章的提示，应该是此时hbase在进行balancer，而导致ROOT下线（淘宝文章说balance时region会短暂下线，但不知为何ROOT也下线而且起不来），而只需要禁用balance，之后在压力小的时候，如凌晨，在启动balance就行。

看过HMaster源码，发现hbase.balancer.period不能通过设成负数或者0来禁用，所以只有把它设成int的最大值，月24天，之后通过crontab实现凌晨balance：
在master的hbase-site.xml中增加以下设置：

<property>
<name>hbase.balancer.period</name>
<value>2147483647</value>
</property>

之后定时任务balance：

0 4 * * * echo balancer|hbase shell

已经观察几天，hbase目前为止运行稳定。