CDH4 Scanner lease expired 错误

阅读更多

[b][/b]运行基于HBASE的时间较长的M/R任务时，Region Server报错如下：
早上4点01:46.222 INFO org.apache.hadoop.hbase.regionserver.HRegionServer Scanner -1644657804377547036 lease expired
网上有帖子说是因为scanner没有关闭导致（http://grokbase.com/t/cloudera/cdh-user/125xhtpx8v/lease-exception-readandprocess-scanner-lease-expired-errors），在代码中加入关闭，等待结果。

暂时没有起作用。

 

重MAP任务下，4G内存的机器没有运行map/reduce任务，但其Region Server全部死掉，证明两方面问题：

1. map任务占用内存较大

2. hbase占用的内存较大，当设置的heap size（默认为1G）太小时可能导致region server死掉

解决办法只有更换内存更大的机器。CPU性能对集群性能的影响未知。

 

map同时写todo和visited表时32G内存的机器也死了。。。

 

IO的消耗非常之大。