Hbase 2.x Region in Transition (永久RIT) 异常解决

环境

Hbase 版本：2.1.0（CDH6.2.0）

问题原因

服务器由于云的错误启动，导致大数据环境上超过半数的机器都出现了磁盘问题或者操作系统故障，导致HDFS上文件块损坏、Hbase 存在HDFS上的数据块损坏，清理HDFS上的数据导致Hbase Region上的数据出现不一致情况。
出现RIT问题的Region在HDFS上的路径已经被删除，zookeeper下未找到相关节点的信息，但是Hbase meta表依然保留了该HTable的信息，Hbase在启动时按meta表中的数据去open Region，发现该Region有如下问题No HDFS region dir found:，无法open Region，导致Hbase陷入永久Region in Transition问题。

Hbase Region in transition (RIT) 异常解决：	
https://datamining.blog.csdn.net/article/details/83012500
表删除后，执行assgin 会提示超时，表的Region不存在无法执行 该命令。

解决方法

Hbase 2.x 版本 RIT信息已经不再Zookeeper中保存
AssignmentManagerV2：https://yq.aliyun.com/articles/601096

• 1、首先我们删除 hbase:meta 中的region元信息，该表已经不再在了，元信息也是没有用的垃圾数据。
  
  上图框中的内容就是存在 meta表中的rowkey，我们直接去删除就可以

• 2、删除meta表数据

## 删除meta表数据
hbase(main):001:0> deleteall 'hbase:meta','KYLIN_HWXQTTYU05,,1568778674387.ba6a12829e066958226754e5d76791e2.'
Took 0.7435 seconds                                                                                                                           
hbase(main):002:0> deleteall 'hbase:meta','KYLIN_CNJJRE3KX1,,1567394580077.eb35470f15e4bb228262a54169d92c63.'
Took 0.0232 seconds

• 3、停止Hbase服务

• 4、删除/hbase/MasterProcWALs 下的文件，
  不删除该文件，master重启后还是会读取该日志文件，删除前请先备份。

hdfs dfs -rm /hbase/MasterProcWALs/*

我们大概看下内容，发现包含RIT的信息 。

如果不删除该日志文件，我们重启master服务，会发现RIT还是存在，但是state变成了OFFLINE，server 变成 null

• 5、重启Hbase

发现已经没有RIT问题了，并且Hbase上出问题的相关表也消失了。

• 6、进入hbase sehll平衡节点

hbase(main):004:0> balancer
true                                                                                                                                          
Took 159.5604 seconds  

总结

当RIT发生的时候，是执行不了 balance 的，所以永久RIT的状况要及时解决。

正常使用情况下的RIT问题基本不需要处理，这种永久性RIT问题出现的频率不会很高，删除元数据需谨慎，最好在测试环境测试后，再在生产环境使用。

参考文章：
https://blog.csdn.net/zhangshenghang/article/details/104835735