居然两个NameNode都是备用,见了鬼了

@解决NameNode切换过程中出现两个备用
先来看图:
居然两个NameNode都是备用,见了鬼了_第1张图片
版本:CDH:5.7.1
起因:1.一周前,ZK出现无缘无故的抖动,导致HBase一个计算节点挂掉了
居然两个NameNode都是备用,见了鬼了_第2张图片
紧接着,这周出现该节点Redis频繁告警:
居然两个NameNode都是备用,见了鬼了_第3张图片
查看服务器CPU,内存使用均正常。怀疑是磁盘IO。
果然磁盘IO 100%
在这里插入图片描述
想装个iotop看下具体哪个进程引起的,结果yum的时候直接没响应
那么先把该服务器上重要的CDH节点先迁移走:
NameNode迁移完成之后出现了2个备用,没有主节点。
问题肯定是由于该服务器磁盘IO高,导致迁移的时候响应比较慢。
有些操作显示完成了,实际没有完成,导致HA的锁机制失效
于是查看ZK中的HA节点:
当时没有截图,
get /hadoop-ha/nameservice1/ActiveBreadCrumb
显示的hostname还是我的故障机的名字。
直接删除:
居然两个NameNode都是备用,见了鬼了_第4张图片
然后用CDH节目触发HA:
居然两个NameNode都是备用,见了鬼了_第5张图片
问题解决!
居然两个NameNode都是备用,见了鬼了_第6张图片
之后停止了Yarn,HBase等,减轻了服务器压力。
做了一些其他的数据转移工作。最后更换了磁盘。

你可能感兴趣的:(CDH)