无法启动datanode,log提示impatiable cluster IDs

问题产生及其原因

datanode数据节点无法启动,日志提示为cluster ID有冲突,具体为namenodecluster IDdatanodecluster ID不一致。

产生原因之一为,多次格式化namenode,即多次执行过以下命令:

hdfs namenode -format

这造成namenode cluster ID产生更新,而原来datanodecluster ID没有发生变化,因而冲突。

以上情形的典型标志是,第一次启动集群成功,后续启动失败。

解决方法

datanode的cluster ID修改为与namenode的一致。修改后继续按照正常的三步程序即可启动集群。

那么如何修改呢?在hdfs-site.xml找到存储namenodedatanodeVERSION文件,将namenodecluster ID覆盖掉datanodeVERSION文件中的cluster ID。需要覆盖的内容包含主节点和从节点的datanodeVERSION文件。

多说一句

一般集群namenode只格式化一次的,别动不动就格式化namenode。关机记得按照正常程序关闭集群,开机按照正常程序开启集群,千万别偷懒。

你可能感兴趣的:(大数据,hadoop,大数据)