Hadoop集群启动后,在web:50070端口只有两个datanode节点

spark集群部署规划: 

hadoop1

master

worker

datanode

namenode secondarynamenode(hadoop) resourcemanager nodemanager(yarn)

hadoop2

worker

datanode nodemanager

hadoop3

worker

datanode nodemanager

问题引出:​​​​​​Hadoop集群启动后,使用jps查看进程均没问题,但是在Web50070端口上只显示了两个datanode。

Hadoop集群启动后,在web:50070端口只有两个datanode节点_第1张图片

Hadoop集群启动后,在web:50070端口只有两个datanode节点_第2张图片

 Hadoop集群启动后,在web:50070端口只有两个datanode节点_第3张图片

 进入50070端口,发现只有hadoop1和hadoop2没有hadoop3

Hadoop集群启动后,在web:50070端口只有两个datanode节点_第4张图片 

 

解决方法:


1.关闭集群

stop-dfs.sh
stop-yarn.sh

stop-dfs.sh
stop-yarn.sh



2.将集群中每个datanode节点的VERSION删除
(VERSION里面记录着datanode id信息 路径/hadoop/tmp/dfs/data/current)

cd /usr/local/hadoop/tmp/dfs/data/current/
ls
rm -f VERSION

cd /usr/local/hadoop/tmp/dfs/data/current/
ls
rm -f VERSION



3.执行hdfs namenode -format (格式化语句)

hdfs namenode -format 



4.重启集群

先检查一下各个节点的etc/hosts文件是否都配置正确。


再次尝试:

登录master50070端口可以看到三个结点都存在,问题解决了!!!

Hadoop集群启动后,在web:50070端口只有两个datanode节点_第5张图片

 

你可能感兴趣的:(大数据,hadoop,大数据,数据库)