为什么在Nodes of the cluster页面没有显示所有的node?

启动整个Hadoop集群:

[ root@sparkmaster ~]#  start-dfs.sh
[ root@sparkmaster ~]#  yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/hadoop-2.6.0//logs/yarn-root-resourcemanager-sparkmaster.out
[ root@sparkmaster ~]#  yarn-daemon.sh --hosts allnodes start nodemanager
starting nodemanager, logging to /opt/hadoop-2.6.0//logs/yarn-root-nodemanager-sparkmaster.out


当执行完启动整个hdfs集群的操作之后,登录hdfs node界面sparkmaster:8088/cluster/nodes,却只看到部分node。


这说明不是所有的nodemanager都register到namenode来了。果然,登录集群另外2个节点jps一下,没有nodemanager这个进程。


仔细检查,原来启动nodemanager的时候脚步用错了,错用了yarn-daemon.sh,实际应该用yarn-daemons.sh

再运行一遍启动脚步,

为什么在Nodes of the cluster页面没有显示所有的node?_第1张图片

再登录GUI查看,就可以看到所有的node了

为什么在Nodes of the cluster页面没有显示所有的node?_第2张图片

以前也遇到过类似问题,具体也是因为有的nodemanager somehow退出了。只要保证nodemanager都正常运行,一般都能在GUI上显示了。


你可能感兴趣的:(hadoop,nodemanager,hadoop集群)