hadoop集群,namenode启动,所有的datanode无法启动

Hadoop集群安装后观察datanode。
现象:
hadoop集群启动,namenode正常启动,datanode却没有启动
原因:
namenode的CLUSTERID和datanode的CLUSTERID不一致,导致namenode启动而datanode未启动
解决办法:
复制namenode的CLUSTERID 贴到datanode的CLUSTERID

确认:
我们可以看到两个datanode中的slave1和slave2已经启动。
hadoop集群,namenode启动,所有的datanode无法启动_第1张图片
解决步骤:
查看hadoop的安装路径,这里以hadoop-2.7.2为例。

#Hadoop安装路径
hadoop-2.7.2

hadoop集群,namenode启动,所有的datanode无法启动_第2张图片

1. 查看slaves节点
进入到hadoop安装路径

#vim etc/haoop/slaves
133.133.10.1
133.133.10.2

2. 集群namenode格式化
集群首次使用时,需要格式化。

bin/hdfs namenode -format

3. 查看namenode和datanode的CLUSTERID

  1. 查找namenode和datanode的路径,namenode路径为/dataDisk/hadoop/hadoopdata/namemode
cat /etc/hadoop/hdfs-site.xml

hadoop集群,namenode启动,所有的datanode无法启动_第3张图片
2) 查看namenode的CLUSTERID,替换datanode的CLUSTERID
hadoop集群,namenode启动,所有的datanode无法启动_第4张图片
登陆各个slaves,将该clusterID替换datanode上的clusterID
hadoop集群,namenode启动,所有的datanode无法启动_第5张图片
3)重启hdfs

sbin/start-all.sh

注:通过http://localhost:50700查看hadoop集群状况,如果发现进程都能够启动,web页面HDFS 50070无法访问。解决办法如下:

vim etc/hadoop/core-site.xml

将core-site.xml中的访问路径fs.default.name改成ip

<property>
         <name>fs.default.name</name>
         <value>hdfs://[主机名ip].Hadoop:9000</value>
  </property>

你可能感兴趣的:(hadoop,hdfs,大数据)