Hadoop集群模式终于配好了

今天晚上终于配好了Hadoop集群模式。

 

首先，网上关于Hadoop配置集群模式的手册特别，每个人、每个人版本都有细微的差别。。对于像我这样的初学者，配环境的时候，有种不知所措的感觉。等配置，调试完后，才感觉其实大同小异，只要抓住核心的东西，其实差不多。

 

建议建立一个链接指向要使用的hadoop版本，不妨设为hadoop
[dbrg@dbrg-1:HadoopInstall]$ln  -s  hadoop0.12.0   hadoop

 

在设置这个链接的时候，因为不熟悉ln的机制，datanode连不上namenode时，发现了问题，更改后仍然不见解决，似乎就是因为更改的hadoop0.12.0的文件，但是执行的是hadoop文件下的文件。其实当时作者讲的时候，也说过，一晕，就全忘了。。

 

然后，就是datanode挂不上。找到问题是ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: No such file or directory。其实这个问题和HDFS中的名称空间ID不一致问题类似。

HDFS中的名称空间ID不一致问题类似具体问题是ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-root/dfs/data: namenode namespaceID = 347819051; datanode namespaceID = 1195834595

 

解决方法都一样，删除datanode目录下的core-site.xml中的

  hadoop.tmp.dir
  /tmp/hadoop-${user.name}
  A base for other temporary directories.

 

问题解决了。datanode也挂上了，明天准备测试集群下的程序运行

转载于:https://www.cnblogs.com/mesolitary/archive/2010/04/01/1702679.html