Hadoop集群配置各种问题解决(node为0,ssh连不通等等)与小白们共勉



http://blog.csdn.net/hguisu/article/details/7237395

首先参考这边blog配置的集群但是出现了很多的问题,如下列出并解决:

1.一开始看的配置教程是单机的,而后来配集群的时候,就漏掉了很多配置,认真看上边这篇博客应该就没问题了,集群中要有一个master和如干个slaves(    通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\)

2.应该是/etc/hosts配置不当的问题:(host每个节点都要配)

         hosts应该把master和slaves的IP和主机名对应起来.

         我第一次没有把master的127.0.0.1的本地地址改成主机的IP地址,导致了hadoop启动后,namenode进程正常启动,任然看不到dfs中的node,费了很大的劲儿.

3.hosts中的配置同样关系到SSH能不能正常的访问

         127.0.0.1一开始master SSH slaves的机子,用 IP能行,但是用slaves机子的名字怎么都不行,就是 IP和机子名没有对应的,没有配置好hosts文件的原因.

总算配成了hadoop的集群环境,下一步就是要学习mapreduce了,可能要继续悲剧了.....加油吧,与小白们共勉