搭建hadoop集群时的注意项

在这篇文章里讲述了一些配置的注意事项，我这里再补充一点自己的（如有不对恳请指出）

Hadoop中的集群配置和使用技巧 分布式计算开源框架Hadoop入门实践（二）

http://www.infoq.com/cn/articles/hadoop-config-tip

 

1：master 和 slaves机器上运行hadoop的用户名要一样，这个主要是由于ssh生成的key是依据用户名来的，针对用户名来做公私钥验证。

 

2：master 和 slaves上 hadoop的安装路径要一致，否则在运行程序时会在slaves上用master上的hadoop安装路径来执行程序

 

3：master和slaves 上的hadoop-env.sh的JAVA_HOME要设置，这个路径可以不一样

 

4：master 和 slaves 之间的网络端口访问需要授权，例如在iptables中设置accept 或者直接关掉 iptables这个服务

 

5：fs.default.name 这个配置项记得要配置在core-site.xml，不要配置在hdfs-site.xml 因为hadoop命令会读取这个里面的配置项而不是hdfs-site.xml的