hadoop 集群配置踩过的坑

现在网上一搜到处都是关于hadoop集群配置的帖子，关于具体的core-site.xml，hdfs-site.xml等等配置文件的配置就不具体讲述了

参考博客

说一下自己配置hadoop的时候踩过的坑：

1.关于不同用户名的机器，免密登陆，如果没有配置好就会出现 IP1@IP2（如果配置了hosts，就是name1@name2）然后让输入密码，这个怎么输都不会对

有两种方案：1.是用root权限启动集群，那么就会出现root@name1 ；第二种方案建立ssh配置文件

 vim .ssh/config配置如下文件(具体可参考博客https://www.cnblogs.com/ysocean/p/6959776.html)

2.对于不同用户名的机器的hadoop home 路径不一致时无法启动集群

解决方案：把hadoop 放在同一个路径，比如/usr/local/下，然后把/usr/local/授权给当前用户

如 sudo chown xy:xy -R /usr/local，然后把hadoop放在这个路径

 

3.这一点就很神学了，当你配好之后，启动hadoop时，报错类似于（zsh 权限不足的时候），可以考虑在机器之间用scp 传输hadoop文件