hadoop集群配置的一些补充

        最近开始学习hadoop,准备先搭建一个hadoop集群跑起来,发现了很多不错的博文,但是在实际的操作中,总会遇到一些博文中不曾提到的问题,本章博文用于记载这些问题以及问题解决的方式。

  1. 在配置SSH免密码登陆的时候,在master机上生成了key,将public key分别复制到slave1机和slave2中,都是用cat命令将public key加入到authorized_keys中,但slave1可以密码登陆而slave2不行,之后slave2删除了.ssh,从文件夹创建到将key加入authorized_keys中从新来了一次,文件夹权限与slave1完全一致(博主有仔细的对比过),但还是不行。

    解决方式:

         最终使用ssh-copy-id 命令解决了,完整命令如下:

ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 18330 [email protected]:~/.ssh"
  1.     
  2. 以上命令,可以自动将公钥添加到名为authorized_keys的文件中。为什么之前用cat命令不行,至今都没明白原因,有懂的大神请指教

2.  hadoop启动的使用,dataNode和taskTracker总是不能启动,到日志中查看出现下面的错误:

org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to master/192.168.56.101:9000 failed on local exception: java.net.NoRouteToHostException: No route to host

    解决方式:

            关闭master的防火墙,或者修改防火墙配置开始使用的端口

你可能感兴趣的:(hadoop集群配置的一些补充)