hadoop集群的安装与配置(问题解决)

在实验中遇到的问题及解决

问题1：
配置好公钥后，ssh连接时仍然需要密码

解决：查看相关日志后发现authorized_keys文件因为是自己创建的，所以
权限不符合要求，把权限改成600即可

问题2：
启动hadoop集群后，进程中没有datanode节点，但是配置文件没有问题

解决：因为多次格式化的原因导致namenode和datanode中的clusterID不一致，将namenode中的clusterID复制然后覆盖datanode中的clusterID即可。
寻找clusterID的位置：打开/usr/local/hadoop/etc/hadoop中的hdfs-site.xml文件

clusterID位于以上两个路径中的current/VERSION中

问题3：
启动hadoop集群后，所有进程正擦，但是无法生成报告，
datanode中/usr/local/hadoop/tmp/dfs/data文件夹下为空

解决：查看相关日志文件后发现节点之间的访问被拒绝，此时查找资料发现可能是防火墙的问题。使用以下命令关闭防火墙：

systemctl stop firewalld  //单次关闭
systemctl disable firewalld  //永久关闭

然后删除/usr/local/hadoop下的tmp文件夹，重新进行格式化，再启动集群即可。