Hadoop完全分布集群搭建

完全分布集群和伪分布集群不同在于：

完全分布是有很多个节点组成
伪分布是只在一个节点上配置

1. 完全分布集群的搭建

   首先需要准备四台虚拟机，配置文件和伪分布相同
   伪分布搭建点这里
   我们只需要在主节点上进行操作就可以

2. 主节点的配置

   四台虚拟机都要配置！！！
   设置的是Datanode的启动位置
   Hadoop安装好后，找到etc目录下的hadoop
   vi slaves配置Datanode映射 把其余三台虚拟机的主机名写入保存退出即可
   

   vi hdfs-site.xml配置备份个数和secondaryNamenode持久化
   
   vi core-site.xml配置主节点namenode和namenode启动信息的存放点
   

3. 配置免密登陆
   在cd /etc/hosts配置多个节点的网络映射，写自己四台虚拟机的网络IP和主机名
   
   多节点之间免密配置
   配置免密登录
   在每一个节点上运行ssh-keygen -t rsa 产生他们自己的密钥
   在主节点执行
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名

   注：将某一个节点的文件发送到其他的节点上
   scp /etc/hosts [email protected]:/etc
   这里要写自己其他虚拟机的ip

4. 将修改完成后的文件发送到其他的节点上
   scp -r hadoop-cluster root@node02:/opt/software

5. 格式化，让配置文件生效
   在桌面启动要配置Hadoop环境变量！！！
   如果没有配置，去Hadoop下的bin去启动
   hdfs namenode -format

6. 启动集群

输入主节点的ip:50070出现页面搭建成功