Hadoop生态圈(二) -- 完全分布搭建

完全集群搭建

首先上一篇博客已经有写到伪分布式搭建,伪分布式搭建是在一个集群当中主节点和SecondaryName放在一个节点上…

1.配置多个节点的网络映射

192.168.79.123 node01
192.168.79.124 node02
192.168.79.125 node03
192.168.79.126 node04
例如上面的几个节点,我们可以在主节点上完成节点的录入,传入数据.
2、多节点之间免密配置
在每一个节点上运行ssh-keygen -t rsa 产生他们自己的密钥
在node01执行
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

	注：将某一个节点的文件发送到其他的节点上
	scp /etc/hosts [email protected]:/etc 

3.配置slaves到多个节点上-----设置的是DN节点的启动位置

    ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

4、修改core-site.xml和hdfs-site.xml

5、将修改完成后的文件发送到其他的节点上

scp -r hadoop-cluster root@node02:/opt/software
scp -r hadoop-cluster root@node03:/opt/software
scp -r hadoop-cluster root@node04:/opt/software
scp -r hadoop-cluster root@node05:/opt/software

6、格式化，让配置文件生效

hdfs namenode -format 首先格式化是在主节点完成后全部配置发送后,
才可以进行格式化,切记切记切记,格式化的时候一定要注意一点：
只能格式化一次,千万不要格式化两次；如
果格式化两次的时候,记得删除 /etc/abc的那个文件,abc文件存入的都是节点的操作；
还有注意的问题:防火墙最好是永久性的记得关闭；使用是记得检查一下防火墙是否开启,如果防火墙开启记得关闭 网络最好重新启动
最后.format注意的问题是一定要把文件传输完成,才可以进行格式化的操作！

7、启动集群
1.首先可以配置全局的变量,配置全局的变量后我们可以在全局使用命令进行使用;
2.启动集群后我们也可以进行文件的传输的操作

TIps:仅供学习,在某些方面上有一定的缺陷,如果有不足的地方,请各位指正