centos7搭建hadoop高可用(ha)集群

hadoop高可用(ha)集群实现目标：

s101和s105设置为名称节点，可以互相切换为active状态；

s102~104设置为数据节点和journalnode节点。

准备工作：

centos7搭建hadoop分布式集群，参考文章：https://blog.csdn.net/greatxiaoting/article/details/81571187

注：hadoop高可用(ha)集群的搭建是从hadoop分布式集群的基础上进行修改而来！

1.创建hadoop ha版本

1）进入ha创建目录

cd /soft/hadoop/etc

2）复制出ha目录

cp -r full ha   //在hadoop分布式集群的基础上进行修改

2.ha hadoop文件配置

1）进入ha hadoop配置文件目录

cd /soft/hadoop/etc/ha

2）hdfs-site.xml文件配置

	dfs.nameservices
	mycluster




	dfs.ha.namenodes.mycluster
	nn1,nn2



	dfs.namenode.rpc-address.mycluster.nn1
	s101:8020


	dfs.namenode.rpc-address.mycluster.nn2
	s105:8020



	dfs.namenode.http-address.mycluster.nn1
	s101:50070


	dfs.namenode.http-address.mycluster.nn2
	s105:50070



	dfs.namenode.shared.edits.dir
	qjournal://s102:8485;s103:8485;s104:8485/mycluster



	dfs.client.failover.proxy.provider.mycluster
	org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider



	dfs.ha.fencing.methods
	
			sshfence
			shell(/bin/true)
	



	dfs.ha.fencing.ssh.private-key-files
	/home/centos/.ssh/id_rsa



	dfs.journalnode.edits.dir
	/home/centos/hadoop/journal

3）.core-site.xml文件配置

	fs.defaultFS
	hdfs://mycluster

3.分发ha文件并创建符号链接

1）进入ha文件所在目录

cd /soft/hadoop/etc

2）分发ha文件到所有节点

xsync.sh ha

3)所有节点创建ha的符号链接hadoop

xcall.sh ln -sfT /soft/hadoop/etc/ha /soft/hadoop/etc/hadoop

4.启动hadoop ha高可用集群

１) s102~s104分别启动journalnode节点

hadoop-daemon.sh start journalnode

2）复制s101的metadata到s105

scp -r /home/centos/hadoop/dfs centos@s105:/home/centos/hadoop/

3)启动s101的名称节点

hadoop-daemon.sh start namenode

4)s105节点执行名称节点standby状态引导

hdfs namenode -bootstrapStandby        //提示是否格式化,选择N.

5）s105节点执行edit日志到journalnode节点的传输

hdfs namenode -initializeSharedEdits

6）s105启动名称节点

hadoop-daemon.sh start namenode

7）s101启动所有数据节点

hadoop-daemons.sh start datanode

8）查看所有进程

5.名称节点s101（active)和s105(standby)的状态进行互换

hdfs haadmin -failover nn1 nn2   //名称节点s105切换为active状态

注：下次重启电脑，s101和s105默认都为standby状态，激活s101为active状态：hdfs haadmin -transitionToActive nn1