Hadoop之旅（7）— HDFS HA Zookeeper自动故障转移

1、HDFS HA Zookeeper自动故障转移的需求

     在 HDFS 集群下，我们知道也只有单个 NameNode 节点，虽然是集群但是也会有单节点故障等事故。所以需要一个协调者帮助我们遇到故障时及时帮助我们切换可用的 NameNode 节点。这个就是我们的需求、如果我们不需要ZK的话、搭建的HA需要我们手动切换，这是不可行的。所以我们需要 zookeeper安装与配置教程。

集群规划：

前提条件：

环境：三台虚拟机、三个zk节点（集群模式）

启动zk

2、HDFS HA配置文件

2.1、core-site.xml文件

	
		fs.defaultFS
		hdfs://ns1
	
	
	
	
        hadoop.tmp.dir
        /usr/local/chenzhengyou/hadoop/cluster/data/tmp
    
	
	
	
		fs.trash.interval
		640800
	

	
	
		ha.zookeeper.quorum
		czy-1:2181,czy-2:2181,czy-3:2181
	

2.2、hdfs-site.xml文件

	
		dfs.nameservices
		ns1
	
	
		dfs.ha.namenodes.ns1
		nn1,nn2
	
	
	
	
		dfs.namenode.rpc-address.ns1.nn1
		czy-1:8020
	
	
		dfs.namenode.rpc-address.ns1.nn2
		czy-2:8020
	
	
	
	
	
		dfs.namenode.http-address.ns1.nn1
		czy-1:50070
	
	
		dfs.namenode.http-address.ns1.nn2
		czy-2:50070
	
	
	
	
	
		dfs.namenode.shared.edits.dir
		qjournal://czy-1:8485;czy-2:8485;czy-3:8485/ns1
	
	
		dfs.journalnode.edits.dir
		/usr/local/chenzhengyou/hadoop/cluster/data/tmp/dfs/jn
	
	
	
		
	
		dfs.client.failover.proxy.provider.ns1
		org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
		
	
	
		
	
		dfs.ha.fencing.methods
		sshfence
	
	
	
		dfs.ha.fencing.ssh.private-key-files
		/root/.ssh/id_rsa
	
	
	
			
	
		dfs.ha.automatic-failover.enabled
		true
	
	
	
	
		dfs.permissions
		false
    

2.3、slaves文件（三台机器的主机名）

czy-1
czy-2
czy-3

2.4、yarn-site.xml文件

	
        yarn.resourcemanager.hostname
        czy-2
    
	
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
	
	
	
	
	
        yarn.nodemanager.resource.memory-mb
        4096
    
	
	
        yarn.nodemanager.resource.cpu-vcores
        4
    
    
        yarn.log-aggregation-enable
        true
    
	
	
        yarn.log-aggregation.retain-seconds
        640800
    

3、格式化 ZKFC

hdfs zkfc -formatZK 

4、启动 NameNode、DataNode、nodemanager、resourcemanager等

[root@czy-1 hadoop-2.5.0]# sbin/start-all.sh 

5、启动界面

启动 czy-1 主机是 active 节点、czy-2 主机是 standby 节点。

我们现在把 czy-1 主机上的 namenode   kill 

界面瞬间变化（瞬间的切换就降低影响）