hadoop HA高可用集群搭建，ZooKeeper自动容灾
背景
因为hadoop集群只有一个namenode，如果机器或者进程不可用之后，整个集群就瘫痪了，namenode节点存在单点故障的问题。
HA架构
通常一个典型的HA集群有两个namenode，在任一时刻只有一个namenode是active状态，另外一个namenode处于standby待命状态。active激活态的namenode负责客户端的操作，standby待命态扮演slave从节点的角色，最大程度的从active状态的namenode那里同步状态。
standby namenode节点为了从active node同步状态，两个节点都跟一组独立的守护进程“JournalNodes”(JNs)通信。一个namenode变成active之后，它持久化记录变更record的logs到JNs的主节点。standby持续从JNs中读取edits编辑日志，当active namenode节点挂掉的时候，也就是failover容灾发生的时候，stanby确保它从JNs中读取了全部的edits编辑日志，转换自己成为active namenode。
为了快速容灾，standby node会定期更新blocks块信息，dataNode数据节点会向两个节点都发送块信息和心跳。在任一时刻两个namenode中只有一个namenode处于active激活态，如果两个都是active状态namespace state名称空间状态就会分化成两个，造成数据丢失或其它错误（俗称“脑裂”）。JNs力保任一时刻只有一个namenode可以write写操作，failover容灾发生时standby状态node立刻担负起向JNs写操作的角色，同时会阻止另外一个namenode处于active状态。
配置文件
【hdfs-site.xml】
dfs.nameservices
mycluster
dfs.ha.namenodes.mycluster
nn1,nn2
dfs.namenode.rpc-address.mycluster.nn1
192.168.1.210:8020
dfs.namenode.rpc-address.mycluster.nn2
192.168.1.214:8020
dfs.namenode.http-address.mycluster.nn1
192.168.1.210:50070
dfs.namenode.http-address.mycluster.nn2
192.168.1.214:50070
dfs.namenode.shared.edits.dir
qjournal://192.168.1.211:8485;192.168.1.212:8485;192.168.1.213:8485/mycluster
dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
shell(/bin/true)
dfs.ha.fencing.ssh.private-key-files
/home/hadoop/.ssh/id_rsa
dfs.journalnode.edits.dir
/home/hadoop/journal/data
【core-site.xml】
fs.defaultFS
hdfs://mycluster
部署
1. 三台journal node上分别执行以下命令 启动jn进程
hadoop-daemon.sh start journalnode2.在两个NN之间进行disk元数据同步
a).如果是全新集群，先format文件系统,只需要在一个nn上执行
hadoop namenode -formatb).如果是非HA集群转换成HA集群，复制原NN上metadata元数据到新的NN2上
scp -r /home/hadoop/hadoop/tmp/dfs/name [email protected]:/home/hadoop/hadoop/tmp/dfs/在新的nn(未格式化的nn)上运行一下命令，实现待命状态引导。
$>hdfs namenode -bootstrapStandby //需要原NN为启动状态,提示是否格式化,选择N.在一个NN上执行以下命令，完成edit日志到jn节点的传输。
hdfs namenode -initializeSharedEdits启动所有节点
[机器1]
$>hadoop-daemon.sh start namenode //启动名称节点
$>hadoop-daemons.sh start datanode //启动所有数据节点
[机器2]
$>hadoop-daemon.sh start namenode //启动名称节点启动所有节点（第二种方法）
start-dfs.sh启动之后，发现两个namenode都是standby状态，需要下面HA管理命令切换一台为active状态。
nn1切换成激活态
hdfs haadmin -transitionToActive nn1
HA管理
-----------------//切换成激活态
$>hdfs haadmin -transitionToActive nn1
//切换成待命态
$>hdfs haadmin -transitionToStandby nn1
//强行变成激活态
$>hdfs haadmin -transitionToActive --forceactive nn2
//执行上面failover模拟容灾命令，nn1由active转换成standby,nn2由standby转换成active。
$>hdfs haadmin -failover nn1 nn2 //模拟容灾演示,从nn1切换到nn2
//把nn1,nn2的状态切换回来
$>hdfs haadmin -failover nn2 nn1
//查询nn1,nn2状态
$>hdfs haadmin -getServiceState nn1
$>hdfs haadmin -getServiceState nn2nameNode通过ZooKeeper自动容灾
介绍
自动容灾需要配置zookeeper集群，nameNode上启用zk容灾控制器（ZKFC）。zkfc进程负责nameNode节点的健康监控，session管理，选举。
修改配置
在集群停掉的情况下，修改 hdfs-site.xml
//启用自动容灾
dfs.ha.automatic-failover.enabled
true
//配置core-site.xml，指定zk的连接地址.
ha.zookeeper.quorum
es02:2181,es03:2181,es04:2181
分发配置文件到所有的节点。
登录到一台nameNode节点上，初始化HA状态到zk集群（此时hdfs集群是停止状态,zk集群启动状态）
//运行以下命令
>hdfs zkfc -formatZK
//然后启动整个hdfs集群,发现一台namenode是active，另外一台是standby做到了自动切换
>start-dfs.sh
//使用kill -9 杀掉一个namenode进程，另外一个自动变成active状态resourceManager zk自动容灾
//配置RM的HA自动容灾
//----------------------
//1.配置yarn-site.xml
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
cluster1
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
s201
yarn.resourcemanager.hostname.rm2
s206
yarn.resourcemanager.webapp.address.rm1
s201:8088
yarn.resourcemanager.webapp.address.rm2
s206:8088
yarn.resourcemanager.zk-address
s201:2181,s202:2181,s203:2181
//2.使用管理命令
//查看状态
$>yarn rmadmin -getServiceState rm1
//切换状态到standby
$>yarn rmadmin -transitionToStandby rm1
//3.启动yarn集群
$>start-yarn.sh
//4.hadoop没有启动两个resourcemanager,需要手动启动另外一个
$>yarn-daemon.sh start resourcemanager
//5.查看webui
//6.做容灾模拟.
kill -9