HDFS-HA高可用集群配置
1 HA概述
1）所谓HA（high available），即高可用（7*24小时不中断服务）。
2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。
3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。
4）NameNode主要在以下两个方面影响HDFS集群
NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启
NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用
HDFS HA功能通过配置Active/Standby两个nameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。
2 工作机制
配置两个namenode，通过双namenode消除单点故障。
3 HDFS-HA自动故障转移
3.1 工作要点
使用命令hdfs haadmin -failover手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现役NameNode转移到待机NameNode，下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：
1）故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。
2）现役NameNode选择：ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。
ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，
也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，ZKFC负责：
1）健康监测：ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。
2）ZooKeeper会话管理：当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除。
3）基于ZooKeeper的选择：如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役NameNode，然后本地NameNode转换为active状态。
3.2 环境准备
1）修改IP
2）修改主机名及主机名和IP地址的映射
3）关闭防火墙
4）ssh免密登录
5）安装JDK，配置环境变量等
3.3 集群规划
| master-node | slave-node1 | slave-node2 |
| NameNode JournalNode DataNode ZK
NodeManager |
NameNode JournalNode DataNode ZK ResourceManager NodeManager |
JournalNode DataNode ZK
NodeManager |
3.4 配置Zookeeper集群
参考：https://blog.csdn.net/weixin_38023225/article/details/101371777
3.5 配置HDFS-HA自动故障转移集群
1）官方地址：http://hadoop.apache.org/
2）在/opt/module/目录下创建一个HA文件夹
3）将/opt/module/下的 hadoop-2.7.4拷贝到/opt/module/HA目录下
[caimh@master-node module]$ mkdir HA
[caimh@master-node module]$ cp -r hadoop-2.7.4/ HA/4）配置hadoop-env.sh（JDK）
5）配置hdfs-site.xml
[caimh@master-node hadoop]$ vim hdfs-site.xml
dfs.replication
3
dfs.nameservices
mycluster
dfs.ha.namenodes.mycluster
nn1,nn2
dfs.namenode.rpc-address.mycluster.nn1
master-node:8020
dfs.namenode.rpc-address.mycluster.nn2
slave-node1:8020
dfs.namenode.http-address.mycluster.nn1
master-node:50070
dfs.namenode.http-address.mycluster.nn2
slave-node1:50070
dfs.namenode.shared.edits.dir
qjournal://master-node:8485;slave-node1:8485;slave-node2:8485/mycluster
dfs.permissions.enable
false
dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.ssh.private-key-files
/home/atguigu/.ssh/id_rsa
dfs.ha.automatic-failover.enabled
true
6 配置core-site.xml
[caimh@master-node hadoop]$ vim core-site.xml
fs.defaultFS
hdfs://mycluster
hadoop.tmp.dir
/opt/module/HA/hadoop-2.7.4/data
dfs.journalnode.edits.dir
/opt/module/HA/hadoop-2.7.4/data/jn
ha.zookeeper.quorum
master-node:2181,slave-node1:2181,slave-node2:2181
7 拷贝配置好的hadoop环境到其他节点(使用分发脚本)
[caimh@master-node hadoop]$ xsync /opt/module/HA/分发脚本配置参考：https://blog.csdn.net/weixin_38023225/article/details/101210975
8 启动
(1)在各个JournalNode节点上，输入以下命令启动journalnode服务：
[caimh@master-node hadoop-2.7.4]$ sbin/hadoop-daemon.sh start journalnode
[caimh@slave-node1 hadoop-2.7.4]$ sbin/hadoop-daemon.sh start journalnode
[caimh@slave-node2 hadoop-2.7.4]$ sbin/hadoop-daemon.sh start journalnode
[caimh@slave-node2 hadoop-2.7.4]$ jps
2055 JournalNode
2109 Jps说明：下面namenode的格式化，依赖JournalNode服务，需要先启动
(2)nn1格式化namenode，在[nn2]上，同步nn1的元数据信息（本例是nn1,nn2）
[caimh@master-node hadoop-2.7.4]$ bin/hdfs namenode -forma --在[nn1]上，对其进行格式化
[caimh@master-node hadoop-2.7.4]$ sbin/hadoop-daemon.sh start namenode --启动nn1
[caimh@master-node hadoop-2.7.4]$ jps
3936 NameNode
3797 JournalNode
4014 Jps
[caimh@slave-node1 hadoop-2.7.4]$ bin/hdfs namenode -bootstrapStandby --在[nn2]上，同步nn1的元数据信息
说明：
1)nn2不允许再次格式化，只能同步元数据，再次格式化会产生新的clusterid，集群启动会报错
2)nn2上，同步nn1的元数据信息，必须需要nn1启动
（3）关闭所有HDFS服务：
[caimh@master-node hadoop-2.7.4]$ sbin/stop-dfs.sh（4）启动Zookeeper集群（逐个启动，可以写脚本群起）
[caimh@master-node zookeeper-3.4.13]$ bin/zkServer.sh start
[caimh@slave-node1 zookeeper-3.4.13]$ bin/zkServer.sh start
[caimh@slave-node2 zookeeper-3.4.13]$ bin/zkServer.sh start
[caimh@master-node zookeeper-3.4.13]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: follower
[caimh@slave-node1 zookeeper-3.4.13]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: leader
[caimh@slave-node2 zookeeper-3.4.13]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: follower（5）初始化HA在Zookeeper中状态：
[caimh@master-node hadoop-2.7.4]$ bin/hdfs zkfc -formatZK
[caimh@master-node zookeeper-3.4.13]$ bin/zkCli.sh --进入zk客户端查看，生成了hadoop-ha节点
[zk: localhost:2181(CONNECTED) 0] ls /
[servers, zookeeper, hadoop-ha]
[zk: localhost:2181(CONNECTED) 1] ls /hadoop-ha --我们配置的mycluster集群
[mycluster]（6）启动HDFS服务：
[caimh@master-node hadoop-2.7.4]$ sbin/start-dfs.sh
[caimh@master-node hadoop-2.7.4]$ jps
4401 NameNode
4913 Jps
3797 JournalNode
4505 DataNode
4218 QuorumPeerMain
4847 DFSZKFailoverController（7）在各个NameNode节点上启动DFSZK Failover Controller，先在哪台机器启动，哪个机器的NameNode就是Active NameNode
[caimh@master-node hadoop-2.7.4]$ sbin/hadoop-daemin.sh start zkfc(8）查看web页面显示
9 验证:将Active NameNode进程kill
[caimh@master-node hadoop-2.7.4]$ jps
4401 NameNode
4913 Jps
3797 JournalNode
4505 DataNode
4218 QuorumPeerMain
4847 DFSZKFailoverController
[caimh@master-node hadoop-2.7.4]$ kill -9 4401
[caimh@master-node hadoop-2.7.4]$ jps
3797 JournalNode
4505 DataNode
4218 QuorumPeerMain
4955 Jps
4847 DFSZKFailoverControllerHDFS-HA自动故障转移失效问题参考：https://blog.csdn.net/weixin_38023225/article/details/101418846