Hadoop2.x HA
Hadoop HA(高可用)
一、HDFS HA
1.HDFS HA 背景
*hadoop2版本中可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。（haoop 1不存在此特性）
*HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。
为了解决上述问题，Hadoop给出了HDFS的高可用HA方案：
*HDFS通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。
*Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。
2.HDFS HA架构
*一个典型的HA集群，NameNode会被配置在两台独立的机器上，在任何时间上，一个NameNode处于活动状态，而另一个NameNode处于备份状态。
*如何实现Standby Node与Active Node保持同步？
为了让Standby Node与Active Node保持同步，这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。Active Node的操作信息会被记录在日志中，这些
日志信息会发送给JNS，Standby noes将会从JNS中读取这些edits并执行与日志一致的操作。当failover（单点故障）发生时，Standby将会在提升自己为Active之前，确保
能够从JNS中读取所有的edits，即在failover发生之前Standy持有的namespace应该与Active保持完全同步。
*实现快速faliover
为了支持快速failover，Standby node持有集群中blocks的最新位置是非常必要的。为了达到这一目的，DataNodes上需要同时配置这两个Namenode的地址，
同时和它们都建立心跳链接，并把block位置发送给它们。
*只允许一个NameNode是Active
下述是基于QJM的HDFS HA方案执行流程：
1.客户端会发送请求给zookeeper集群，zookeeper保存着NameNode信息，然后zookeeper会把读写请求分配给Actie NameNode，然后由NameNode对DtatNode进行相应的操作。
2.Active NameNode是主NameNode。Standy NameNode是备份NameNode。之所以NN知道去处理哪个DN，是因为DN会把Blocks的信息汇报给NN。为了解决单点故障的问题，NN会
实时的把元数据信息写入JN集群，而不是把元数据信息写在本地的磁盘上（fsimage，edits）。一旦Active NN出现故障，zookeeper集群会通过failoverController把故障NN切换到备份NN。
3.Zookeeper集群之所以知道故障NN，是因为Active NN会把它的心跳信息汇报给集群，zk通过心跳信息判断NN的状态。
HA流程图链接：https://img-blog.csdn.net/20160809103017606
3.HDFS HA配置要素
*NameNode机器：两台配置对等的物理机器，它们分别运行Active和Standby Node。
*JouralNode机器：运行JouralNodes的机器。JouralNode守护进程相当的轻量级，可以和Hadoop的其他进程部署在一起，至少需要3个且为奇数，如果你运行了N个JNS，
那么它可以允许(N-1)/2个JNS进程失效并且不影响工作。
*在HA集群中，Standby NameNode还会对namespace进行checkpoint操作（继承Backup Namenode的特性），因此不需要在HA集群中运行SecondaryNameNode、CheckpointNode
或者BackupNode。（也就是备份节点做了上述三个节点的工作）
4.HDFS自动故障转移
HDFS的自动故障转移主要由Zookeeper（Zookeeper很重要啊）和ZKFC两个组件组成。
Zookeeper集群作用主要有：
*故障监控。
每个NameNode将会和Zookeeper建立一个持久session，如果NameNode失效，那么此session将会过期失效，此后Zookeeper将会通知另一个Namenode，然后触发Failover。
*NameNode选举（选举就决定了zookeeper集群节点的个数必须是奇数个，一般都是大于1的奇数）
ZooKeeper提供了简单的机制来实现Acitve Node选举，如果当前Active失效，Standby将会获取一个特定的排他锁，那么获取锁的Node接下来将会成为Active。
ZKFC是一个Zookeeper的客户端，它主要用来监测和管理NameNodes的状态，每个NameNode机器上都会运行一个ZKFC程序，它的职责主要有：
*健康监控。
ZKFC间歇性的ping NameNode，得到NameNode返回状态，如果NameNode失效或者不健康，那么ZKFS将会标记其为不健康；
*Zookeeper会话管理。
当本地NaneNode运行良好时，ZKFC将会持有一个Zookeeper session，如果本地NameNode为Active，它同时也 持有一个
“排他锁”znode，如果session过期，那么znode也将被删除；
*选举。当集群中其中一个NameNode宕机，Zookeeper会自动将另一个激活。
二、YARN HA
YARN的HA架构和HDFS HA类似，需要启动两个ResourceManager，这两个ResourceManager会向ZooKeeper集群注册，通过ZooKeeper管理它们的状态（Active或Standby）
并进行自动故障转移。可以把ResourceManager当作是NN,NodeManager当作是DN。
三、高可用集群搭建流程
1.环境：
*jdk1.7.0_79
*hadoop2.7
*CentOS6.5
2.集群规划
【注意】1.ZKFC与NN是一致的
2.在yarn-site.xml文件中指定RM位置，集群中其余节点自动成为NM,NM不需要配置
3.前提条件
*集群中的节点时间同步
*CentOS7的时间同步：
yum -y install ntp
systemctl enable ntpd
systemctl start ntpd
ntpdate -u cn.pool.ntp.org
*CentOS6的时间同步
在node2与node3上分别输入下述命令：
ntpdate node1
*软件版本问题：搭建之前一定要参照官方文档提供的版本对应关系！一定注意！！！！（血的教训）
*SSH免密登陆(后面配置中我提及了！不必担心)
*关闭防火墙，CentOS6与CentOS7关闭防火墙的指令是不一致的：
*CentOS6:service iptables stop
*CentOS7:systemctl stop firewalld
4.配置hosts
在 /etc/sysconfig/network 目录下输入以下内容：
NETWORKING=yes
HOSTNAME=node1
在 /etc/hosts 目录下输入下述内容：
192.168.40.143 node1
192.168.40.144 node2
192.168.40.145 node3
192.168.40.140 node4
5.安装jdk1.7.0_79
6.zookeeper集群
*把/pzz/zookeeper-3.4.5/conf/zoo_sample.cfg文件改名：zoo.cfg
*在zoo.cfg文件中配置下述内容：
dataDir=/usr/hk/zookeeper
server.1=node2:2888:3888
server.2=node3:2888:3888
server.3=node4:2888:3888
*在/usr/zookeeper目录下创建myid文件，并在文件内容中写上1或是2或是3，也就是上述zoo.cfg中配置server编号！
7.Hadoop集群
*修改core-site.xml
*修改hdfs-site.xml
sshfence
*修改mapred-site.xml
*修改yarn-site.xml
*修改slaves,配置DN.
node2
node3
node4
*在hadoop-env.sh以及yarn-env.sh中指定jdk位置
*上述的操作都是在node1上进行的，把hadoop的conf的配置文件拷贝到其余节点上
------------------------------------------------------------------------------------------------
以上完成HA配置
*启动顺序很关键
1.启动zookeeper集群（分别在node2、node3、node4上启动zk）
./bin/zkServer.sh start
#查看状态：一个leader，两个follower
./bin/zkServer.sh status
【注意】leader与follwer。因为zookeeper中算法是基于选举制的，意思是当得票数超过半数以上时，成为Leader,其他成为Follower。
比如我们的这三个服务器分别是A,B,C
1.我们依次启动A -> B -> C
2.启动A时，A会给自己投票，然后会把信息发送给其他服务器，但是现在就A一个服务器，无法通信，所以A会处于Looking状态
3.启动B时，B会给自己投票，因为B的id为2，权重比A大，所以B成为老大，但是此时投票数超过半数所以B成为Leader。
4.启动C时，C给自己投票，C权重比A和B都大，但是这个时候B已经成为Leader，所以C只能成为Follower,A和C 成为Follower
如果还有 D，E服务器时，这个时候就是5个服务器，当运行到C时，C权重大，成为老大，投票数超过半数成为Leader， 虽然D，E服务器ID（权重）比C大，但是由于C已经成为Leader，那么DE只能被迫成为Follower，前提是：C比DE先启动。
2.启动journalnode（分别在在node2、node3、node4上执行） ./sbin/hadoop-daemon.sh start journalnode
3.node1上格式化HDFS ./bin/hdfs namenode -format 然后启动NN ./sbin/hadoop-daemon.sh start namenode
4.在node2，node3，node4上分别执行命令： ./bin/hdfs namenode -bootstrapStandby (拷贝元数据)
5.格式化ZKFC(在node1上执行即可) ./bin/hdfs zkfc -formatZK
6.启动hdfs、yarn
*查看集群的状态：
./bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息
./bin/hdfs haadmin -getServiceState nn1 查看namenode高可用
./bin/yarn rmadmin –getServiceState rm1 查看ResourceManager高可用