hadoopHA安装部署测试

hadoop,spark,kafka交流群：224209501

标签（空格分隔）： hadoop
本文主要完成以下内容：
1） HDFS HA（高可用性）原理（把握四大要点），最好自己作图
2） 依据官方文档及课程讲解配置HDFS HA启动并测试
3） YARN ResouceManager HA和ResouceManager Restart 功能及配置部署与测试。

---

1，背景

1. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障(SPOF)。对于只有一个NameNode的集群，若NameNode机器出现故障。则整个集群将无法使用，直到NameNode重启。
2. NameNode主要在以下两个方面影响HDFS集群
   (1),NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。
   (2),NameNode机器需要升级：包括软件升级和硬件升级，此时集群也将无法使用
3. HDFS HA功能通过配置Active/Standby
   两个NameNode实现在集群中对NameNode的热备份来解决上述问题。如果出现故障，如机器崩溃或者机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

---

1.1 HDFS HA要点

(1).保证两NameNode内存中存储文件系统的元数据要同步。

文件系统元数据变化edits文件安全性的保证也是重点。
方案：如何保证edits安全性

1,好的文件系统。比如好的硬盘

2,分布式存储日志信息。-QJM
2n+1节点管理日志 journalNode只要有n+1写成功就算成功。奇数。

3,使用ZK进行数据存储。

(2).实时接收datanode发送的心跳及块报告。

*dataNode注册
*datanode块报告

(3).Client 通过代理来访问NN.

代理(Proxy)决定访问那个处于活跃状态的NameNode。

(4).使用隔离机制保障时刻只有一个NameNode处于活跃状态。

1.2，HDFS HA设计结构图

根据四大要点HDFS HA的设计结构图：

2，QJM HA 配置

2.1 基本配置

2.1.1,NameNode HA基本配置(core-site.xml,hdfs-site.xml.)

1,ActiveNameNode与StandbyNameNode地址配置(hdfs-site.xml)

    <property>
      <name>dfs.nameservicesname>
      <value>myclustervalue>
    property>

    <property>
      <name>dfs.ha.namenodes.myclustername>
      <value>nn0,nn1value>
    property>

    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn0name>
        <value>miaodonghua.host:8020value>
    property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1name>
        <value>miaodonghua.host1:8020value>
    property>

2,NameNode和DataNode本地存储路径配置(hdfs-site.xml)

    <property>
        <name>fs.defaultFSname>
        <value>hdfs://myclustervalue>
    property>

    <property>
        <name>hadoop.tmp.dirname>
        <value>/opt/app/hadoop-2.5.0/data/tmpvalue>
    property>

3,HDFS NameSpace访问配置(hdfs-site.xml)

    <property>
        <name>dfs.namenode.http-address.mycluster.nn0name>
        <value>miaodonghua.host:50070value>
    property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1name>
        <value>miaodonghua1.host:50070value>
    property>

4,隔离fencing配置(配置两节点之间的相互SSH无密匙登录)(hdfs-site.xml)

    <property>
        <name>dfs.ha.fencing.methodsname>
        <value>sshfencevalue>
    property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-filesname>
        <value>/home/hadoop/.ssh/id_rsavalue>
    property>

---

2.1.2,QJM配置(hdfs-site.xml)

1,QJM管理编辑日志

 <property>
        <name>dfs.namenode.shared.edits.dirname>
        <value>qjournal://miaodonghua.host:8485;miaodonghua2.host:8485;miaodonghua2.host:8485/myclustervalue>
    property>

2,编辑日志存储目录

    <property>
        <name>dfs.journalnode.edits.dirname>
        <value>/opt/app/hadoop-2.5.0/data/dfs/jnvalue>
    property>

2.1.3，客户端代理配置

    
        dfs.client.failover.proxy.provider.mycluster
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    

2.1.3，QJM HA的启动

(1).在各个JournalNode节点上，输入一下命令启动JournalNode：

   $sbin/hadoop-daemon.sh start journalnode

(2).在[nn1]上，对其进行格式化，并启动：

    $bin/hdfs namenode -format
    $sbin/hadoop-daemon.sh start namenode

(3).在[nn2]上，同步nn1的元数据信息：

    $bin/hdfs namenode -bootstrapStandby

(4).启动[nn2]:

    $sbin/hadoop-daemon.sh start namenode

(5).将[nn1]切换为Active

    $bin/hdfs haadmin -transtionToActive nn0

(6).在[nn1]上，启动所有datanode

    $sbin/hadoop-daemon.sh start datanode

执行上述指令完毕后，三台机器hadoop服务开启情况如下：

web浏览页面可以看到两个namenode的状态如下：

(7).创建目录，上传文件

 $bin/hdfs dfs -mkdir -p /usr/hadoop/input/
 $bin/hdfs dfs -put /opt/datas/wc.input/ /usr/hadoopinput/

执行成功后：
![1.png-28.6kB][8]

2.2，手动故障转移(无需配置)

1，执行一下命令，

$kill -9 pid（active namenode）
$bin/hdfs haadmin -transtionToActive nn1 --forceactive

2，命令执行成功后：
,
3，读取wc.input的内容：

$bin/hdfs dfs -text /usr/hadoop/input/wc.input

2.3 NN HA自动故障转移

自动故障转移设计结构图:

1. 启动zookeeper

(1).关闭所有HDFS服务,命令：

$sbin/stop-dfs.sh

(2).启动Zookeeper集群，命令:

$bin/zkServer.sh start

(3).初始化HA在Zookeeper中状态，命令:

$bin/hdfs zkfc -formatZK

(4).启动HDFS服务，命令：

$sbin/start-dfs.sh

(5).在各个NameNode节点上启动DFSZK Failover Controller，先在哪台机器上启动，哪个NameNode就是ActiveNameNode。命令：

$sbin/hadoop-daemon.sh start zkfc

2. 验证

(1).将ActiveNameNode进程kill，命令:

$kill -9 pid

(2).将Active机器断开网络，命令:

$sudo service network stop

3,yarn resourcemanager HA

• ResourceManager (RM) is responsible for tracking the resources in a cluster, and scheduling applications (e.g., MapReduce jobs).
• Prior to Hadoop 2.4, the ResourceManager is the single point of failure in a YARN cluster.
• The High Availability feature adds redundancy in the form of an Active/Standby ResourceManager pair to remove this otherwise single point of failure.

---

1. RM HA的结构示意图：

RM HA与NN HA有诸多相似之处:
(1).Active/standby架构，同一时间只有一个RM处于活跃状态。

(2).依赖zookeeper实现。手动切换使用yarn rmadmin命令，而自动切换使用ZKFailoverCrontroller。但是不同的是，zkfc只作为RM中一个线程而非独立的守护进程来启动。

(3).当存在多个RM时，客户端使用的yarn-site.xml需要指定列表。客户端，ApplicationMasters，NodeManagers会以轮训的方式寻找活动状态的RM，也就是Active RM。如果Active RM停止工作了，AMs和NMs就会一直循环查找直至找到一个新的Active RM。这种重试的思路被抽象为属性：org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider。你可以重写该逻辑，通过使用org.apache.hadoop.yarn.client.RMFailoverProxyProvider并且设置这个属性yarn.client.failover-proxy-provider的值为类名。

(4).新的RM可以恢复之前RM的状态。当启动RM Rstart，重启RM就加载之前活动RM的状态信息并继续之前的操作，这样应用程序定期检查点操作，就可以避免工作内容丢失。在Active/standby的RM中，活动RM的状态数据需要active和standby都能访问，使用共享文件系统方法(FileSystemRMStateStore)或者zookeeper方法(ZKRMStateStore)。后者在同一时间只允许一个RM有写入权限。

2,配置(Configurations)

大部分故障转移功能都可以用下面属性进行配置。具体配制方法可以查看yarn-default.xml。
![configurations.png-45kB][15]

本系统配置实例：

<property>
   <name>yarn.resourcemanager.ha.enabledname>
   <value>truevalue>
 property>
 <property>
   <name>yarn.resourcemanager.cluster-idname>
   <value>cluster1value>
 property>
 <property>
   <name>yarn.resourcemanager.ha.rm-idsname>
   <value>rm1,rm2value>
 property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1name>
   <value>niaodonghua1.hostvalue>
 property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2name>
   <value>miaod0nghua2.hostvalue>
 property>
 <property>
   <name>yarn.resourcemanager.zk-addressname>
   <value>miaodonghua.host:2181,miaodonghua1.host:2181,miaodonghua2.host:2181value>
 property>

 <property>
    <name>yarn.resourcemanager.recovery.enabledname>
    <value>truevalue>
property>
<property>
    <name>yarn.resourcemanager.store.classname>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStorevalue>
property>

3， Admin commands

(1).yarn rmadmin has a few HA-specific command options to check the health/state of an RM, and transition to Active/Standby. Commands for HA take service id of RM set by yarn.resourcemanager.ha.rm-ids as argument.

    $yarn rmadmin -getServiceState rm1 active
    $yarn rmadmin -getServiceState rm2 standby

(2).如果自动故障转移没有启用，你就可以使用下面的命令来切换RM运行的状态。

    $ yarn rmadmin -transitionToStandby rm1

4,ResourceManger Restart

• Resourcemanager是资源管理和调度运行在yarn上应用程序的中央机构，因此在一个yarn集群中Resourcemanager可能是单点故障，即只有一个Resourcemanager，这样在该节点出现故障时，就需要尽快重启Resourcemanager，以尽快可能减少损失。
• Resourcemanager重启可以划分为两个阶段。第一阶段，增强的Resourcemanager(RM)将应用程序的状态和它认证信息保存到一个插入式的状态存储中。RM重启时将从状态存储中重新加载这些信息，然后重新开始之前正在运行的应用程序，用户不需要重新提交应用程序。第二阶段中，之前正在运行的应用程序将不会在RM重启后被杀死，所以应用程序不会因为RM中断而丢失工作。
• RM在客户端提交应用时，将应用程序的元数据(如ApplicationSubmissionContext)保存到插入式的状态存储其中，RM还保存应用程序的最终状态，如完成状态(失败，被杀死，执行成功)，以及应用完成时的诊断。除此之外，RM还将在安全的环境中保存认证信息如安全秘钥令牌等。RM任何时候关闭后，只要要求的信息(比如应用程序的元数据和运行在安全环境中的认证信息等)在状态存储中可用，在RM重启时，就可以从状态存储中获取应用程序的元数据然后重新提交应用。如果在RM关闭之前应用程序已经完成，不论是成是败、被杀死还是执行成功，在RM重启后都不会再重新提交。
• NodeManagers和客户端在RM关闭期间将保持对RM的轮训，只到RM重启。当启动后，RM将通过心跳机制向正在与其会话的NodeManager和ApplicationMasters发送同步指令。目前NodeManager
  和ApplicationMaster处理该指令的方式为：NodeMAnager将杀死他管理的所有容器然后向RM重新注册，对于RM来说，这些重新注册的NodeManager和新加入的nodemanager相似。ApplicationMasters在接受到RM的同步指令后，将会关闭。在RM重启后，从状态存储器中加载应用元数据和认证信息并放入内存之后，RM将为每个还未完成的应用创建新的尝试。正如之前所描述的，此种方式下之前正在运行的应用程序的工作将会丢失，因为他们已经被RM在重启后使用同步指令杀死了。