HDFS HA 高可用

1.概述

(1) 所谓HA（high available），即高可用（7*24小时不中断服务）。

(2) 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。

(3) Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。

(4) NameNode主要在以下两个方面影响HDFS集群

        NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启

        NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用

        HDFS HA功能通过配置Active/Standby两个nameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

2.HDFS-HA集群配置

(1) 环境准备

修改IP

修改主机名及主机名和IP地址的映射

关闭防火墙

ssh免密登录

安装JDK，配置环境变量等

(2) 规划集群

(3)  配置Zookeeper集群

       详见：Zookeeper 集群部署与命令行操作

(4) 配置HDFS-HA集群

    ① 官方地址： http://hadoop.apache.org/

    ② 在opt目录下创建一个ha文件夹

        mkdir HA

    ③ 将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下

        cp -r hadoop-2.7.2/ /opt/HA/

    ④ 配置hadoop-env.sh

        export JAVA_HOME=/opt/module/jdk1.8.0_144

    ⑤ 配置core-site.xml

              

                     fs.defaultFS

          hdfs://mycluster

              

              

              

                     hadoop.tmp.dir

                     /opt/module/HA/hadoop-2.7.2/data/tmp

              

    ⑥ 配置hdfs-site.xml

       

       

              dfs.nameservices

              mycluster

       

       

       

              dfs.ha.namenodes.mycluster

              nn1,nn2

       

       

       

              dfs.namenode.rpc-address.mycluster.nn1

              hadoop102:9000

       

       

       

              dfs.namenode.rpc-address.mycluster.nn2

              hadoop103:9000

       

       

       

              dfs.namenode.http-address.mycluster.nn1

              hadoop102:50070

       

       

       

              dfs.namenode.http-address.mycluster.nn2

              hadoop103:50070

       

       

       

              dfs.namenode.shared.edits.dir

        qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster

       

       

       

              dfs.ha.fencing.methods

              sshfence

       

       

       

              dfs.ha.fencing.ssh.private-key-files

              /home/luomk/.ssh/id_rsa

       

       

       

              dfs.journalnode.edits.dir

              /opt/module/HA/hadoop-2.7.2/data/jn

       

       

       

              dfs.permissions.enable

              false

       

       

       

             dfs.client.failover.proxy.provider.mycluster

       org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

       

     ⑦ 拷贝配置好的hadoop环境到其他节点

(5) 启动HDFS-HA集群

    ① 在各个JournalNode节点上，输入以下命令启动journalnode服务：

       sbin/hadoop-daemon.sh start journalnode

    ② 在[nn1]上，对其进行格式化，并启动：

       bin/hdfs namenode -format

       sbin/hadoop-daemon.sh start namenode

    ③ 在[nn2]上，同步nn1的元数据信息：

       bin/hdfs namenode -bootstrapStandby

    ④ 启动[nn2]：    

       sbin/hadoop-daemon.sh start namenode

    ⑤ 查看web页面显示

    ⑥ 在[nn1]上，启动所有datanode

       sbin/hadoop-daemons.sh start datanode

    ⑦ 将[nn1]切换为Active

       bin/hdfs haadmin -transitionToActive nn1

    ⑧ 查看是否Active

       bin/hdfs haadmin -getServiceState nn1

(6) 配置HDFS-HA自动故障转移

    ① 具体配置

        a.在hdfs-site.xml中增加

       dfs.ha.automatic-failover.enabled

       true

        b.在core-site.xml文件中增加

       ha.zookeeper.quorum

       hadoop102:2181,hadoop103:2181,hadoop104:2181

    ② 启动

//关闭所有HDFS服务：

    sbin/stop-dfs.sh

//启动Zookeeper集群：

    bin/zkServer.sh start

//初始化HA在Zookeeper中状态：

    bin/hdfs zkfc -formatZK

//启动HDFS服务：

    sbin/start-dfs.sh

//在各个NameNode节点上启动DFSZK Failover Controller，先在哪台机器启动，哪个机器的NameNode就是Active NameNode

    sbin/hadoop-daemin.sh start zkfc

    ③ 验证

//将Active NameNode进程kill

    kill -9 namenode的进程id

//将Active NameNode机器断开网络

    service network stop

3.配置YARN-HA集群

(1)环境准备

修改IP

修改主机名及主机名和IP地址的映射

关闭防火墙

ssh免密登录

安装JDK，配置环境变量等

配置Zookeeper集群

(2) 规划集群

  

(3) 具体配置

    ① yarn-site.xml

    

        yarn.nodemanager.aux-services

        mapreduce_shuffle

    

    

    

        yarn.resourcemanager.ha.enabled

        true

    

    

    

        yarn.resourcemanager.cluster-id

        cluster-yarn1

    

    

        yarn.resourcemanager.ha.rm-ids

        rm1,rm2

    

    

        yarn.resourcemanager.hostname.rm1

        hadoop102

    

    

        yarn.resourcemanager.hostname.rm2

        hadoop103

    

    

    

        yarn.resourcemanager.zk-address

        hadoop102:2181,hadoop103:2181,hadoop104:2181

    

    

    

        yarn.resourcemanager.recovery.enabled

        true

    

    

    

        yarn.resourcemanager.store.class     org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore

    ② 同步更新其他节点的配置信息

(4) 启动hdfs

    ①  在各个JournalNode节点上，输入以下命令启动journalnode服务：

    sbin/hadoop-daemon.sh start journalnode

    ②  在[nn1]上，对其进行格式化，并启动：

    bin/hdfs namenode -format

    sbin/hadoop-daemon.sh start namenode

    ③  在[nn2]上，同步nn1的元数据信息：

    bin/hdfs namenode -bootstrapStandby

    ④  启动[nn2]：

    sbin/hadoop-daemon.sh start namenode

    ⑤  启动所有datanode

    sbin/hadoop-daemons.sh start datanode

    ⑥  将[nn1]切换为Active

    bin/hdfs haadmin -transitionToActive nn1

(5) 启动yarn

    ① 在hadoop102中执行：

        sbin/start-yarn.sh

    ② 在hadoop103中执行：

        sbin/yarn-daemon.sh start resourcemanager

    ③ 查看服务状态

        bin/yarn rmadmin -getServiceState rm1