【hadoop】HDFS-HA工作机制

一、HA概述

1）所谓HA（High Available），即高可用（7*24小时不中断服务）。
2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。
3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。
4）NameNode主要在以下两个方面影响HDFS集群：
1. NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启
2. NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用
5）HDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

二、HDFS-HA工作机制

通过双NameNode消除单点故障

三、HDFS-HA工作要点

1. 元数据管理方式需要改变
   内存中各自保存一份元数据；
   Edits日志只有Active状态的NameNode节点可以做写操作；
   两个NameNode都可以读取Edits；
   共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现）；
2. 需要一个状态管理功能模块
   实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailover负责监控自己所在NameNode节点，利用zk进行状态标识，当需要进行状态切换时，由zkfailover来负责切换，切换时需要防止brain split现象的发生。
3. 必须保证两个NameNode之间能够ssh无密码登录
4. 隔离（Fence），即同一时刻仅仅有一个NameNode对外提