HDFS HA 之 Quorum Journal Manager

1、HA的发展历程

1.1 Secondary namenode

通过Secondary namenode 作为备节点，然后冷备namenode数据，为Namenode分担部分压力，主要执行Checkpoint工作。在这种架构体系下，Namenode以单点的形式运行，一旦系统集群出现故障，可用性是致命的，目前基本不使用了。

1.2 QJM

在HA Using QJM方案中，涉及的核心部分包括：

• Active Namenode：对外提供在线读写服务，并将Client请求过来的更新操作通过Edit Log的形式持久化至共享存储系统(QJM)。此外，还为Standby Namenode即时同步数据提供支持。
• Standby Namenode：与Active Namenode相互形成热备，并及时从QJM中拉取Edit Log数据更新内存，以便尽可能和Active Namenode维护的数据保持一致。
• JournalNode Cluster(JournalNodes)：Active Namenode与Standby Namenode之间共享Edit Log的一致性存储系统，在HA体系架构中具有重要作用。借助JournalNode集群，Active和Standby间可以尽可能快地达成一致的数据状态。
• ZKFailoverController(FailoverController)：一种独立运行的进程，其作用主要对Namenode主备切换进行控制，是实现HA热切换的重要保障。通常情况下，Active Namenode和Standby Namenode分别有各自的Failove