大数据||HDFS HA 设计

背景

  • Hadoop 2.0 之前,在HDFS 集群中 NameNode 存在单点故障(SPOF )。对于只有一个NameNode 的集群,若NameNode 机器出现故障,则整个集群将无法使用,直到NameNode 重新启动。
  • NameNode 主要在以下两个方面影响HDFS 集群
    NameNode 机器发生意外,如宕机,集群将无法使用,直到管理员重启
    NameNode 机器需要升级,包括软件、硬件升级,此时集群也将无法使用
  • HDFS HA( High Available, 高可用性群集,是保证业务连续性) 功能通过配置Active/Standby 两个NameNodes 实现在集群中对NameNode 的热备来解决上述问题。如果出现故障,如机器崩溃或机器需要升级维护,这时可通过此种方式将NameNode 很快的切换到另外一台机器。
大数据||HDFS HA 设计_第1张图片
image.png

HA的设计

大数据||HDFS HA 设计_第2张图片

active和standby 的namenode 如何保持edits日志一致

大数据||HDFS HA 设计_第3张图片

你可能感兴趣的:(大数据||HDFS HA 设计)