HDFS的启动过程

HDFS的启动过程

HDFS的启动过程分为四个阶段：
第一阶段：NameNode 读取包含元数据信息的fsimage文件，并加载到内存；
第二阶段：NameNode读取体现HDFS最新状态的edits日志文件，并加载到内存中
第三阶段：生成检查点，SecondaryNameNode将edits日志中的信息合并到fsimage文件中
第四阶段：进入安全模式，检查数据块的完整性

HDFS的安全模式

• 什么是安全模式
  安全模式是HDFS的一种保护机制，用于保证数据块的完整性。当HDFS处于安全模式下，HDFS是只读状态，命令无法使用；只有安全模式处于OFF状态时，命令才能使用。
• 安全模式的检查过程
  当HDFS处于安全模式下时会检查数据块的完整性。假设我们设置的副本数为3（即配置hdfs-site.xml文件，如下）那么在datanod上有3个副本。
  如果系统只存在2个副本，那么副本率为2/3=0.666，在hdfs-default.xml中定义了一个最小副本率0.999f。我们的副本率0.666明显小于0.999f, 因此系统会复制副本到其他的datanode，使得副本率不小于0.999f；
  如果系统中的副本为4，超过了我们设定的2，系统就会删除多余的2个副本