复习记录一:HDFS元数据管理

fsimage和edits

在HDFS集群中,NameNode的元数据都保存在了fsiamge和edits当中。这两个文件就记录了所有的元数据信息。

edits
  • edits存放了客户端最近一段时间的操作记录日志。
  • 客户端对HDFS进行写文件时,会首先被记录到edits中。
  • edits修改时元数据也会更新。
fsimage
  • NameNode中关于元数据的镜像,一般都称为检查点,fsimage存放了一份比较完整的元数据信息。
SecondaryNameNode的合并操作

为了防止edits文件过大,SecondaryNameNode会定期的合并fsimage和edits。

触发条件
1.定期,时间1个小时。
2.当容量达到64M时会触发。

SecondaryNameNode会定期的合并fsimage和edits,合并成新的fsimage文件。并且清空edits日志文件。之后会将新的fsimage替换到旧的fsimage。

SecondaryNameNode作用:在NameNode运行期间,会辅助NameNode完成对元数据的整理和更新。

你可能感兴趣的:(复习)