HDFS NameNode和Secondary NameNode的工作机制

• 1 sn请求是否需要checkpoint （更新fsimage）
• 2 滚动日志记录，在新的edits_inprogress记录操作日志
• 3 拷贝相关文件到sn
  • edits （除了edits_inprogress）只会拷贝除了sn上面fsimage编号以后的edits
  • fsimage （只会在初始化集群之后的第一次拷贝）
• 4 加载编辑日志和镜像文件到内存，生成新的fsimage，写到磁盘
• 5 把这个新的fsimage拷贝到nn（namenode只会保存最新的两个fsimage）

---

namenode会不会checkpoint？

• 会，每次重新启动之后会进行，根据fsimage和edits 在内存中重构元数据 ，但是不会将内存中的信息写入磁盘fsimage

---

多久会合并一次元数据？

• 默认是3600s 或者100W条数据

合并元数据的瓶颈？

• 网络IO