HDFS架构

HDFS架构设计: 主从
NN 主名称节点
SNN 第二名称节点 --》NN
DN 从 数据节点

1. NN: 文件系统的命名空间
   a.文件名称
   b.文件目录结构
   c.文件属性(创建时间 权限 副本数)
   d.文件对应哪些数据块—》数据块对应分布到哪些datanode节点上blockmap,namenode节点不会持久化存储这种映射关系，集群在启动时和运行时，datanode定期发送blockreport 给namenode，以此namenode在内存中动态维护这种映射关系！
   
   如上图，橙色的块在DN1,DN2.DN3.黄色的块在DN2.DN3.DN4

作用: 管理文件系统的命名空间，
维护文件系统树，以两种文件永久保存在磁盘。
1.命名空间镜像文件fsimage
2.编辑日志editlog

2.DN: 存储数据块和块的校验和
与NN通信: netty
a.每隔3秒发送一个心跳包
b.每10次心跳发送一个blockReport
主要作用: 文件数据块的读写

3.SNN: secondary 第二
存储: fsimage + editlog
作用: 定期合并fsimage+editlog文件为新的fsimage，推送给NN，称为检查点(checkpoint)

参数:按时间备份 dfs.namenode.checkpoint.period: 3600(官网)

1.2.3.4点都是正常备份
即定期合并fsimage+editlog文件为新的fsimage，推送给NN
但是到4:50,NN挂了，且恢复不了，时间不够1小时SNN来不及备份，4：00到4:50这段数据是丢失的

补充SNN流程图