大数据Haoop之HDFS的SN合并原理

大数据Haoop之HDFS的SN合并原理_第1张图片

SN合并方式有两种:
SN主动通知NN,合并fsimage和edits
当edits文件到达我们设置的大小时,NN与SN通信,进行合并

edits.new文件:
1.标记上一次操作是完整结束的
2.在edits与fsimage合并期间,负责记录用户新的操作的指令

三个服务节点发生故障的情况:
NN:集群无法使用
SN:无法完成合并工作,edits会一直变大,在服务器接受的范围内,可以正常使用,超过承受范围,无法使用
DN:由NN将发生故障的DN上的元文件的所有副本复制到其他的DN,前提是DN能够接受的数据大小要大于最大的副本数

合并的原理:
1.当edits文件到达相应的大小时,NN与SN通信,请求合并
2.在合并前,edits生成edits.new文件
3.在SN中,SN将edits与fsimage进行合并,产生一个新的文件:fsimage.ckpt
4.在合并完成以后,fsimage.ckpt返回到NN
5.在NN中,将原来的edits和fsimage删除
6.NN将edits.new重命名为edits,fsimage.ckpt重命名为fsimage
7.此次合并结束,等待下次合并,一直循环

你可能感兴趣的:(hadoop)