namenode和secondarynamenode的区别和联系及辅助恢复元数据

1. namenode主要负责元数据的管理和与client的通讯。

2. secondarynamenode主要负责对namenode的edits日志文件和fsimage文件进行合并。

那这里就必须说说fsimage镜像文件和edits日志文件是什么了？

1.fsimage文件其实就是namenode所管理的元数据的信息，只不过是被序列化到磁盘上的镜像文件，因为namenode的元数据信息都是存在内存中的，如果我们需要重启集群或者namenode挂掉了，那内存中的数据就会被清空，就可以通过加载fsimage镜像文件将元数据信息反序列化到内存中。

2.edits日志文件是记录了最近namenode元数据的变化信息，比如添加或者删除了哪些文件，建立了那些目录之类的信息，主要用于和fsimage镜像合并为最新的fsimage，如果每次都直接将fsimage序列化到磁盘，这样会很浪费资源。

上面说到合并过程是由secondarynamenode去做的，那它是怎么合并的呢？

如上图所示，namenode和secondarynamenode之间会有通讯，当第一次进行合并的时候secondarynamenode会从namenode中将需要合并的edits和fsimage拷贝到自己这台服务器上来，然后将fsimage和edits反序列化到secondarynamenode的内存中，进行计算合并，合并完成后会生成一个新checkpoint的fsimage并上传到namenode且覆盖namenode老的fsimage，如果第二次合并就不需要从namenode上copy fsimage了，只需要copy edits文件即可

注意：
secondarynamenode会进行edits和fsimage合并，需要把数据反序列化到内存中，所以一般需要把namenode和secondarynamenode分别部署到不同的机器上面，且内存都必须比较大。

按照上面所说的原理可以看出来secondarynamenode的fsimage至少都会比namenode的fsimage新，如果namenode的fsimage和edits目录只设置了一个，且设置目录的硬盘坏了，我们就可以通过secondarynamenode的fsimage进行辅助恢复，可以直接更换磁盘或者修改配置文件路径，然后把secondarynamenode下的镜像目录copy到namenode设置的目录下重启namenode即可，这样能恢复绝大部分的元数据。当然安全起见，namenode元数据的文件夹最好放在多个磁盘上面进行冗余（可以通过配置文件配置），防止数据丢失。