（HDFS）Fsimage，Edits详解

Fsimage，Edits详解

目标：掌握Fsimage和Edits的作用。
NameNode元数据详解
（1）第一次启动namenode格式化后，创建fsimage和的edits文件。如果不是第一次启动，直接加载edits和fsimage文件到内存。
（2）客户端对原数据进行增删改的请求
（3）namenode记录操作日志，更新滚动日志。
（4）namenode在内存中对数据进行增删改查

fsimage保存了最新的元数据检查点，在HDFS启动时加载fsimage的信息，包含了整个HDFS文件系统的所有目录和文件的信息。
对于文件来说包括了数据块描述信息、修改时间、访问时间等。
对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。

editlog主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录，HDFS客户端执行所有的写操作都会被记录到editlog中。
Fsimage，editlog主要用于在集群启动时将集群的状态恢复到关闭前的状态。
为了达到这个目的，集群启动时将Fsimage、editlog加载到内存中，进行合并，合并后恢复完成。

元数据信息目录的配置
hdfs-site.xml当中

dfs.namenode.name.dir

file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas



dfs.namenode.edits.dir

file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/dfs/nn/edits

课堂总结：
Fsimage是对HDFS文件系统镜像或快照（周期性记录）（此文件相对较小）
Edits记录客户端所有的增删改追加等操作（没有使用Secondary NameNode之前，不是周期性）（此文件相对较大）
Fsimage Edits的作用是：用于还原集群上次关闭的状态。还原时将两个文件加载到内存，检查，合并最终生成一个新的Fsimage.原本的edits失效。

FSimage文件当中的文件信息查看

使用命令 hdfs oiv
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas/current
hdfs oiv -i fsimage_0000000000000000864 -p XML -o hello.xml

edits当中的文件信息查看
查看命令 hdfs oev
cd /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits/current
hdfs oev -i edits_0000000000000000865-0000000000000000866 -o myedit.xml -p XML

课堂总结：
在配置文件hdfs-site.xml中记录了两个文件的存放位置。
dfs.namenode.name.dir Fsimage 的存放路径
dfs.namenode.edits.dir edits日志存放的路径
将Fsimage转换成xml
hdfs oiv -i fsimage_0000000000000024681 -p XML -o test001.xml
将 Edits转换成xml
hdfs oev -i edits_0000000000000000523-0000000000000024565 -p XML -o test002.xml

secondarynameNode如何辅助管理FSImage与Edits文件

目标：掌握secondarynameNode是符合辅助nameNode合并Fsimage和Edits的。
由于editlog记录了集群运行期间所有对HDFS的相关操作，所以这个文件会很大。
集群关闭后再次启动时会将Fsimage，editlog加载到内存中，进行合并，恢复到集群的。
由于editlog文件很大所有，集群再次启动时会花费较长时间。
为了加快集群的启动时间，所以使用secondarynameNode辅助NameNode合并Fsimage，editlog。
原理如下

1、 secnonaryNN通知NameNode切换editlog
2、secondaryNN从NameNode中获得FSImage和editlog(通过http方式)
3、secondaryNN将FSImage载入内存，然后开始合并editlog，合并之后成为新的fsimage
4、secondaryNN将新的fsimage发回给NameNode
5、NameNode用新的fsimage替换旧的fsimage

完成合并的是secondarynamenode，会请求namenode停止使用edits,暂时将新写操作放入一个新的文件中（edits.new)。secondarynamenode从namenode中通过http get获得edits，因为要和fsimage合并，所以也是通过http get 的方式把fsimage加载到内存，然后逐一执行具体对文件系统的操作，与fsimage合并，生成新的fsimage，然后把fsimage发送给namenode，通过http post的方式。namenode从secondarynamenode获得了fsimage后会把原有的fsimage替换为新的fsimage,把edits.new变成edits。
Hadoop进入安全模式时需要管理员使用dfsadmin的save namespace来创建新的检查点。
secondarynamenode在合并edits和fsimage时需要消耗的内存和namenode差不多，所以一般把namenode和secondarynamenode放在不同的机器上。fsimage与edits的合并时机取决于两个参数，第一个参数是默认1小时fsimage与edits合并一次。
第二个参数是hdfs操作次数达到1000000 也会触发合并

第一个参数：时间达到一个小时fsimage与edits就会进行合并
dfs.namenode.checkpoint.period ：3600
第二个参数：hdfs操作达到1000000次也会进行合并
dfs.namenode.checkpoint.txns ：1000000
还有一个参数是每隔多长时间检查一次hdfs的操作次数
dfs.namenode.checkpoint.check.period ：60

课堂总结：
前提：不适用SecondaryNamenode辅助管理的话，日志文件会很大，日志大会导致集群恢复上次关机前的状态会花费很长时间，这个时候集群长时间处于安全模式，集群不可用。
目标：加快二次启动的速度。（减少集群二次启动的时间）
SecondaryNamenode周期性复制NameNode的fsimage和edits到本机（SecondaryNamenode本机），将两个文件进行和并，最终生成全新的fsimage发送回Namenode.

意义：辅助NameNode合并fsimage Edits减小了日志的大小，加快了二次启动集群的速度。