NameNode&Secondary NameNode的工作机制
文章目录
- NameNode&Secondary NameNode的工作机制
- 工作流程
- 镜像文件和编辑日志文件
- 镜像文件和日志文件
- 查看Fsimage文件和Edits文件
- 滚动编辑日志
- 版本信息
- NameNode版本号
- SecondaryNameNode目录结构
- 集群安全模式操作
NameNode&Secondary NameNode的工作机制
工作流程
（1）第一阶段：NameNode启动
- 第一次启动namenode格式化 后，创建fsimage和edits文件。如果不是第一次启动 ，直接加载编辑日志(edits)和镜像文件(fsimage)到内存。
- 客户端对元数据进行增删改查的请求。
- NameNode记录操作日志，更新滚动日志。
- NameNode在内存中对数据进行增删改查.
（1）第二阶段：Secondary NameNode工作
- Secondary NameNode询问NameNode是否需要checkpoint。直接带回NameNode是否检查结果。checkpoint可以理解为一个检查时刻。
- Secondary NameNode请求执行checkpoint。
- NameNode滚动正在写的edits日志。
- 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
- Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
- 生成新的镜像文件fsimage.chkpoint。
- 拷贝fsimage.chkpoint到namenode。
- NameNode将fsimage.chkpoint重新命名成fsimage。
（3）checkpoint检查时间参数设置
通常情况下，SecondaryNameNode每隔一小时执行一次。
可以查看相关配置文件。
hdfs-default.xml
dfs.namenode.checkpoint.period
3600
除此之外，SecondaryNameNode每分钟都会检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。
dfs.namenode.checkpoint.txns
1000000
操作动作次数
dfs.namenode.checkpoint.check.period
60
1分钟检查一次操作次数
镜像文件和编辑日志文件
镜像文件和日志文件
NameNode被格式化之后，将在/opt/module/hadoop-2.8.4/data/tmp/dfs/name/current目录中产生如下文件,需要注意的是只能在NameNode所在的节点才能找到此文件。
可以使用命令才查找：
find . -name edits*
- Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。
- Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。
- seen_txid文件保存的是一个数字，就是最后一个edits_的数字。
- 每次Namenode启动的时候都会将fsimage文件读入内存，并从00001开始到seen_txid中记录的数字依次执行每个edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成Namenode启动的时候就将fsimage和edits文件进行了合并。
查看Fsimage文件和Edits文件
如果需要查看Fsimage文件和Edits文件，在linux中查看十分不方便，并且会有格式错误，所以需要进行文件转化。
-
oiv和oev命令
-
oiv查看fsimage文件
基本语法：hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径eg：
hdfs oiv -p XML -i fsimage_0000000000000000316 -o /opt/fsimage.xml需要注意的是，转换后文件的输出路径要加上文件转换后的名称。
-
oev查看edits文件
基本语法：
hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径 -p –processor指定转换类型: binary (二进制格式), xml (默认，XML格式),stats -i –inputFile 输入edits文件，如果是xml后缀，表示XML格式，其他表示二进制 -o –outputFile 输出文件，如果存在，则会覆盖 eg：
hdfs oev -p XML -i edits_0000000000000000135-0000000000000000135 -o /opt/module/hadoop-2.8.4/edits.xml -p stats
图中每个RECORD记录一次操作。
OP_ADD代表添加文件操作、OP_MKDIR代表创建目录操作。
里面还记录了：文件路径（PATH）、修改时间（MTIME）、添加时间（ATIME）、客户端名称（CLIENT_NAME）、客户端地址（CLIENT_MACHINE）、权限（PERMISSION_STATUS）等非常有用的信息。
滚动编辑日志
正常情况HDFS文件系统有更新操作时，就会滚动编辑日志。也可以用命令强制滚动编辑日志。（必须在集群启动的前提下进行）
命令：
hdfs dfsadmin -rollEdits
镜像文件什么时候产生：Namenode启动时加载镜像文件和编辑日志
版本信息
NameNode版本号
在/opt/module/hadoop-2.8.4/data/tmp/dfs/name/current查看VERSION文件
（1） namespaceID：在HDFS上，会有多个Namenode，所以不同Namenode的namespaceID是不同的，分别管理一组blockpoolID。
（2）clusterID：集群id，全局唯一。
（3）cTime属性标记了namenode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。
（4）storageType属性说明该存储目录包含的是namenode的数据结构。
（5）blockpoolID：一个block pool id标识一个block pool，并且是跨集群的全局唯一。当一个新的Namespace被创建的时候(format过程的一部分)会创建并持久化一个唯一ID。在创建过程构建全局唯一的BlockPoolID比人为的配置更可靠一些。NN将BlockPoolID持久化到磁盘中，在后续的启动过程中，会再次load并使用。
（6）layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。
（7）storageID (存储ID)：是DataNode的ID,不唯一。
SecondaryNameNode目录结构
Secondary NameNode是用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
可以在/opt/module/hadoop-2.8.4/data/tmp/dfs/namesecondary/current这个目录中查看SecondaryNameNode目录结构。
目录结构类似于NameNode的目录结构。
SecondaryNameNode的namesecondary/current目录和主namenode的current目录的布局相同。在主namenode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。
如何恢复数据？
方法一：将SecondaryNameNode中数据拷贝到namenode存储数据的目录；
cp -r /opt/module/hadoop-2.8.4/data/dfs/namesecondary/* /opt/module/hadoop-2.8.4/data/dfs/name/
方法二：使用-importCheckpoint选项启动namenode守护进程，从而将SecondaryNameNode中数据拷贝到namenode目录中。
（1）修改/opt/module/hadoop-2.8.4/etc/hadoop目录下的hdfs-site.xml中的配置，value的单位是秒，默认3600，即1小时，仅配置一台即可。加入以下代码段。
dfs.namenode.checkpoint.period
120
dfs.namenode.name.dir
/opt/module/hadoop-2.8.4/data/dfs/name
需要注意的是：如果SecondaryNameNode不和Namenode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到Namenode存储数据的平级目录。
（2）导入检查点数据（等待一会ctrl+c结束掉）
bin/hdfs namenode -importCheckpoint
（3）启动namenode
sbin/hadoop-daemon.sh start namenode
（4）如果提示文件锁了，可以删除in_use.lock
rm -rf /opt/module/hadoop-2.8.4/data/dfs/namesecondary/in_use.lock
集群安全模式操作
（1）概述
Namenode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，namenode开始监听datanode请求。但是此刻，namenode运行在安全模式，即namenode的文件系统对于客户端来说是只读的。
系统中的数据块的位置并不是由namenode维护的，而是以块列表的形式存储在datanode中。在系统的正常操作期间，namenode会在内存中保留所有块位置的映射信息。在安全模式下，各个datanode会向namenode发送最新的块列表信息，namenode了解到足够多的块位置信息之后，即可高效运行文件系统。
如果满足“最小副本条件”，namenode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别（默认值：dfs.replication.min=1）。在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，所以namenode不会进入安全模式。
集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。
（2）相关命令
bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）
bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）
bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）
bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）