Hadoop笔记--hdfs中namenode工作机制

HDFS中NameNode工作机制

1.NameNode的主要功能

（1）负责客户端请求的响应；

（2）负责元数据的管理。

2.元数据管理

namenode对数据管理采用了三种存储形式：

（1）内存元数据；

（2）磁盘元数据镜像文件；

（3）数据操作日志文件（可以通过日志运算出元数据）。

2.1元数据的存储机制

（1）内存中有一份完整的元数据（meta data）；

（2）磁盘中有一个元数据镜像文件（fsimage），fsimage是HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息；

（3）用于衔接内存meta data和持久化元数据镜像fsimage之间的操作日志（edits文件）；edits保存了自最后一次检查点之后所有针对HDFS文件系统的操作，比如：增加文件、重命名文件、删除目录等等。

这两种文件存放在${dfs.namenode.name.dir}/current/目录下，文件名以edits_和fsimage_命名，该目录为NameNode上的本地目录。为了保证这两种元数据文件的高可用性，一般的做法，将dfs.namenode.name.dir设置成以逗号分隔的多个目录，这多个目录至少不要在一块磁盘上，最好放在不同的机器上。

2.2手动查看元数据

由于这fsimage和edits是经过序列化的，非文本的，因此无法直接查看，Hadoop2.X中，hdfs提供了查看这两种文件的工具。

（1）命令hdfs oiv用于将fsimage文件转换成其他格式的，如文本文件、XML文件。

    该命令需要以下参数：

    必须参数：-i 输入fsimage文件，-o 输出文件路径，如果该路径已存在，则覆盖.

    可选参数：-p 将fsimage转换成哪种格式，有Ls/XML/FileDistribution，默认为Ls。

                    -h 显示帮助信息。

（2）命令hdfs oev用于查看edits文件

  该命令需要以下参数：

    必须参数：-i 输入edits文件，如果是xml后缀，表示XML格式，其他表示二进制。

    可选参数：-p 将edits转换成哪种格式，有Ls/XML/FileDistribution，默认为Ls。

                    -h 显示帮助信息。

                    -f 重置输入edits文件中的transaction IDs。

                    -r 使用recovery模式，跳过edits中的错误记录。

                    -v 打印处理时的输出。

2.3 元数据的checkpoint

每隔一段时间，会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地，并加载到内存进行merge，这个过程称为checkpoint。

checkpoint操作的触发条件配置参数

dfs.namenode.checkpoint.check.period=60  #检查触发条件是否满足的频率，60秒 dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary #以上两个参数做checkpoint操作时，secondary namenode的本地工作目录 dfs.namenode.checkpoint.edits.dir=${dfs.namenode.checkpoint.dir}   dfs.namenode.checkpoint.max-retries=3  #最大重试次数 dfs.namenode.checkpoint.period=3600  #两次checkpoint之间的时间间隔3600秒 dfs.namenode.checkpoint.txns=1000000 #两次checkpoint之间最大的操作记录

checkpoint的附带作用

namenode和secondary namenode的工作目录存储结构完全相同，所以，当namenode故障退出需要重新恢复时，可以从 secondary namenode的工作目录中将fsimage拷贝到namenode的工作目录，以恢复namenode的元数据。