Hadoop的管理

HDFS文件结构

NameNode的文件结构

${dfs.name.dir}/current/VERSION

                                          /edits

                                          /fsimage

                                         /fstime

Name的存储目录包含edits,fsimage,fstime三个文件。 

编辑日志(edit log)和文件映像(filesystem imaege)

edit log记录的是所有更新操作,filesystem image记录的检查点的所有元数据信息。

检查点机制可以参考:Oracle与Hadoop namenode检查点实现方式对比

SecondaryNameNode作用

辅助NameNode处理fsimage和edit log的节点,并且可以在NameNode损坏时充当NameNode。

检查点处理过程:

Hadoop的管理_第1张图片


DataNode的目录结构

DataNode不需要格式化,它会在启动时候自己创建存储目录。


Hadoop的管理其它内容,等需要时候驱动学习吧。。。。。。

你可能感兴趣的:(Hadoop的管理)