HDFS架构 之 元数据架构解析

1、内存Tree介绍啊

1.1 namenode启动流程

1.1.1 启动流程

1、加载fsimage文件
FsImage是一种持久化到磁盘上的文件，里面包含了集群大部分的meta数据，持久化的目的主要是为了防止meta数据丢失，也就是在HDFS不可用的情况下还能够保证绝大多数的数据是正常的。这个工作在Namenode服务中有专门的线程去做。FsImage文件最终会被保存在${dfs.namenode.name.dir}/current目录中。

FsImage包含了所有在持久化之前Namenode管理的meta信息，加载这些数据时会按照数据类型逐条、串行处理每一条数据，然后填充到Namenode内存中的主体结构FSDirectory中。。具体类型如下所示。

• NS_INFO：描述当前namespace中的标识信息。
• STRING_TABLE：描述当前namespace中String Table信息。
• INODE：描述当前namespace中的文件数据。• INODE_REFERENCE：描述当前namespace中的inode reference信息。
• SNAPSHOT：描述当前namespace中的snapshot信息。
• INODE_DIR：描述当前namespace中的目录数据。
• FILES_UNDERCONSTRUCTION：描述当前namespace中的正在生成文件的信息
• SNAPSHOT_DIFF：描述当前namespace中存在差异的snapshot信息
• SECRET_MANAGER：描述当前namespace中和Delegation Tok