hdfs中NameNode启动过程介绍

1.NameNode启动过程介绍

一、简单介绍NameNode
NameNode存储文件系统的元数据。

二、NameNode的存储
NameNodede数据存放在两个地方,一个是内存,一个是本地磁盘。在磁盘中的存储分为fsimage(镜像文件)、edits(编辑日志文件)。

三、NameNode的启动过程
1.第一次启动hdfs,我们需要格式化hdfs文件系统。

hdfs bin/hdfs namenode -format

格式化hdfs的后我们会生成fsimage镜像文件,存储文件系统的元数据。
2.格式化hdfs后,启动NameNode。nameNode会读取fsimage镜像文件。获取文件的元数据如文件名,文件目录结构,文件属性(生成时 间、副本数、文件权限)以及每个文件的块列表和块的位置。
3.启动DataNode,启动DataNode首先会向NameNode去注册,然后会向NameNode发送一些块的报告。NameNode为了核对dataNode上的块(数据)是否有缺失情况。
4.当用户用文件系统对文件进行创建、上传、读取、删除等操作的时候,NameNode会将这些操作写入编辑日志文件edits中。由此看出edits这个文件存放的是文件系统中元数据的变化信息。


第二次启动hdfs,启动NameNode ,nameNode首先读取镜像文件fsimage和编辑日志文件edits,这时候,nameNode 拥有完整的元数据,加载到内存,然后创建一个新的fsimage文件,并创建一个新的edits文件。然后接着走第一次启动的2.3.4步骤。

2.SecondaryNameNode的辅助过程介绍

一、简单介绍SecondaryNameNode
辅助NameNode。

二、SecondaryNameNode的辅助过程
由于edits文件太大,nameNode读起来很费时间。所以SecondaryNameNode会帮着nameNode读取edits和fsimage文件并生成一个新的fsimage文件给nameNode。提高NameNode的工作效率。

3.SafeMode介绍

一、什么时候会出现安全模式?
启动NomeNode开始到校验DataNode向NameNode发送的块数据成功后。当hdfs处于安全模式的时候,不允许进行改变元数据的操作如上传文件,删除文件等。允许读操作。
二手动SafeMode操作
进入安全模式

[hadoop@hadoop-sjzc hadoop-2.5.0]$ bin/hdfs dfsadmin -safemode enter

查看安全模式

[hadoop@hadoop-sjzc hadoop-2.5.0]$ bin/hdfs dfsadmin -safemode get

退出安全模式

[hadoop@hadoop-sjzc hadoop-2.5.0]$ bin/hdfs dfsadmin -safemode leave

你可能感兴趣的:(hadoop,namenode,hdfs,存储)