hdfs启动流程

Namenode
1.init()
namenode初始化,执行加载配置文件等操作
2.loadFsImage()
开始加载元数据将FsImage护额徐为目录树,保存在内存中FsImage中主要包含了问价你和数据块的对应关系
3.loadEditlog()
加载Editlog,将Editlog中记录的元数据修改应用到内存中;
4.saveCheckpoint()
将内存中最新的目录树持久化为新的FsImage到磁盘,以加快下次启动速度
5.startRpcServer()
启动RPC服务,开始接受外部请求;
6.startTrashEmptier()
如果启用了回收站机制,初始化垃圾清理线程,定期删除回收站中的数据;
Datanode
7.init()
Datanode初始化,执行加载配置文件等操作。namenode与datanode同时启动,与1-6无先后关系
Namenode
8.register()
datanode发起PRC请求,将自身注册到集群;注册消息主要包含hostnam和blockPool标识(namenode格式化时生效,类似UUID,全局唯一),用于判断改datanode是否允许接入该集群。
Datanode
9.scanBlock()
datanode按照配置的数据存储路径,并行扫描本地数据磁盘,加载数据块信息到内存中(主要是块id,块文件物理路径等元数据信息,不包含数据块内容本身)
Namenode
10.safeMode()
namenode在完成自身的一些列初始化流程后进入安全模式,等待datanode上报数据块信息。此时,系统是只读的。
11.blockReport()
datanode在完成数据磁盘扫描后生成块报告,上报给namenode,每个块使用三个long值描述,即块id,块长度,版本时间戳GS,共24字节(通过网络发送时,使用变长编码,因此通常远小于24字节)
Datanode
12.startDataXceiverServer()
datanode启动字节传输服务,开始接受数据块的读写请求
13.startRpcServer()
datanode启动RPC服务,该服务主要用于集群内部通信,传输管理命令
Namenode
14.wait()
namenode在收到足够数量的blockReport之后(默认为99.9%的块达到了,最小副本为1,等待额外的30秒,推出安全模式,此时namenode完成数据块个datanode的映射关系,允许接受读写请求。

namenode与datanode均采用多线程架构,没有严格的顺序,多个线程并行在后台运行。

你可能感兴趣的:(hadoop,hdfs,hadoop)