hadoop NameNode和DataNode运行机制

1）第一阶段：namenode启动

（1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改查的请求
（3）namenode记录操作日志，更新滚动日志。

（4）namenode在内存中对数据进行增删改查

2）第二阶段：Secondary NameNode工作

       （1）Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。

       （2）Secondary NameNode请求执行checkpoint。

       （3）namenode滚动正在写的edits日志

       （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode

       （5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。

       （6）生成新的镜像文件fsimage.chkpoint

       （7）拷贝fsimage.chkpoint到namenode

       （8）namenode将fsimage.chkpoint重新命名成fsimage

 

1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。

3）心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。

4）集群运行中可以安全加入和退出一些机器