Hadoop学习日记（一）

Hadoop学习日记（一）

2019.02.27

主题:NameNode元数据管理机制

注：主要参考视频教程段海涛大数据（p11）

1.客户端上传文件时，NN首先往edits log文件中记录元数据操作日志；

2.客户端开始上传文件，完成后返回成功信息给NN，NN就在内存中写入这次上传操作的新产生的元数据信息；

3.每当edits log写满时，需要将这一段时间的新的元数据刷到fsimage文件中去（将edits log和fsimage做合并）；

SecondaryNameNode协助完成edits log与fsimage的合并

secondary namenode的工作流程：

1.SN通知NN切换edits文件；

2.SN从NN获得fsimage和edits log（通过http）；

3.SN将fsimage加载到内存，然后开始合并edits log；

4.SN将新的fsimage发回给NN；

5.NN用新的fsimage替换旧的。

什么时候checkpoint？

fs.checkpoint.period指定两次checkpoint之间的最大时间间隔，默认为3600秒；

fs.checkpoint.size规定edits log文件的最大值，一旦超过这个值则强制checkpoint，不管是否达到时间间隔。默认大小是64M.

NameNode的职责：

1、维护元数据信息；

2、维护hdfs的目录树；

3、响应客户端的请求