hadoop中HDFS实现思想及原理图

1.hdfs是通过分布式集群来存储文件，为客户段提供了一个便捷的访问方式，就是一个虚拟的目录结构。

2.文件被存储到hdfs集群中是被切分成block的。

3.文件的block存放在若干台datanode节点上。

4.hdfs文件系统中的文件与真实的block之间存在映射关系，这个关系是由namenode进行管理。

5.每个block在集群中会存储多个副本，好处是可以提高数据的可靠性，还可以提高系统的吞吐量。

 

hdfs原理图：

hdfs中namenode的处理原理：

namenode工作流程及原理图：

1.客户端上传文件时，NN首先往edits log文件中记录元数据操作日志。

2.客户端开始上传文件，完成后返回成功信息给NN,NN就在内存中写入这次上传操作的新产生的元数据信息。

3.每当editslog写满时，需要将这一段时间的新元数据刷到fsimage文件中

新元数据刷到fsimage文件中需要sn去操作，由sn使用自己的cpu资源操作。具体流程如下图。