HDFS中文件读写的流程

1.HDFS文件的读取流程:

客户端向NameNode发送文件读取请求,NameNode给客户端返回元数据,就知道文件包含哪些块,以及这些块在哪些DataNode找的到,客户端读取blocks,下载下来后,进行组装。

HDFS中文件读写的流程_第1张图片

2.HDFS写入文件的流程

文件拆分成块,通知NameNode.NameNode会找到一些可用的当前在线也有足够磁盘空间的DataNodes,返回给客户端,根据返回的DataNodes,客户端将blocks写入,写入块之后要进行流水线复制,复制完成之后,再更新元数据,告诉NameNode已经完成创建数据块,保证NameNode中的元数据都是最新状态。写完一个block写第二个block同样的流程。

HDFS中文件读写的流程_第2张图片

你可能感兴趣的:(Hadoop)