大数据学习十二:HDFS读流程和写流程

HDFS读写流程相对于HDFS Client而言,所以读流程为FSDataInputStream , 写流程为FSOutPutStream

1、HDFS读流程

(1)、打开分布式文件流

(2)、向NameNode请求数据文件

(3)、NameNode返回要读取文件的全部或部分元数据信息

(4、5)、HDFS开始从最近的DataNode读取block,若读取的块损坏,则读取备份中的其他block,若所有备份都无法读取,则文件      损坏。

(6)、文件读取文笔,关闭分布式文件流


2、HDFS写流程


(1、2)、HDFS Client 向NameNode申请创建文件,文件创建后,不会被分配block。

(4)、HDFS Client 向DataNode写入数据,DataNode根据复制策略向其他DataNode复制数据

(5)、文件写完毕后,最后一个block依次向前传递ACK确认信息,直到NameNode

(6)、关闭DFS文件流。

你可能感兴趣的:(大数据学习十二:HDFS读流程和写流程)