大数据之hdfs详解之六:读流程

之前也说过读写操作对于用户来说是透明的、无感知的,用户并不关心文件是如何写进去和读出来的,例如hdfs dfs -ls 、hdfs dfs -cat、hdfs dfs -du等命令都是读流程,可以说除了上传等的命令,大部分常用的hdfs命令是读流程的。

首先来看下方的一张图,经典读流程图:
大数据之hdfs详解之六:读流程_第1张图片

下面的3个DataNode可以看作是3台不同的机器运行的进程,HDFS Client和NameNode同样也可以看成是一台机器运行的进程。

读流程总结如下:

1.HDFS Client通过分布式Distributed FileSystem.open(path)方法,去与NameNode进行RPC通信,NameNode会校验这个路径是否存在以及权限是否OK。(获得block的位置信息,因为真正的block是存在DataNode节点上的,而NameNode里存放了block位置信息的元数据。)

2.校验完成后,返回文件的部分或全部的block列表(其实就是返回FSDataInputStream对象),并将这些信息返回给客户端。

3.客户端拿到block的位置信息后调用FSDataInputStream对象的read()方法,
a.去与第一个块的最近的DataNode进行read,读取完成后,会校验,
----假如OK,会关闭与当前的DataNode的通信。
----假设check fail,会记录失败的块+DataNode信息反馈给NameNode,下次就不会读取了,那么会去这个块的第二个DataNode地址读取
b.然后读取第二个块的最近的datanode,check后,会关闭与DN的通信
c.假设整个block列表读取完了,文件还没结束,就调用Distributed FileSystem继续读取下一批次的block的列表,这个block列表有可能一次性获取不完,有可能分多次获取。
图中4和5流程是并发的,block默认有3个副本,所以每一个block只需要从一个副本读取就可以。

4.当所有的块读完之后,客户端Client调用FSDataInputStream.close(),关闭输入流。

你可能感兴趣的:(Bigdata,learning,大数据,零基础,hadoop)