Hadoop总结之HDFS-Client端向HDFS中读写数据的流程

一、Client向HDFS中存入数据

Hadoop总结之HDFS-Client端向HDFS中读写数据的流程_第1张图片

1.客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。

2.NameNode返回是否可以上传。不能上传会返回异常。

3.确定可以上传,客户端请求第一个 block上传到哪几个datanode服务器上。

4.NameNode返回3个datanode节点,假定分别为dn1、dn2、dn3。

5.客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。

6.dn1、dn2、dn3逐级应答客户端。

7.客户端开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet(64KB)为单位,dn1收到一个packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答。

8.当一个block传输完成之后,客户端再次请求NameNode上传第二个block的服务器。(重复执行3-7步)。

二、Client读取HDFS中的数据

Hadoop总结之HDFS-Client端向HDFS中读写数据的流程_第2张图片

1.首先调用FileSystem.open()方法,获取到DistributedFileSystem实例

2.DistributedFileSystem 向Namenode发起RPC(远程过程调用)请求获得文件的开始部分或全部block列表,对于每个返回的块,都包含块所在的DataNode地址。这些DataNode会按照Hadoop定义的集群拓扑结构得出客户端的距离,然后再进行排序。如果客户端本身就是一个DataNode,那么他将从本地读取文件。(就近原则,谁近就读谁)

3.DistributedFileSystem会向客户端client返回一个支持文件定位的输入流对象FSDataInputStream,用于客户端读取数据。FSDataInputStream包含一个DFSInputStream对象,这个对象用来管理DataNode和NameNode之间的I/O

4.客户端调用read()方法,DFSInputStream就会找出离客户端最近的datanode并连接datanode

5.DFSInputStream对象中包含文件开始部分的数据块所在的DataNode地址,首先它会连接包含文件第一个块最近DataNode。随后,在数据流中重复调用read()函数,直到这个块全部读完为止。如果第一个block块的数据读完,就会关闭指向第一个block块的datanode连接,接着读取下一个block块

6.如果第一批block都读完了,DFSInputStream就会去NameNode拿下一批blocks的location,然后继续读,如果所有的block块都读完,这时就会关闭掉所有的流。

你可能感兴趣的:(hadoop,hdfs,大数据)