HDFS（4）- 数据流之读取

HDFS文件读取步骤是怎么样的？我们通过下图中的步骤顺序一步步梳理，然后再看这样设计的好处。

hdfs-read.png

步骤（Java客户端）

1. open

客户端调用FileSystem对象的open()方法来打开希望读取的文件，对于HDFS来说，FileSystem对象是DistributedFileSystem的一个实例。

2. get block locations

DistributedFileSystem通过使用远程过程调用（RPC）来调用namenode，以确定文件起始块的位置。对于每个块，namenode返回存有该块副本的datanode地址。datanode根据距离客户端的距离来排序，会选择在最近的datanode中读取数据。

3. read，read from FSDataInputStream

DistributedFileSystem类返回一个FSDataInputStream对象给客户端用来读取数据，该对象支持文件定位，该对象对datanode和namenode的I/O进行了封装。客户端对这个输入流代用read()方法。

4. read，read from first datanode

存储着文件起始块的datanode地址的DFSInputStream(3 中的FSDataInputStream封装了DFSInputStream )连接距离最近的文件中的第一个块所在的datanode，通过read()方法，将数据从datanode传输到客户端。

5. read，read from next datanode

读取到块的末端时，DFSInputStream关闭与datanode的连接，然后寻找下一个块的最佳（距离最近）的datanode。对于客户端来说，客户端只是在读取一个连续的流。

6. close

客户端读取完成后，调用FSDataInputStream对象的close()方法关闭流。

设计优势

1. 容错

在 4 和 5 步骤中，如果DFSInputStream与datanode的通信失败，会尝试从这个块的另一个最邻近的datanode读取数据。也会记住这故障的datanode，并校验从datanode读取到的数据是否完整。如有损坏的块也会尝试从其他datanode读取这个块的副本，并将损坏的块的情况告诉namenode。

2. 提高客户端并发

客户端可以直接连接到datanode检索数据，并且namenode告知客户端每个块所在的距离客户端最近的datanode。这样数据流就分散在了集群中的所有的datanode上，使HDFS可以接受大量客户端的并发读取请求。

3. 减轻namenode的处理压力

这样设计namenode只需要响应获取块位置的请求，这些信息由datanode汇报并存在内存中，非常高效，数据响应交给datanode，自身不需要响应数据请求。如果不这样做，namenode将成为瓶颈。