Hadoop 文件读取

Key Words: namenode, datanode, HDFS, HDFS Client, DistributedFileSystem, FSDataInputStream

Hadoop 文件读取

Hadoop 对于文件的读取流程，是理解 HDFS 的关键之一

具体的步骤如下：

1.客户端调用 FileSystem 对象的 open() 方法来打开待读取的文件（对于 HDFS 来说，就是 DistributedFileSystem）

2.DistributedFileSystem 通过 RPC 来调用 namenode，确定文件起始块的位置，对于每个块，namenode 返回存有该块副本的 datanode 地址。这些 datanode 根据它们与客户端的距离来排序
DistributedFileSystem 类返回一个 FSDataInputStream 对象给客户端以便读取数据（该类封装了 DFSInputStream，管理 datanode 和 namenode 的 I/O）

3.客户端对 FSDataInputStream 调用 read() 方法，DFSInputStream 从它所存储的起始几个块的 datanode 中，选择最近的第一个块所在的 datanode 建立连接

4.通过对数据流反复调用 read() 方法，将数据从 datanode 传输到客户端

5.到达块的末端时，DFSInputStream 关闭与该 datanode 的链接，寻找下一个块的最佳 datanode

6.客户端从流中读取数据时，块是按照打开 DFSInputStream 与 datanode 新建连接的顺序读取的。也会根据需要询问 namenode 来检索下一批数据块的 datanode 的位置。当客户端完成读取，就会对 FSDataInputStream 调用 close() 方法

网络拓扑

• 同一节点上的进程
• 同一机架上的不同节点
• 同一数据中心中不同机架上的节点
• 不同数据中心中的节点

假设有数据中心 d1 机架 r1 中的节点 n1，该节点可以表示为 /d1/r1/n2。利用这种标记，给出四中距离的描述

• distance(/d1/r1/n1, /d1/r1/n1) = 0
• distance(/d1/r1/n1, /d1/r1/n2) = 0
• distance(/d1/r1/n1, /d1/r2/n3) = 0
• distance(/d1/r1/n1, /d2/r3/n4) = 0