HDFS客户端上传下载文件流程

HDFS客户端上次文件流程

 
1 客户端与nameNode通讯
 1.1 客户端像nameNode发送上传文件请求。
 1.2 nameNode返回响应，允许客户端上传文件。
 1.3 客户端根据配置（dfs.blocksize - 块大少、hadoop 2.x 默认为128M）将文件切成N个block。
 1.4 客户端向nameNode发出RPC请求上传第一个block，nameNode返回dataNode列表（dfs.replication - 副本个数、默认为3，需要多少个副本则返回多少个dataNode，选择dataNode主要考虑空间与距离）。
 备注：dataNode选择策略（通过机架感知实现）。1、考虑网络传输效率，第一个优先考虑与客户端最近的dataNode（后面称该dataNode为dataNodeA，后面的如此类推）。2、效率副本可靠性，第二个dataNode会考虑与第一个不同机架的dataNode。3、第3个dataNode一般会在1个DataNode的机架上挑一个。
 
2 客户端与dataNode通讯
 2.1 客户端与dataNodeA建立通道，上传第一个bolck。
 2.2 dataNodeA与dataNodeB建立通道，通过PIPE LINE将数据传输至dataNodeB。
 2.3 dataNodeB与dataNodeC建立通道，通过PIPE LINE将数据传输至dataNodeC。
 2.4 客户端与dataNodeA传输完毕，dataNodeA则返回一个成功答应。
 
 细节：
 1、数据传输是以packet为单位进行传输，大小默认为64K。packet以chunk为单位进行校验，大小默认为512Byte。
 2、只要有一个副本上传成功即可，其余失败的副本，之后nameNode会做异步的同步。
 3、每传一个block，都需要向nameNode发出请求。

3 HDFS的读数据流程：

　　客户端将要读取的文件路径发送给Namenode，Namenode获取文件的元信息（主要是block的存放位置信息）返回给客户端，客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件

详细步骤解析

　　1、跟namenode通信查询元数据，找到文件块所在的datanode服务器

　　2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流

　　3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）

　　4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件