HDFS客户端上传文件流程

HDFS客户端上次文件流程

 
1 客户端与nameNode通讯
 1.1 客户端像nameNode发送上传文件请求。
 1.2 nameNode返回响应，允许客户端上传文件。
 1.3 客户端根据配置（dfs.blocksize - 块大少、hadoop 2.x 默认为128M）将文件切成N个block。
 1.4 客户端向nameNode发出RPC请求上传第一个block，nameNode返回dataNode列表（dfs.replication - 副本个数、默认为3，需要多少个副本则返回多少个dataNode，选择dataNode主要考虑空间与距离）。
 备注：dataNode选择策略（通过机架感知实现）。1、考虑网络传输效率，第一个优先考虑与客户端最近的dataNode（后面称该dataNode为dataNodeA，后面的如此类推）。2、效率副本可靠性，第二个dataNode会考虑与第一个不同机架的dataNode。3、第3个dataNode一般会在1个DataNode的机架上挑一个。
 
2 客户端与dataNode通讯
 2.1 客户端与dataNodeA建立通道，上传第一个bolck。
 2.2 dataNodeA与dataNodeB建立通道，通过PIPE LINE将数据传输至dataNodeB。
 2.3 dataNodeB与dataNodeC建立通道，通过PIPE LINE将数据传输至dataNodeC。
 2.4 客户端与dataNodeA传输完毕，dataNodeA则返回一个成功答应。
 
 细节：
 1、数据传输是以packet为单位进行传输，大小默认为64K。packet以chunk为单位进行校验，大小默认为512Byte。
 2、只要有一个副本上传成功即可，其余失败的副本，之后nameNode会做异步的同步。
 3、每传一个block，都需要向nameNode发出请求。