Hadoop技术点总结

HDFS的读写流程：

image.png

1.Client通过FileSystem.open(filePath)方法,与NameNode节点进行【rpc】协议通信，校验是否有权限是否存在文件，假如都存在，返回该文件的部分或全部的blockList(包含各个block块的分布在DN地址的列表)，也就是返回【FSDataInputStream】对象；
2.Clinet调用FSDataInputStream.read方法
1）与第一个块的最近的DataNode进行read，读取完成后，会check,假如ok，会关闭与当前的DN的通信；假如失败会记录块的这个副本+DN信息，下次就不会从这读取。那么就去该块的第二个DN的地址读取
2)然后读取第二个块，如第一个
3)假如block列表读取完成后，文件还未结束，那么FileSystem会从NN获取下一批次的block的列表。当然读操作对于client,就是透明的，感觉就是连续的数据流
3.Client调用FSDataInputStream.close()方法，关闭输入流