hadoop文件上传解析

首先hadoop文件上传是一个复杂的过程，下面就让我们一下图为例进行简单的过程解析。

由上图客户端上传一个文件，比如上述路径，首先hadoop平台查询内存元数据信息是否可以上传，如果可以那么namenode会分配需要上传的datanode数信息，然后通知客户端可以进行文件上传此过程会使用远程调用框架技术（RPC）,这里不在复述，然后客户端根据返回树信息进行文件上传，上传成功之后datanode通过管道方式进行副本复制，若成功则返回给namenode，记录edit日志，若满足checkpoint，hdfs使用通过算法生成新的fsimge和新的editlog,然后更新内存中元数据信息，并删除原有的faimage；如果副本复制不成功则返回namenode,然后namenode根据日志信息从新分配block块信息然后进行副本生成成功之后与上述一样。这就是hadoop上传文件的简单的流程。