HDFS读写流程

HDFS读写流程

HDFS写流程

1. client发起文件上传请求，通过RPC（远程调用，跨服务器，需要网络编程实现）与NameNode建立通信。NameNode检查该用户是否有上传的权限，该文件是否在对应的目录下有重名文件，有一个不符合要求则报错
2. client对文件进行切分，默认128一个block，切分完毕后，client请求第一个block该传输到哪个DataNode上。
3. NameNode根据网络拓朴、机架感知、副本机制对文件机型分配，返回可用的DataNode地址
4. client对返回一个DataNode A进行通信，本质是进行RPC调用，建立pipeline，A收到请求之后继续调用B，B再调用C，整个pipeline完成之后，逐级返回client
5. client开始向A发送第一个block(先从磁盘中读取数据然后放到本地缓存)，以packet（默认64kb）为单位，A收到一个packet发送给B，B发送给C，A每传完一个packet就会放入一个应答队列等待应答，每个packet传输玩，反方向会逐个发送ack（命令正确应答）
6. 一个block传输完成之后，client会再次请求NameNode上传第二个block

HDFS读流程

1. client向NameNode发送RPC请求，请求文件block的地址，NameNode通过查询元数据，找到文件块所在的DataNode地址
2. 挑选一台DataNode（就近，然后随机），请求读取数据
3. DataNode传输数据给client（从磁盘读取数据输入流，以packet为单位校验）
4. 客户端以packet为单位接受，先在本地缓存，再写入目标文件
5. 读取时并行读取block文件，不是一块一块读取