hdfs读写原理

HDFS读原理
- client向namenode发送读请求
- namenode查看Metadata的信息,返回fileA的block的位置
- block的位置是有先后顺序的,先读block1,再读block2.比如block1去host2上读取,block2去host5上读取.
hdfs读写原理_第1张图片

HDFS写原理
假如有一个文件FileA,130M大小,client将FileA写入HDFS上.HDFS默认分布在Rack1,Rack2,Rack3三个机架上.
- client将FileA按128M分块,分成两块,block1和block2.
- client向namenode发送写数据请求.
- namenode节点,记录block信息,并返回可用的datanode.
- client向datanode发送block1,发送过程是以流写入.
hdfs读写原理_第2张图片

你可能感兴趣的:(hdfs读写原理)