HDFS笔记1

1、HDFS文件的读写与对普通文件的读写是一样道理,只不过,其读写的文件是分布式文件系统上的,是基于网络上的。

2、不论是文件读取,还是文件的写入,主控服务器扮演的都是中介 的角色。客户端把自己的需求提交给主控服务器,主控服务器挑选合适的数据服务器,介绍给客户端,让客户端和数据服务器单聊,要读要写随你们便。这种策略类似于DMA,降低了主控服务器的负载,提高了效率。

3、客户端通过RPC调用NameNode;

4、但客户端与DataNode之间的文件读写不是走PRC机制!!

5、文件读取是一个一对一的过程,一个客户端,只需要与一个数据服务器联系,就可以获得所需的内容。但是,写入操作,则是一个一对多的流程。一次写入,需要在所有存放相关数据块的数据服务器都保持同步的更新,有任何的差池,整个流程就告失败。

6、在HDFS中,并发写入的次序控制,是由主控服务器来把握的。当创建、续写一个文件的时候,该文件的节点类,由INodeFile 升级成为INodeFileUnderConstruction ,INodeFileUnderConstruction 是INodeFile的子类,它起到一个锁的作用。如果当一个客户端想创建或续写的文件是INodeFileUnderConstruction,会引发 异常,因为这说明此处有进程在写,从而保持了并发写入的次序性。

你可能感兴趣的:(HDFS笔记1)