HDFS中FileSystem的源码分析

需要整理HDFS的读写过程

FileSystem设计思想

  • FileSystem本身是一个抽象类,有多个子类,根据配置文件中配置项的不同会有不同的子类实现。可以认为FileSystem屏蔽了底层不同文件系统的细节实现,对外暴露的是统一的接口,方便其他函数的调用。
FileSystem fs = null;

    public void init() throws Exception{
        
        //读取classpath下的xxx-site.xml 配置文件,并解析其内容,封装到conf对象中
        Configuration conf = new Configuration();
        
        //也可以在代码中对conf中的配置信息进行手动设置,会覆盖掉配置文件中的读取的值
        conf.set("fs.defaultFS", "hdfs://weekend110:9000/");
        
        //根据配置信息,去获取一个具体文件系统的客户端操作实例对象
        fs = FileSystem.get(new URI("hdfs://weekend110:9000/"),conf,"hadoop");
        
        
    }
  • 可以看出,fs的示例是FileSystem.get(conf)来得到的,具体的实现子类是根据conf的配置文件中的配置项决定的。
  • FileSystem的子类包括DistributedFileSystem、FTPFileSystem、RawLocalFileSystem等多个不同的文件系统

Hadoop的RPC(远程过程调用)框架实现机制

  • 难点:

    1. RPC 动态代理+反射机制+Socket通信(代理这里没听明白,为什么要用代理?验证机制是怎么做的?拦截是什么?)
    2. RPC编程实践的思路梳理(接口与实现类的关系、代理对象的获得,各个方法的形参意义)
    3. 采用RPC的好处是什么?
    4. 源码分析
  • 复习大纲:

    1. RPC底层原理 (socket、tcp、非hadoop),效果就是好像是本地自己完成的一样,实际上部分中间过程是通过RPC调用服务端的程序实现的

    2. 为什么RPC要自己实现RPC框架?优化网络带宽,各节点之间的通信都是通过RPC框架实现的,因为Hadoop本身是一个集群。client与namenode、namenode与datanode、datanode与datanode

    3. 实现一个RPC框架 (动态代理+反射机制+Socket通信)

    4. RPC框架工作流程:

      1. 生成动态代理对象proxy(代理调用端socket)
      2. 通过proxy调用业务方法
      3. proxy调用的业务方法调用socket的请求方法
      4. 用socket的send()方法,向被调用端的socket发送请求,此时工作场景来到了被调用端
      5. 被调用端的socket接收请求并生成一个被调用端的代理对象
      6. 被调用端的代理对象调用业务方法
      7. 被调用端的socket获取代理对象业务方法的返回结果
      8. 通过socket将结果返回给调用端的socket
      9. 调用端的socket把结果返回给调用端的业务方法
    5. RPC编程实践(2-07)
      注意,RPC编程肯定会分为客户端和服务端,服务端和客户端都有着相同的接口,但是实现类在服务端,客户端这里没有实现类,通过动态代理指向相应的接口,在调用相关的接口方法时,会通过socket把相关的方法参数和信息发送给服务端的socket,服务端socket调用实现类的相应方法,得到返回结果后再返回给客户端,这个过程就是RPC

    6. 采用RPC的好处
      集群中可以多个服务器执行相同的程序,提升程序的并发性和扩展性。

      • 并发性是指同样的服务可以有多个机器来提供,在调用端需要服务时,可以找一个负载空闲的服务器去请求,使系统的并发性得到提高。
      • 扩展性同理,若当前系统满负荷了,可以很方便的在集群中增加一个节点,来分担系统的负担
      • 如何实现弹性伸缩?即在集群中增加或减少一个节点,在客户端是感应不到的。
    7. 源码追踪(2-8,2-9)
      主要思路:1.抓住代理对象RPCProxy是在fs中的哪一步获取的,之后的方法都是由proxy对象调用相应方法实现的2.看一看proxy实现了哪些接口,与namenode和datanode通信时分别用的哪些方法、实现的哪些接口

      • FileSystem通过get配置文件得到对应的文件系统的实现类并赋值给fs(多种文件系统中的一种,这里假设对应的是DistributedFileSystem)
      • fs通过open打开一个DFSInputStream is
      • DFSInputStream 是用来读取数据的,元数据不在本地而在namenode上,因此肯定用到了RPC框架,既然用RPC框架,那么本地就需要一个代理RPCProxy(在fs中)
      • client与namenode想要通信,那么RPCProxy必须与namenode使用同一个接口,这样才能把方法对应起来。这个接口在hadoop中的名字是ClientProtocal,用来处理client与namenode之间的通信
      • ClientProtocal接口中有一个重要的方法是getBlockLocation()用来获取文件对应的数据块
    8. 先从FileSystem.get(conf)的源码看起

      1. 调用的静态方法get(conf),get(conf)又调的重载方法get(uri,conf)
      2. get(uri,conf)又调Cache.get(uri,conf) --Cache是FileSystem的一个内部类
      3. Cache.get(uri,conf)又通过map.get(key)看一看是否能拿到文件系统(map是一个接口,在初始化Cache的过程中已经被HashMap实现了,在Cache里相当于是HashMap),拿到则直接返回,没拿到则会创建一个文件系统createFileSystem()
      4. createFileSystem()方法中首先获取了一个类对象clazz=getClazz(),然后通过反射机制获取fs实例对象fs=ReflectionUtils.newInstance(clazz,conf),再对fs初始化fs.initialize()--更具体的说,调用的是DistributedFileSystem实现类的实例方法(FileSystem中也有此方法,本次实例中fs生成的是DistributedFileSystem方法)
      5. 调用的initialize()方法中,值得注意的是成员属性dfs=new DFSClient(uri,conf) ,在初始化该成员对象时实现了RPCProxy代理
      6. 初始化dfs后,dfs里的成员属性namenode是ClientProtocol类型,因为ClientProtocol的作用就是Client用来与namenode通信用的,因此其成员属性干脆直接取名叫了namenode
      7. 经过一系列其他的操作,最后返回了fs。。。
    9. NameNode 实现了ClientProtocal、DatanodeProtocal、NamenodeProtocal 等接口,换句话说,namenode再RPC框架中扮演的是服务端的角色

      • ClientProtocal接口是供客户端调用的,包括了许多对HDFS的操作,例如create、delete、mkdirs、rename 等
      • DatanodeProtocol这个接口是供DataNode 调用的。DataNode 调用该接口中的方法向NameNode 报告
        本节点的状态和block 信息。NameNode 不能向DataNode 发送消息, 只能通过该接口中方法的返回值向DataNode 传递消息
      • NamenodeProtocol这个接口是供ScondaryNameNode 调用的。SecondaryNameNode 是专门做NameNode 中edits 文件向fsimage 合并数据的。
    10. HDFS的读写过程(待整理)

你可能感兴趣的:(HDFS中FileSystem的源码分析)