单Reactor单线程、单Reactor多线程、主从Reactor多线程、Netty模型 4中IO架构的演进

4.1.20

1)原生NIO的问题
  (1)NIO的类库和API复杂,使用麻烦,需要熟练掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等;
  (2)需要具备其它的额外技能: 熟悉java多线程编程,因为NIO编程涉及到Reactor模式,你必须对多线程和网络编程非常熟悉,
    才能编写出高质量的NIO程序;
  (3)开发工作量和难度都非常大,例如:客户端面临断线重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流的处理等;
  (4)JDK NIO bug: Epoll的bug导致Selector空轮询,导致cpu 100%,直到jdk 1.7该版本的问题依然存在,没有被根本解决;

2)Netty优点:
  (1)设计优雅,适用于各种传输类型的统一API阻塞和非阻塞Socket,基于灵活可扩展的事件模型,可以清晰的分离关注点,高度可定制
     的线程模型,单线程,一个或多个线程池;
  (2)使用方便,详细记录的javadoc,用户指南和实例,没有其他依赖, jdk5-->netty 3.x   jdk6-->netty 4.x就足够了;
  (3)高性能、吞吐量更高,延迟更低,加上那号资源消耗,最小化不必要的内存复制;
  (4)安全、完整的SSL/TLS和StartTLS支持;
  (5)社区活跃，不断更新，版本迭代周期短,发现的bug可以被及时修复,同时,更多的新功能会被加入;

3)IO的线程模型:
  (1)传统的阻塞I/O服务模型
    黄色:对象
    蓝色:线程
    白色:方法api

    特点:
      采用阻塞式IO模式,获取输入的数据;
      每个链接都需要独立的线程完成数据的:输入、业务处理、数据返回 逻辑Handler处理器;

    问题:
      并发数很大时,就会创建大量的线程,占用较大的系统资源;
      连接创建后,如果当前线程没有数据可读,该线程会阻塞在read操作,造成线程资源浪费,cpu切换线程也浪费;

  (2)Reactor(1.反应器模式 2.分发者模式[把业务分发给其中线程池中一个线程] 3.通知者模式[有连接的话,从阻塞处返回])
    单Reactor单线程
    单Reactor多线程
    主从Reactor多线程: netty基于这个,并且做了一定的改进;

    传统IO阻塞模型问题解决方案:
      基于IO服用模型:多个连接共用一个阻塞对象,应用程序只需要在一个阻塞对象等待,无需阻塞等待所有连接,当某个连接有新的数据可以处理时,
        操作系统通知应用程序,线程从阻塞状态返回,开始进行业务处理;

          解决Handler的阻塞问题;

          当连接过来时,先找到阻塞对象ServiceHandler,连接形成,把业务处理交给一个线程,然后根据线程池的空闲状态,进行分发处理;

      基于线程池服用线程资源,不必再为每个连接创建线程,将连接完成后的业务处理任务分配给线程进行处理,一个线程可以处理多个连接的业务;
         c1连接上后,让T1为他服务.
         c2连接上后,让T2为他服务.
         c3连接上后,让T3为他服务.

         client集合-->ServerHandler-->线程池(业务处理)
            线程池中一个线程可以对应多个连接;

  Reactor模式总结: 
    1:Reactor模式,通过一个或者多个输入,同时传递给服务处理器的一种模式(基于事件驱动);
    2:服务器端程序处理传入的多个请求,并将它们同步分派到相应的处理线程,因此Reactor模式也叫Dispatcher模式;
    3:Reactor模式使用了IO复用监听事件,收到事件后进行分发给某个线程(进程),这点就是网络服务高并发处理的关键;

  Reactor模式的核心组成:
    Reactor:Reactor在一个单独的线程中运行,负责监听和分发事件,分发给适当的处理程序来对IO事件作出反应,它就像公司
      的电话接线员,它接听来自客户端的电话并将线路转移给适当的联系人;

    Handlers: 处理程序执行IO事件要完成的实际事件,类似于客户想要与之交谈的公司中的实际官员,Reactor通过适当的处理程序
      来响应IO事件,处理程序执行非阻塞操作;
    
    
4)单Reactor单线程:
  例子:之前的NIO群聊系统就是单Reactor单线程:
    多个Client    
      Reactor(Select Dispatch)
        Acceptor(accept)

        处理请求Handler:
          read
          write
          业务处理


  缺点:Reactor和Handler实在一个线程里面;
      如果高并发的话,正在处理一个任务,别的任务又来了,就很可能阻塞;
      Reactor线程和 转发时Handler所在的线程是一个线程;
      这样虽然不是之前的一个客户端对应一个线程,但是这样线程数也太少了吧,一个在read时,另外一个客户端来了,
        必然要阻塞;

  单Reactor单线程方案说明:
    1:Select是前面的IO复用模型介绍的标准API,可以实现一个应用程序通过一个阻塞对象监听多路连接请求;
    2:Reactor对象通过Select监听客户端请求事件,收到事件后,通过Dispatcher进行分发;
    3:如果监听连接请求事件,则由Acceptor通过Accept处理连接请求,然后创建一个Handler对象处理连接完成
      后的业务逻辑;
    4:如果不是建立连接事件,则Reactor会分发调用连接对应的Handler来响应;
    5:Handler会完成Read-->业务处理-->Send的完整业务流程;

  综合案例: 服务器端调用一个线程通过多路复用搞定所有的IO操作(包括连接、读、写等),编码简单
    清晰明了,但是如果客户单连接数量较多,将无法支撑,前面的NIO案例就属于这种模型;

  优缺点分析:
    1:优点: 模型简单,没有多线程,进程就爱你通信,竞争的问题,全部都在一个线程中完成;
    2:缺点:
      性能问题,只有一个线程,无法完全发挥多核CPU的性能,Handler在处理某个连接上的业务时,整个进程无法处理
        其它连接事件,很容易导致性能瓶颈;
      可靠性问题,线程意外终止,或者进入死循环,会导致整个系统通信模块不可用,不能接收和处理外部消息,
        造成节点故障;
    3:使用场景:
      客户端的数量有限,业务处理非常迅速,比如：Redis的业务处理的时间复杂度O(1)的情况;

5)单Reactor多线程
  (1)Reactor对象通过select监控客户单请求事件,收到事件后,通过dispatch进行分发;
  (2)如果是建立连接请求,则由Acceptor通过accept处理连接请求,然后创建一个Handler对象处理连接后的各种事件;
  (3)如果不是连接请求,则由Reactor分发调用连接对应的Handler来处理;
  (4)Handler值负责响应事件,不做具体的业务处理,通过read读取数据后,会分发给后面的worker线程池的某个线程处理业务;
  (5)worker线程池会分给独立的线程完成真正的业务,并将结果返回给Handler;
  (6)Handler持有客户端的一个连接,将处理结果返回给客户端;

  业务处理最费时间,因此一个巨大的改进就是:把耗时任务可以交给多个线程处理;
  问题是: 单Reactor的话,阻塞在Handler读取这里了呢?

  单Reactor多线程优缺点:
    优点:
      可以充分的利用多核CPU的处理能力;

    缺点:
      多线程会有数据共享和访问比较复杂,处理资源的竞争和异步问题;
      Reactor处理了所有的事件的监听和响应,在单线程运行中,在高并发应用场景,容易出现性能瓶颈;

6)主从Reactor
  一个子线程可以监听多个Client;
  3级模式:
    Reactor主线程
    多个SubReactor
    Workder线程池

  工作原理:
    针对单Reactor多线程模型中,Reactor在单线程中运行,高并发场景下很容易造成性能瓶颈,可以让Reactor在多线程中运行;
    
  方案说明:
    (1)Reactor主线程MainReactor对象通过select监听连接事件,收到事件后,通过Acceptor处理连接事件;
    (2)当Acceptor处理连接事件后,MainReactor将连接分配给SubReactor;
    (3)SubReactor将连接加入到连接队列进行监听,并创建Handler进行各种事件处理;
    (4)当有新事件发生时,SubReactor就会调用对应的Handler处理;
    (5)Handler通过Read读取数据,分发给后面的Worker线程处理;
    (6)Worker线程池分配独立的Worker线程进行业务处理,并返回结果;
    (7)Handler收到响应的结果后,再通过send将结果返回给client;
    (8)Reactor主线程可以对应多个Reactor子线程,即MainReactor可以对应多个SubReactor;

  优缺点:
    (1)优点: 
      父线程与子线程的数据交互简单职责明确,父线程只需要接收新连接,子线程完成后续的业务处理;
      父线程与子线程的数据交互简单,Reactor主线程只需要把心线程传给子线程,子线程无需返回数据;
    (2)缺点:
      编码复杂度较高;

    结合实例:
      Nginx主从多进程模型;
      memcached:主从多线程模型;
      Netty:主从多线程模型;

7)3种模式的小结:
  (1)3种模式用生活案例来理解:
    1:单Reactor单线程,前台接待员和服务员是同一个人,全程为顾客服务;
    2:单Reactor多线程,1个前台接待员,多个服务员,接待员只负责接待;
    3:主从Reactor多线程,多个前台接待员,多个服务生;

  (2)主从Reactor具有如下的优点:
    1:响应快,不必为单个同步事件所阻塞,虽然Reactor本身依然是同步的;
    2:可以最大程度的避免复杂的多线程的同步问题,并且避免了多线程/进程的切换开销;
    3:扩展性好,可以方便的通过增加Reactor实例个数来充分利用CPU资源;
    4:复用性好,Reactor模型本身与处理逻辑无关,具有很高的服用性;


  加缓存。。。缓存。。。分级

8)Netty模型--通俗版
  (1)客户端去连接BossGroup,只关心Accept事件,Selector检测到连接请求,accept一下得到SocketChannel,
    封装成NIOSocketChannel;

  (2)WorkerGroup:
    也有一个Selector,将第一步的NIOSocketChannel注册到WorkerGroup上面的Selector,也就是Worker线程(事件循环),
    并进行维护,将具体的事物/事物(读取到的)交给一个Handler; 
 
  (3)当Worker线程监听到Selector中的通道发生了自己感兴趣的事件后就进行处理,就由Handler完成,
    注意: Handler已经加入到通道了;


  进阶版:
    BossGroup: 由多个NIOEventLoop

9)Netty模型--详细版
  NIOLoopGroup

  (1)Netty抽象出两组线程池:
    BossGroup:专门负责接收客户端的连接;
    WorkerGroup:专门负责网络的读写;

  (2)BossGroup和WorkerGroup类型都是NIOEventLoopGroup;

  (3)NIOEventLoopGroup相当于一个事件循环组,这个组中含有多个事件循环,每一个事件循环是NIOEventLoop;

  (4)NIOEventLoop表示一个不断循环的执行处理任务的线程,
    每个NIOEventLoop都有一个Selector,用于监听绑定在其上的socket网络通讯;

  (5)NIOEventLoopGroup可以有多个线程,即可以含有多个NIOEventLoop;

  (6)每个BossNIOEventLoop执行的步骤有3步:
    1:轮询Accept事件
    2:处理Accept事件,与Client建立连接,生成NIOSocketChannel,并将其注册到某个
      Worker NIOEventLoop上的selector
    3:再去处理任务队列的任务,即runAllTasks

  (7)Worker的NIOEventLoop循环执行的步骤:
    1:轮训read,write事件
    2:处理IO事件,即read write,在NIOSocketChannel处理;
    3:处理任务队列的任务,即runAllTasks

    Pipeline:包含了Channel,可以通过Pipeline得到Channel,真正的传送都是在通道运行的;
        管道PipeLine里面包含了很多处理器,如:拦截机制、过滤机制

  (8)每个Worker NIOEventLoop 要处理数据的话,是通过PipeLine(管道)执行的;
    PipeLine中包含了Channel,即:通过PipeLine可以获取到对应的通道,管道中
    维护了很多的处理器;