Netty理论二：Netty组件

Netty：一个提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序

1、Netty特性

• 设计

  • 统一的API，适用于不同的协议(阻塞和非阻塞)
  • 基于灵活、可扩展的事件驱动模型（SEDA）
  • 高度可定制的线程模型
  • 可靠的无连接数据Socket支持(UDP)

• 性能

  • 更好的吞吐量,低延迟
  • 更省资源
  • 尽量减少不必要的内存拷贝

• 安全

  • 完整的SSL/ TLS和STARTTLS的支持

• 易用

  • 完善的Java doc,用户指南和样例
  • 仅依赖于JDK1.6（netty 4.x)

2、Netty主要组件

image.png

• BootStrap和ServerBootStrap ——Netty服务端及客户端启动类；（对应NIO中的Selector、ServerSocketChannel等的创建、配置、注册、启动等）

• ByteBuf ——对应于NIO中的ByteBuffer，其实是对NIO Buffer做了一些优化、封装

• Transport Channel ——Netty处理客户端与服务端之间的连接通道；（对应NIO中的channel）

• ChannelHandler和ChannelPipeline——实现协议编解码以及业务处理；（对应NIO中的客户逻辑实现handleRead/handleWrite）

3、Netty Server创建流程（BootStrap和ServerBootStrap）

这个必须要知道，无论是工作，还是面试，这个是要经常用到的

image.png

public static void main(String[] args) throws Exception {
        //1、创建ServerBootstrap实例
        ServerBootstrap b = new ServerBootstrap();

        //2、设置并绑定Reactor线程池
        EventLoopGroup boss = new NioEventLoopGroup();//线程工作组，用于接收客户端连接事件
        EventLoopGroup work = new NioEventLoopGroup();  //线程工作组，用于对已连接客户端的读写事件进行操作
        b.group(boss,work); //绑定两个工作线程组

        //3、设置并绑定服务端Channel
        b.channel(NioServerSocketChannel.class)    //设置NIO的模式

                //设置服务端ServerBootStrap启动参数
                .option(ChannelOption.SO_BACKLOG, 1024)    //设置TCP缓冲区
                //.option(ChannelOption.SO_SNDBUF, 32*1024)    // 设置发送数据的缓存大小
                .option(ChannelOption.SO_RCVBUF, 32 * 1024)    // 设置接受数据的缓存大小
                .childOption(ChannelOption.SO_KEEPALIVE, Boolean.TRUE)    // 设置保持连接
                .childOption(ChannelOption.SO_SNDBUF, 32 * 1024)
                // 为bossGroup通道进行初始化： 用于设置日志级别和处理ip校验
                 .handler(new LoggingHandler(LogLevel.INFO))
                 .handler(new RuleBasedIpFilter())
                // 为workGroup通道进行初始化： 客户端数据传输过来的时候会进行拦截和执行（服务端设置childHandler，客户端设置Handler）
                .childHandler(new ChannelInitializer() {
                    @Override
                    protected void initChannel(SocketChannel sc) throws Exception {
                          // 4、TCP连接通道channel建立时创建ChannelPipeline
                        ChannelPipeline  pipeline = sc.pipeline();
                        // 5、添加并设置ChannelHandler
                        pipeline.addLast(new ObjectDecoder(1024 * 1024,
                                ClassResolvers.weakCachingConcurrentResolver(this
                                        .getClass().getClassLoader())));
                        pipeline.addLast(new ObjectEncoder());
                        pipeline.addLast(new ServerHandler());
                    }
                });
        //6、绑定监听端口并启动服务器
        ChannelFuture cf = b.bind(8765).sync();

        //释放连接
        cf.channel().closeFuture().sync();
        work.shutdownGracefully();
        boss.shutdownGracefully();

    }

• 1、设置服务端ServerBootStrap启动参数

  • group——bossGroup，workerGroup—NioEventLoopGroup
  • channel——设置通道类型，NioServerSocketChannel
  • childHandler——设置NioSocketChannel的ChannelHandlerPipeline

• 2、通过ServerBootStrap的bind方法启动服务端，bind方法会创建一个NioServerSocketChannel实例，用来监听客户端的连接请求，并将其在workGroup中进行注册；

4、Netty Server执行流程

• 3、bossGroup中的NioEventLoop不断轮询NioServerSocketChannel上是否有新的客户端请求，如果有Client发起连接CONNECT请求，ACCEPT事件触发

• 4、ACCEPT事件触发后，bossGroup中NioEventLoop会通过NioServerSocketChannel获取到对应的代表客户端的NioSocketChannel，并将其注册到workGroup中的NioEventLoop上（一个nioEventLoop可以管理多个客户端NioSocketChannel）

• 5、workGroup中的NioEventLoop不断检测自己管理的NioSocketChannel是否有读写事件准备好，如果有的话，调用对应的ChannelHandler进行处理

image.png

5、Netty 传输层 ——Transport Channel

netty中提供了统一的API，可以支持不同类型的传输层：

• OIO —— 阻塞IO
• NIO —— Java NIO
• Epoll —— Linux Epoll(JNI)
• Local Transport —— IntraVm调用
• Embedded Transport —— 供测试使用的嵌入传输
• UDS —— Unix套接字的本地传输

image.png

image.png

• EventLoopGroup & EventLoop：

image.png

1、EventLoopGroup：线程池，包括多个EventLoop，同时多个EventLoop之间互不交互；

2、EventLoop：每个EventLoop中都有一个Selector，用来管理并且处理连接（channel）上的读写事件；
——每个EventLoop对应一个线程
——所有的客户端连接（channel）都将注册到一个EventLoop中的selector上，并且只注册到一个，整个生命周期都不会变化
——每个EventLoop管理着多个连接（Channel）

image.png

ServerBootGroup中包含2个不同类型的EventLoopGroup：
bossEventLoop：负责处理Accept事件，接收请求
workEventLoop：负责处理读写事件
（看上面Netty Server执行流程）

6、Netty Buffer —— ByteBuf

跟上一章写的Java NIO中的ByteBuf比起来，Netty ByteBuf更加易于使用：

• 为读写分别维护单独的指针（readerIndex,writerIndex），不需要通过flip()进行读写模式切换
• 容量自动伸缩（类似于ArrayList、StringBuilder），JavaNIO 中容量是固定的
• Fluent API (链式调用）

同时，性能更好：

• 通过内置的CompositeBuffer 来减少数据拷贝（Zero copy）
• 支持内存池，减少GC压力

ByteBuf操作

1、ByteBuf通过连个索引（readerIndex/writerIndex）划分为三个区域：

• reader index 前面的数据是已经读过的数据，这些数据可以丢弃
• 从reader index开始，到writer index之前的数据是可读数据
• 从writer index开始，为可写区域

image.png

2、读写
1、顺序读写：改变reader/writer index

• writeByte()
• writeLong()
• writeXXX() - 增加write index
• readByte()
• readLong()
• readXXX() - 增加read index

2、随机读写：不改变reader/writer index

• getXXX(index)
• setXXX(index, byte)

3、mark/reset : 设置reader/writer index

• markReaderIndex()：标记读索引，标记之后resetReaderIndex重置的读索引值就是标记好的读索引值；
• markWriterIndex()：标记写索引，标记之后resetWriterIndex重置的写索引值就是标记好写索引值；
• resetReaderIndex()：重置读索引值，如果没有mark标记，则重置为0；
• resetWriterIndex()：重置写索引值，如果没有mark标记，则重置为0；
• writerIndex(index)：设置读索引值
• readerIndex(index)：设置写索引值

4、清除/丢弃数据：discardReadBytes/clear
discardReadBytes，清除已读数据，同时把读索引置0，写索引值变小（减去清除的已读数据长度）
clear，读索引和写索引都置0；所有数据都丢弃掉

image.png

5、查询

• indexOf：首个特定字节的绝对位置
• bytesBefore：首个特定字节的相对位置，相对读索引
• forEachByte（ByteBufProcessor）：processor返回false时的首个位置

6、ByteBuf 类型

• 根据内存的位置

  • HeapByteBuf：基于数组（内部为一个字节数组byte array）；
    hasArray()返回True；array()返回其内部的数组，可以对数组进行直接操作
  • DirectByteBuf：基于堆外内存，具有良好的性能，但是创建和释放开销很大

• 根据是否使用内存池

  • Pooled vs Unpooled

• 根据是否使用Unsafe操作

  • Safe vs Unsafe

7、ChannelPipeline & ChannelHandler

1、 ChannelPipeline ：ChannelHandler的容器

• 包括一系列的ChannelHandler实例，用于拦截流经一个Channel的入站和出站事件
• 每个Channel都有一个其ChannelPipeline
• 可以通过动态添加和删除ChannelHandler 来修改ChannelPipeline
• 定义了丰富的API调用来回应入站和出站事件

image.png

ChannelHandlerContext：表示ChannelHandler 和 ChannelPipeline之间的关联；在ChannelHandler添加到ChannelPipeline时创建

image.png

实战使用一：
从一个ChannelHandler流转到下一个ChannelHandler，调用
ctx.fireChannelRead

image.png

实战使用二：
触发ChannelPipeline中ChannelHandler的回调方法

image.png

2、 Netty ChannelHandler
ChannelHandler：业务处理核心逻辑，用户自定义
Netty提供了2个重要的ChannelHandler子接口：

• ChannelInboundHandler：处理进站数据和所有状态更改事件
• ChannelOutboundHandler：处理出站数据，允许拦截各种操作

image.png

• Channel 状态及其转换

image.png

image.png

当ChannelHandler添加到ChannelPipeline，或者从ChannelPipeline移除后，下面对应的方法将会被调用

image.png

• ChannelInboundHandler回调方法
  当接收到数据（read、readComplete）或者与之关联的 Channel 状态改变（active、inactive、register、unregister）时调用，这个是工作中用到最多的

image.png

• ChannelOutboundHandler回调方法

image.png

8、netty客户端创建流程

image.png

image.png