netty源码分析之服务端启动全解析

 
   
   
   
   

  
    
    
    
    
netty 是一个异步事件驱动的网络通信层框架，其官方文档的解释为

  
    
    
    
    

   
     
     
     
     
Netty is a NIO client server framework which enables quick and easy development of network applications such as protocol servers and clients. It greatly simplifies and streamlines network programming such as TCP and UDP socket server.
  
    
    
    
    

  
    
    
    
    
我们在新美大消息推送系统sailfish(日均推送消息量50亿)，新美大移动端代理优化系统shark(日均吞吐量30亿)中，均选择了netty作为底层网络通信框架。

  
    
    
    
    
既然两大如此重要的系统底层都使用到了netty，所以必然要对netty的机制，甚至源码了若指掌，于是，便催生了netty源码系列文章。后面，我会通过一系列的主题把我从netty源码里所学到的毫无保留地介绍给你，源码基于4.1.6.Final

  
    
    
    
    
why netty

  
    
    
    
    
netty底层基于jdk的NIO，我们为什么不直接基于jdk的nio或者其他nio框架？下面是我总结出来的原因

  
    
    
    
    
1.使用jdk自带的nio需要了解太多的概念，编程复杂
2.netty底层IO模型随意切换，而这一切只需要做微小的改动
3.netty自带的拆包解包，异常检测等机制让你从nio的繁重细节中脱离出来，让你只需要关心业务逻辑
4.netty解决了jdk的很多包括空轮训在内的bug
5.netty底层对线程，selector做了很多细小的优化，精心设计的reactor线程做到非常高效的并发处理
6.自带各种协议栈让你处理任何一种通用协议都几乎不用亲自动手
7.netty社区活跃，遇到问题随时邮件列表或者issue
8.netty已经历各大rpc框架，消息中间件，分布式通信中间件线上的广泛验证，健壮性无比强大

  
    
    
    
    
dive into netty

  
    
    
    
    
了解了这么多，今天我们就从一个例子出来，开始我们的netty源码之旅。

  
    
    
    
    
本篇主要讲述的是netty是如何绑定端口，启动服务。启动服务的过程中，你将会了解到netty各大核心组件，我先不会细讲这些组件，而是会告诉你各大组件是怎么串起来组成netty的核心

  
    
    
    
    
example

  
    
    
    
    
下面是一个非常简单的服务端启动代码

  
    
    
    
    
public final class SimpleServer {

    public static void main(String[] args) throws Exception {
        EventLoopGroup bossGroup = new NioEventLoopGroup(1);
        EventLoopGroup workerGroup = new NioEventLoopGroup();

        try {
            ServerBootstrap b = new ServerBootstrap();
            b.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .handler(new SimpleServerHandler())
                    .childHandler(new ChannelInitializer() {
                        @Override
                        public void initChannel(SocketChannel ch) throws Exception {
                        }
                    });

            ChannelFuture f = b.bind(8888).sync();

            f.channel().closeFuture().sync();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }

    private static class SimpleServerHandler extends ChannelInboundHandlerAdapter {
        @Override
        public void channelActive(ChannelHandlerContext ctx) throws Exception {
            System.out.println("channelActive");
        }

        @Override
        public void channelRegistered(ChannelHandlerContext ctx) throws Exception {
            System.out.println("channelRegistered");
        }

        @Override
        public void handlerAdded(ChannelHandlerContext ctx) throws Exception {
            System.out.println("handlerAdded");
        }
    }
}
  
    
    
    
    
简单的几行代码就能开启一个服务端，端口绑定在8888，使用nio模式，下面讲下每一个步骤的处理细节
  
    
    
    
    
EventLoopGroup 已经在我的其他文章中详细剖析过，说白了，就是一个死循环，不停地检测IO事件，处理IO事件，执行任务
  
    
    
    
    
ServerBootstrap 是服务端的一个启动辅助类，通过给他设置一系列参数来绑定端口启动服务
  
    
    
    
    
group(bossGroup, workerGroup) 我们需要两种类型的人干活，一个是老板，一个是工人，老板负责从外面接活，接到的活分配给工人干，放到这里，bossGroup的作用就是不断地accept到新的连接，将新的连接丢给workerGroup来处理
  
    
    
    
    
.channel(NioServerSocketChannel.class) 表示服务端启动的是nio相关的channel，channel在netty里面是一大核心概念，可以理解为一条channel就是一个连接或者一个服务端bind动作，后面会细说
  
    
    
    
    
.handler(new SimpleServerHandler() 表示服务器启动过程中，需要经过哪些流程，这里SimpleServerHandler最终的顶层接口为ChannelHander，是netty的一大核心概念，表示数据流经过的处理器，可以理解为流水线上的每一道关卡
  
    
    
    
    
childHandler(new ChannelInitializer)...表示一条新的连接进来之后，该怎么处理，也就是上面所说的，老板如何给工人配活
  
    
    
    
    
ChannelFuture f = b.bind(8888).sync(); 这里就是真正的启动过程了，绑定8888端口，等待服务器启动完毕，才会进入下行代码
  
    
    
    
    
f.channel().closeFuture().sync(); 等待服务端关闭socket
  
    
    
    
    
bossGroup.shutdownGracefully(); workerGroup.shutdownGracefully(); 关闭两组死循环
  
    
    
    
    
上述代码可以很轻松地再本地跑起来，最终控制台的输出为：
  
    
    
    
    
handlerAdded
channelRegistered
channelActive
  
    
    
    
    
关于为什么会顺序输出这些，深入分析之后其实很easy
  
    
    
    
    
深入细节
  
    
    
    
    
ServerBootstrap 一系列的参数配置其实没啥好讲的，无非就是使用method chaining的方式将启动服务器需要的参数保存到filed。我们的重点落入到下面这段代码
  
    
    
    
    
b.bind(8888).sync();
  
    
    
    
    
这里说一句：我们刚开始看源码，对细节没那么清楚的情况下可以借助IDE的debug功能，step by step，one step one test或者二分test的方式，来确定哪行代码是最终启动服务的入口，在这里，我们已经确定了bind方法是入口，我们跟进去，分析
  
    
    
    
    
public ChannelFuture bind(int inetPort) {
    return bind(new InetSocketAddress(inetPort));
}
  
    
    
    
    
通过端口号创建一个 InetSocketAddress，然后继续bind
  
    
    
    
    
public ChannelFuture bind(SocketAddress localAddress) {
    validate();
    if (localAddress == null) {
        throw new NullPointerException("localAddress");
    }
    return doBind(localAddress);
}
  
    
    
    
    
validate() 验证服务启动需要的必要参数，然后调用doBind()
  
    
    
    
    
private ChannelFuture doBind(final SocketAddress localAddress) {
    //...
    final ChannelFuture regFuture = initAndRegister();
    //...
    final Channel channel = regFuture.channel();
    //...
    doBind0(regFuture, channel, localAddress, promise);
    //...
    return promise;
}
  
    
    
    
    
这里，我去掉了细枝末节，让我们专注于核心方法，其实就两大核心一个是 initAndRegister()，以及doBind0()
  
    
    
    
    
其实，从方法名上面我们已经可以略窥一二，init->初始化，register->注册，那么到底要注册到什么呢？联系到nio里面轮询器的注册，可能是把某个东西初始化好了之后注册到selector上面去，最后bind，像是在本地绑定端口号，带着这些猜测，我们深入下去
  
    
    
    
    
initAndRegister()
  
    
    
    
    
final ChannelFuture initAndRegister() {
    Channel channel = null;
    // ...
    channel = channelFactory.newChannel();
    //...
    init(channel);
    //...
    ChannelFuture regFuture = config().group().register(channel);
    //...
    return regFuture;
}
  
    
    
    
    
我们还是专注于核心代码，抛开边角料，我们看到 initAndRegister() 做了几件事情
1.new一个channel
2.init这个channel
3.将这个channel register到某个对象
  
    
    
    
    
我们逐步分析这三件事情
  
    
    
    
    
1.new一个channel
  
    
    
    
    
我们首先要搞懂channel的定义，netty官方对channel的描述如下
  
    
    
    
    

   
     
     
     
     
 A nexus to a network socket or a component which is capable of I/O operations such as read, write, connect, and bind
  
    
    
    
    
  
    
    
    
    
这里的channel，由于是在服务启动的时候创建，我们可以和普通Socket编程中的ServerSocket对应上，表示服务端绑定的时候经过的一条流水线
  
    
    
    
    
我们发现这条channel是通过一个 channelFactory new出来的，channelFactory 的接口很简单
  
    
    
    
    
public interface ChannelFactory<T extends Channel> extends io.netty.bootstrap.ChannelFactory<T> {
    /**
     * Creates a new channel.
     */
    @Override
    T newChannel();
}
  
    
    
    
    
就一个方法，我们查看channelFactory被赋值的地方
  
    
    
    
    

   
     
     
     
     
AbstractBootstrap.java
  
    
    
    
    
  
    
    
    
    
public B channelFactory(ChannelFactory channelFactory) {
    if (channelFactory == null) {
        throw new NullPointerException("channelFactory");
    }
    if (this.channelFactory != null) {
        throw new IllegalStateException("channelFactory set already");
    }

    this.channelFactory = channelFactory;
    return (B) this;
}
  
    
    
    
    
在这里被赋值，我们层层回溯，查看该函数被调用的地方，发现最终是在这个函数中，ChannelFactory被new出
  
    
    
    
    
public B channel(Class channelClass) {
    if (channelClass == null) {
        throw new NullPointerException("channelClass");
    }
    return channelFactory(new ReflectiveChannelFactory(channelClass));
}
  
    
    
    
    
这里，我们的demo程序调用channel(channelClass)方法的时候，将channelClass作为ReflectiveChannelFactory的构造函数创建出一个ReflectiveChannelFactory
  
    
    
    
    
demo端的代码如下：
  
    
    
    
    
.channel(NioServerSocketChannel.class);
  
    
    
    
    
然后回到本节最开始
  
    
    
    
    
channelFactory.newChannel();
  
    
    
    
    
我们就可以推断出，最终是调用到 ReflectiveChannelFactory.newChannel() 方法，跟进
  
    
    
    
    
public class ReflectiveChannelFactory<T extends Channel> implements ChannelFactory<T> {

    private final Class clazz;

    public ReflectiveChannelFactory(Class clazz) {
        if (clazz == null) {
            throw new NullPointerException("clazz");
        }
        this.clazz = clazz;
    }

    @Override
    public T newChannel() {
        try {
            return clazz.newInstance();
        } catch (Throwable t) {
            throw new ChannelException("Unable to create Channel from class " + clazz, t);
        }
    }
}
  
    
    
    
    
看到clazz.newInstance();，我们明白了，原来是通过反射的方式来创建一个对象，而这个class就是我们在ServerBootstrap中传入的NioServerSocketChannel.class
  
    
    
    
    
结果，绕了一圈，最终创建channel相当于调用默认构造函数new出一个 NioServerSocketChannel对象
  
    
    
    
    
这里提一下，读源码细节，有两种读的方式，一种是回溯，比如用到某个对象的时候可以逐层追溯，一定会找到该对象的最开始被创建的代码区块，还有一种方式就是自顶向下，逐层分析，一般用在分析某个具体的方法，庖丁解牛，最后拼接出完整的流程
  
    
    
    
    
接下来我们就可以将重心放到 NioServerSocketChannel的默认构造函数
  
    
    
    
    
private static final SelectorProvider DEFAULT_SELECTOR_PROVIDER = SelectorProvider.provider();
public NioServerSocketChannel() {
    this(newSocket(DEFAULT_SELECTOR_PROVIDER));
}
  
    
    
    
    
private static ServerSocketChannel newSocket(SelectorProvider provider) {
    //...
    return provider.openServerSocketChannel();
}
  
    
    
    
    
通过SelectorProvider.openServerSocketChannel()创建一条server端channel，然后进入到以下方法
  
    
    
    
    
public NioServerSocketChannel(ServerSocketChannel channel) {
    super(null, channel, SelectionKey.OP_ACCEPT);
    config = new NioServerSocketChannelConfig(this, javaChannel().socket());
}
  
    
    
    
    
这里第一行代码就跑到父类里面去了，第二行，new出来一个 NioServerSocketChannelConfig，其顶层接口为 ChannelConfig，netty官方的描述如下
  
    
    
    
    

   
     
     
     
     
A set of configuration properties of a Channel.
  
    
    
    
    
  
    
    
    
    
基本可以判定，ChannelConfig 也是netty里面的一大核心模块，初次看源码，看到这里，我们大可不必深挖这个对象，而是在用到的时候再回来深究，只要记住，这个对象在创建NioServerSocketChannel对象的时候被创建即可
  
    
    
    
    
我们继续追踪到 NioServerSocketChannel 的父类
  
    
    
    
    

   
     
     
     
     
AbstractNioMessageChannel.java
  
    
    
    
    
  
    
    
    
    
protected AbstractNioMessageChannel(Channel parent, SelectableChannel ch, int readInterestOp) {
    super(parent, ch, readInterestOp);
}
  
    
    
    
    
继续往上追
  
    
    
    
    

   
     
     
     
     
AbstractNioChannel.java
  
    
    
    
    
  
    
    
    
    
protected AbstractNioChannel(Channel parent, SelectableChannel ch, int readInterestOp) {
    super(parent);
    this.ch = ch;
    this.readInterestOp = readInterestOp;
    //...
    ch.configureBlocking(false);
    //...
}
  
    
    
    
    
这里，简单地将前面 provider.openServerSocketChannel(); 创建出来的 ServerSocketChannel 保存到成员变量，然后调用ch.configureBlocking(false);设置该channel为非阻塞模式，标准的jdk nio编程的玩法
  
    
    
    
    
这里的 readInterestOp 即前面层层传入的 SelectionKey.OP_ACCEPT，接下来重点分析 super(parent);(这里的parent其实是null，由前面写死传入)
  
    
    
    
    

   
     
     
     
     
AbstractChannel.java
  
    
    
    
    
  
    
    
    
    
protected AbstractChannel(Channel parent) {
    this.parent = parent;
    id = newId();
    unsafe = newUnsafe();
    pipeline = newChannelPipeline();
}
  
    
    
    
    
到了这里，又new出来三大组件，赋值到成员变量，分别为
  
    
    
    
    
id = newId();
protected ChannelId newId() {
    return DefaultChannelId.newInstance();
}
  
    
    
    
    
id是netty中每条channel的唯一标识，这里不细展开，接着
  
    
    
    
    
unsafe = newUnsafe();
protected abstract AbstractUnsafe newUnsafe();
  
    
    
    
    
查看Unsafe的定义
  
    
    
    
    

   
     
     
     
     
Unsafe operations that should never be called from user-code. These methods  are only provided to implement the actual transport, and must be invoked from an I/O thread
  
    
    
    
    
  
    
    
    
    
成功捕捉netty的又一大组件，我们可以先不用管TA是干嘛的，只需要知道这里的 newUnsafe方法最终属于类NioServerSocketChannel中
  
    
    
    
    
最后
  
    
    
    
    
pipeline = newChannelPipeline();

protected DefaultChannelPipeline newChannelPipeline() {
    return new DefaultChannelPipeline(this);
}

protected DefaultChannelPipeline(Channel channel) {
        this.channel = ObjectUtil.checkNotNull(channel, "channel");
        succeededFuture = new SucceededChannelFuture(channel, null);
        voidPromise =  new VoidChannelPromise(channel, true);

        tail = new TailContext(this);
        head = new HeadContext(this);

        head.next = tail;
        tail.prev = head;
}
  
    
    
    
    
初次看这段代码，可能并不知道 DefaultChannelPipeline 是干嘛用的，我们仍然使用上面的方式，查看顶层接口ChannelPipeline的定义
  
    
    
    
    

   
     
     
     
     
A list of ChannelHandlers which handles or intercepts inbound events and outbound operations of a Channel
  
    
    
    
    
  
    
    
    
    
从该类的文档中可以看出，该接口基本上又是netty的一大核心模块
  
    
    
    
    
到了这里，我们总算把一个服务端channel创建完毕了，将这些细节串起来的时候，我们顺带提取出netty的几大基本组件，先总结如下
  
    
    
    
    

     
     
     
     
Channel
     
     
     
     
ChannelConfig
     
     
     
     
ChannelId 
     
     
     
     
Unsafe
     
     
     
     
Pipeline
     
     
     
     
ChannelHander
    
    
    
    
  
    
    
    
    
初次看代码的时候，我们的目标是跟到服务器启动的那一行代码，我们先把以上这几个组件记下来，等代码跟完，我们就可以自顶向下，逐层分析，我会放到后面源码系列中去深入到每个组件
  
    
    
    
    
总结一下，用户调用方法 Bootstrap.bind(port) 第一步就是通过反射的方式new一个NioServerSocketChannel对象，并且在new的过程中创建了一系列的核心组件，仅此而已，并无他，真正的启动我们还需要继续跟
  
    
    
    
    
2.init这个channel
  
    
    
    
    
到了这里，你最好跳到文章最开始的地方回忆一下，第一步newChannel完毕，这里就对这个channel做init，init方法具体干啥，我们深入
  
    
    
    
    
@Override
void init(Channel channel) throws Exception {
    final Map, Object> options = options0();
    synchronized (options) {
        channel.config().setOptions(options);
    }

    final Map, Object> attrs = attrs0();
    synchronized (attrs) {
        for (Entry, Object> e: attrs.entrySet()) {
            @SuppressWarnings("unchecked")
            AttributeKey