该系列已分别介绍了服务端、客户端的启动流程、网络读事件处理流程,本文将重点剖析Netty是如何封装NIO的写事件。
温馨提示:本文虽然是源码分析,但强烈建议精读,因为根据源码阐述其背后的设计哲学,也用黑体进行了标注,请特别留意。
在阅读本篇文章之前,请稍微思考如下几个问题:
写事件,顾名思义,就是将数据写入网络,通过网络传输给接收端,通常我们知道业务都会在专属的业务线程池中执行,那数据是如何通过IO线程写入网络中的呢?
正如上图中的线程模型,业务线程池是如何将数据通过IO线程写入网络中的呢?
接下来我们将带着问题,尝试看Netty是如何封装NIO的写事件。
在Netty中,写事件的处理入口为NioEventLoop的processSelectedKey方法:
根据调用链,最终调用AbstractChannel的内部类AbstractUnsafe的flush0方法。
该方法有三个实现要点:
接下来将详细介绍上述关键步骤。
首先,我们将写缓存区当成一个黑盒,先重点看一下doWrite方法的实现,窥探一下Netty是如何基于NIO来处理网络写入的。
Step1:如果写缓存区中没有可写的数据,取消注册写事件。我们来看一下取消写事件的经典实现技巧:
首先判断一下注册键是否有效,然后通过为位运算,取消写事件。
思考题:问题来了,取消写事件,从系统层面就无法继续触发写操作了,那后续如何触发写事件呢?
Netty给出的解决方案如下:
写事件的核心处理要点就介绍到这里了。
在Netty中调用通道的write方法并不会立即将数据写入到底层网络Socket中,而是写入到“写缓存区”,为应用级别的缓存区,即ChannelOutboundBuffer,这是Netty实现写操作最重要的一个数据结构。
ChannelOutboundBuffer 的核心类图如下:
核心属性与方法简介:
接下来我们按照写事件对待写入缓存区方法调用的顺序来讲解一下该方法的核心实现逻辑。
public int size() {
return flushed;
}
返回本次写缓存区可期望刷新的消息个数(Entry)。在NioSocketChannel的doWriter方法中,如果isEmpty返回true,直接结束本次写入操作,更加准确的是结束本次flush操作。
flushed该字段代表的当时待写入的Entry,如果为0,表示没有待flush的Entry,但不代表ChannelOutboundBuffer中没有Entry存在,比如调用Channel.writer方法,会往ChannelOutboundBuffer增加Entry,但在没有调用addFlush方法之前,ChannelOutboundBuffer中的flushed 字段的值不会增加。
向写缓存中添加消息,方法本身的实现非常简单,因为ChannelOutboundBuffer其内部数据结构为一个链表,这是一个往链表中添加消息的过程,这里的关键点是该方法的调用入口为Channel的write方法,即调用通道的write方法只是将数据写入到写缓存,并不会触发真正的往网络中写消息。
该方法会调用incrementPendingOutboundBytes,我们简单看一下该方法的实现细节:
该方法蕴含了Netty一个非常重要的机制,写操作限流,高低水位线机制。
当缓存区中存储的数据超过了设置的高水位线(阔值),则会设置为不可写,并向通道传播写状态变更事件。
该方法并没有真正的执行刷新动作,而是计算可刷写的Entry个数,一次刷新动作,会将unfluedEntry开始,一直扫描到tailEntry。
同样这里和Netty的写限流有关,将数据刷写后,会减少缓存区中的大小,如果低于设置的低水位线,会将缓存区恢复到可写状态。
该方法的调用入口为下图:
即在调用通道的flush方法时会先计算本次看刷写到Socket缓存区中的数据,然后执行flush0方法执行真正的网络写,该方法在第一部分中已详细介绍。
本文就介绍到这里了,文章开头的问题大家是否有了自己的理解了呢?欢迎私信或留言与我交流互动,让我们在交流中共同进步。
一键三连是对我最大的支持与肯定
为了让大家在实战中学习Netty,笔者将RocketMQ的网络模块单独抽取成一个框架,可直接用于项目开发中,代码已上传github
让天下没有难学的Netty4专栏
见字如面,我是威哥,一个从普通二本院校毕业,从未曾接触分布式、微服务、高并发到通过技术分享实现职场蜕变,成长为RocketMQ社区优秀布道师、大厂资深架构师,出版《RocketMQ技术内幕》一书,在CSDN中记录了我的成长历程,欢迎大家关注,私信,一起交流进步。
分享笔者一个硬核的RocketMQ电子书:
获取方式:微信搜索【中间件兴趣圈】,回复RMQPDF即可获取。