SocketIO高性能事件驱动设计探索

背景

SocketIO原生基于NodeJS实现的Web长连接技术方案，H5原生场景下通常使用websocket作为基础协议进行网络通信（客户端支持多语言），SocketIO对于长连接场景下的业务形态进行了很多方面的抽象和实现，比如：命名空间、用户、房间等关系模型，技术形态下同样也进行了多方面的快速支持，比如ssl证书、websocket文本、二进制、双向Ack、心跳等API，作为一个Web长连接解决方案，SocketIO不失为一个很棒的基础协议支持框架，接入快速，模型简单，掌门在Socket通信接入侧选型上也选择了SocketIO协议。

如果是一个擅长Java技术栈的后端来说，netty-socketio（官方地址: https://github.com/mrniko/net...）(4.4k star)的确是实现socketio服务的不二之选，这个项目由近几年比较火的redis官方推荐Java客户端连接工具redisson(11.6k star)作者(mrniko)于13年开发，已经有7年之久，已经处于事实上的停更状态，这给使用该项目作为web长连接后端框架来说，选择它通常并不是那么容易接受，而我们希望通过一系列的性能改造使地它能够更好地被我们所用。

业务背景

基于Socket的业务场景大致可以分为以下部分（其中加粗部分为掌门在Socket业务领域覆盖）：

• 聊天场景： 即时通信
• 直播场景：互动、弹幕
• 智能家居IoT：监控、远程控制
• 游戏场景：互动
• 交通场景：位置共享
• 教学场景：在线白板
• 音视频：WebRTC信令协商
• SLB长连接场景：网关

从分类上，掌门在Socket长连接领域覆盖度很高，其中最核心场景为教学场景，单个会话信令最高可达80帧QPS，百兆峰值带宽下上课高峰时间对服务器冲击很大，高性能、可控制、可度量、可伸缩是生产系统服务提供的基础要求，如何设计一套高性能高可扩展性系统对团队提出了很大的考验，高性能事件驱动模型的探索正是方向之一。

建议面向读者：对SocketIO或者对事件驱动设计有兴趣的开发人员。
SocketIO在本篇中通常指的是Netty-SocketIO。

概念

事件本是GUI领域最常用的概念，前端开发人员最常接触的一些GUI事件和事件模型框架比后端开发人员相对使用的更多，GUI中通常定义的一些事件，比如client、touch、doubleclick、multitouch、open、close等等都是对于GUI层面一些交互的抽象，这些具体的事件注册和响应也通常由GUI系统本身提供，而背后的实现逻辑，则无外乎下图所描述的事件模型实现。

（图2-1）事件驱动模型图
这其中主要包括4个基本组件：

• 事件队列（event queue）：接收事件的入口，存储待处理事件；
• 分发器（event mediator）：将不同的事件分发到不同的业务逻辑单元；
• 事件通道（event channel）：分发器与处理器之间的联系渠道；
• 事件处理器（event processor）：实现业务逻辑，处理完成后会发出事件，触发下一步操作。

事件驱动模型的三要素：

• 事件源：能够接收外部事件的源体；
• 侦听器：能够接收事件源通知的对象；
• 事件处理程序：用于处理事件的对象。

HTML中对于Body的标签预埋的事件，除了浏览器本身提供可声明行为监听，还可以针对框架本身进行扩展。

（图2-2）github的body标签对应的事件
抛开GUI领域，事件驱动模型在其他领域发挥的作用也远比想象的要多，基于笔者的理解，大致能抽象一下如下的场景：

• 可声明的行为（静态的）
• 可状态化的行为抽象描述（动态的）

可状态化的行为，可以通过状态图来描述，而状态图通常是事件驱动模型设计中非常重要的建模模型。作为面向对象语言的Java开发人员，面向对象设计和状态图之间总会有一个成员变量表示这个对象的当前状态，而状态的变化（生命周期）用事件驱动模型设计思路不谋而合，比如下图展示的是课堂中的熔断逻辑状态图。

（图2-3）单个会话生命周期信令熔断状态图
事件驱动在Java编程领域常用的基于guava的EventBus、RxJava的RxBus都是使用率较高的事件驱动框架，为了和SocketIO框架整合，本篇也重复造了一个轮子，功能更多、性能更强。

SocketIO事件驱动分析

SocketIO在事件驱动设计中大致可以划分为2个场景：

• Netty网络通信事件
• 业务对象模型事件

SocketIO使用Netty作为底层的网络通信框架，而Netty使用NIO的API进行设计，Netty的事件驱动资料较为丰富，本篇不再重复。

业务对象模型

常用的连接事件

• 'CONNECT',
• 'DISCONNECT',
• 'EVENT',
• 'ACK',
• 'ERROR',
• 'BINARY_EVENT',
• 'BINARY_ACK'

SocketIO服务端的事件API

基本上可以定义成单个会话的生命周期状态图。

• onConnect
• onDisconnect
• onEvent
• onPing

SocketIO事件扫描注册器

public interface AnnotationScanner {
    //扫描的注解类
    Class getScanAnnotation();
    //给扫描的类注解方法添加Listener
    void addListener(Namespace namespace, Object object, Method method, Annotation annotation);
    //验证扫描的类注解方法
    void validate(Method method, Class clazz);
}

注解扫描实现

• OnConnectScanner
• OnDisconnectScanner
• OnEventScanner

优化与改造

SocketIO自身的事件模型框架给开发者提供了很大的扩展性，基于这些扩展性我们可以进行2个维度的优化改造，一方面针对SocketIO自身的业务事件进行二次优化和扩展，另一方面，基于生产的要求和功能的高度扩展性，迭代出可插拔的事件插件功能包。

基于上述两个维度，利用事件驱动模型可进行改造的方向主要围绕以下几个内容：

• onData事件注册器改造
• EventBus改造
• 基于事件的原生事件API改造
• 基于事件的Telemetry改造
• 基于事件的Ops改造
• NettyEpoll优化（补充）

论证

在进行改造之前，我们做一次常规的微基准测试，目的很简单，SocketIO提供的基于反射的事件驱动和NativeCall大致的性能对比到底如何。

测试点1：Event的反射调用基准测试

原理分析：反射需要执行一个相当昂贵的方法查找来获取描述特定方法的对象。同时，当一个方法被调用时，这要求 Java 虚拟机去运行本地代码，相比直接调用，这需要一个很长的运行时间。然而，现代 Java 虚拟机知道一个被称为“类型膨胀”的概念：基于 JNI 的方法调用会被动态生成的字节码给替换掉，而这些方法调用的字节码被注入到一个动态生成的类中。（即使 Java 虚拟机自身也使用代码生成！）毕竟，Java 的类型膨胀系统仍存在生成非常一般的代码的缺点，例如，仅能使用基本类型的装箱类型以至于性能缺陷不能完全解决。

跳过安全检查同样在反射中可以做到，便利的同时谁也不希望自己没有一点点防备。为此，特别写了一个JMH用于实验，作为此次改造依据。

微基准测试报告：

配置：19MacPro，i9-8C16G

反射实现：(1)jdk的methodInvoker实现，(2)cglib的fastInvoker实现，(3)编制成原生字节码NativeCall

结论：cglib(1倍速) < jdk(1倍速) << nativeCall(284倍速)

# JMH version: 1.22
# VM version: JDK 1.8.0_101, Java HotSpot(TM) 64-Bit Server VM, 25.101-b13
# VM invoker: /Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home/jre/bin/java
# VM options: -Dfile.encoding=UTF-8
# Warmup: 10 iterations, 10 s each
# Measurement: 10 iterations, 10 s each
# Timeout: 10 min per iteration
# Threads: 1 thread, will synchronize iterations
# Benchmark mode: Average time, time/op

JMH Report
Benchmark                        Mode  Cnt  Score    Error  Units
MethodInoveBenchmark.cgilib2     avgt   10  2.885 ±  0.094  ms/op
MethodInoveBenchmark.jdk         avgt   10  2.841 ±  0.050  ms/op
MethodInoveBenchmark.nativeCall  avgt   10  0.017 ±  0.001  ms/op

测试点2：Javassist静态编译、ByteBuddy动态编译

对接上面的性能压测篇，可以得到编织（字节码编译，完成字节码加载步骤后等价于硬编码）在某些固定调用场景下的作用随着量级的提升，整体的QPS差异是巨大的，这里主要围绕javasist（静态编译）和bytebuddy（动态编译（也称运行时编译））两种常用组件进行介绍如何对socketio的反射调用进行编译器的字节码编制，ByteBuddy底层ASM二次抽象框架，二者原理及优劣势在此处不做对比。

Javasist、ByteBuddy都支持字节码静态和动态编译

SocketIO对于信令时间的执行使用method.invoke()，对应的参数假设固定位2位，并且格式为。

public void invoke(SocketIOClient client, AckRequest request)

Javassist伪代码：

  org.javassist
  javassist
  3.26.0-GA

    private static final ClassPool classPool = ClassPool.getDefault();
    static {
        try {
            classPool.insertClassPath(new ClassClassPath(AbstractMessageInvoker.class));
        } catch (Exception e) {
            log.error("AbstractMessageInvoker class is failed.", e);
        }
    }
    //对需要扫描的注解方法进行字节码编译，修改并重新生成class文件，对事件加入前置过滤器和事件拦截器。
    public static IMessageInvoker invokeEnhance(Object bean, Method method, String eventName, CombineFilter filter, CombineHandlerInterceptor combineHandlerInterceptor) throws Exception {
        String methodName = method.getName();
        Class[] parsClass = method.getParameterTypes();
        CtClass result = classPool.makeClass(IMessageInvoker.class.getPackage().getName() + "." + bean.getClass().getSimpleName() + methodName);
        result.setSuperclass(classPool.get(AbstractMessageInvoker.class.getCanonicalName()));
        //设置构造方法
        setConstructor(result, bean);
        //设置成员方法
        setMethod(result, method, parsClass, eventName);
        ...
        return (IMessageInvoker) result.toClass().getConstructor(bean.getClass(), String.class, CombineFilter.class, CombineHandlerInterceptor.class).newInstance(bean, eventName, filter, combineHandlerInterceptor);
    }

ByteBuddy伪代码：

            net.bytebuddy
            byte-buddy
            1.10.5

//对扫描的方法进行构造，并加入代理执行器
AbstractMessageInvoker invoker = (AbstractMessageInvoker) new ByteBuddy()
                .redefine(bean.getClass())
                .method(named(method.getName()).and(takesArguments(method.getParameterTypes()))).intercept(MethodDelegation.to(MethodInterceptor.class))
                .make()
                .load(MessageInvokeEnhance.class.getClassLoader(), ClassLoadingStrategy.Default.WRAPPER)
                .getLoaded()
                .newInstance();
                return invoker;
         }
         
     //在代理期中完成事件的前置过滤器和事件拦截器
    @RuntimeType
    public void invoke(@Origin Method method, @Argument(0)SocketIOClient socketIOClient, @Argument(0)AckRequest ackRequest, @Argument(0)String eventName,, @SuperCall Callable callable) {
        try {
            boolean ret = filters.filter(socketIOClient, ackRequest, eventName);
            if (ret) { return; }
            ...
            callable.call();
        } catch (Exception e) {
            log.error("MethodInterceptor error", e);
        } finally {

        }
    }

改造点

DataListener.onData事件注册器改造

SocketIO源码：原生通过反射Method.invoke进行调用。

namespace.addEventListener(annotation.value(), objectType, new DataListener