xumin_wlt
xumin_wlt

SocketIO高性能事件驱动设计探索

背景

SocketIO原生基于NodeJS实现的Web长连接技术方案，H5原生场景下通常使用websocket作为基础协议进行网络通信（客户端支持多语言），SocketIO对于长连接场景下的业务形态进行了很多方面的抽象和实现，比如：命名空间、用户、房间等关系模型，技术形态下同样也进行了多方面的快速支持，比如ssl证书、websocket文本、二进制、双向Ack、心跳等API，作为一个Web长连接解决方案，SocketIO不失为一个很棒的基础协议支持框架，接入快速，模型简单，掌门在Socket通信接入侧选型上也选择了SocketIO协议。

如果是一个擅长Java技术栈的后端来说，netty-socketio（官方地址: https://github.com/mrniko/net...）(4.4k star)的确是实现socketio服务的不二之选，这个项目由近几年比较火的redis官方推荐Java客户端连接工具redisson(11.6k star)作者(mrniko)于13年开发，已经有7年之久，已经处于事实上的停更状态，这给使用该项目作为web长连接后端框架来说，选择它通常并不是那么容易接受，而我们希望通过一系列的性能改造使地它能够更好地被我们所用。

业务背景

基于Socket的业务场景大致可以分为以下部分（其中加粗部分为掌门在Socket业务领域覆盖）：

  • 聊天场景： 即时通信
  • 直播场景：互动、弹幕
  • 智能家居IoT：监控、远程控制
  • 游戏场景：互动
  • 交通场景：位置共享
  • 教学场景：在线白板
  • 音视频：WebRTC信令协商
  • SLB长连接场景：网关

从分类上，掌门在Socket长连接领域覆盖度很高，其中最核心场景为教学场景，单个会话信令最高可达80帧QPS，百兆峰值带宽下上课高峰时间对服务器冲击很大，高性能、可控制、可度量、可伸缩是生产系统服务提供的基础要求，如何设计一套高性能高可扩展性系统对团队提出了很大的考验，高性能事件驱动模型的探索正是方向之一。

建议面向读者：对SocketIO或者对事件驱动设计有兴趣的开发人员。
SocketIO在本篇中通常指的是Netty-SocketIO。

概念

事件本是GUI领域最常用的概念，前端开发人员最常接触的一些GUI事件和事件模型框架比后端开发人员相对使用的更多，GUI中通常定义的一些事件，比如client、touch、doubleclick、multitouch、open、close等等都是对于GUI层面一些交互的抽象，这些具体的事件注册和响应也通常由GUI系统本身提供，而背后的实现逻辑，则无外乎下图所描述的事件模型实现。

事件驱动模型图

（图2-1）事件驱动模型图

这其中主要包括4个基本组件：

  • 事件队列（event queue）：接收事件的入口，存储待处理事件；
  • 分发器（event mediator）：将不同的事件分发到不同的业务逻辑单元；
  • 事件通道（event channel）：分发器与处理器之间的联系渠道；
  • 事件处理器（event processor）：实现业务逻辑，处理完成后会发出事件，触发下一步操作。

事件驱动模型的三要素：

  • 事件源：能够接收外部事件的源体；
  • 侦听器：能够接收事件源通知的对象；
  • 事件处理程序：用于处理事件的对象。

HTML中对于Body的标签预埋的事件，除了浏览器本身提供可声明行为监听，还可以针对框架本身进行扩展。
1.2-2.png

（图2-2）github的body标签对应的事件

抛开GUI领域，事件驱动模型在其他领域发挥的作用也远比想象的要多，基于笔者的理解，大致能抽象一下如下的场景：

  • 可声明的行为（静态的）
  • 可状态化的行为抽象描述（动态的）

可状态化的行为，可以通过状态图来描述，而状态图通常是事件驱动模型设计中非常重要的建模模型。作为面向对象语言的Java开发人员，面向对象设计和状态图之间总会有一个成员变量表示这个对象的当前状态，而状态的变化（生命周期）用事件驱动模型设计思路不谋而合，比如下图展示的是课堂中的熔断逻辑状态图。

1.2-3.png

（图2-3）单个会话生命周期信令熔断状态图

事件驱动在Java编程领域常用的基于guava的EventBus、RxJava的RxBus都是使用率较高的事件驱动框架，为了和SocketIO框架整合，本篇也重复造了一个轮子，功能更多、性能更强。

SocketIO事件驱动分析

SocketIO在事件驱动设计中大致可以划分为2个场景：

  • Netty网络通信事件
  • 业务对象模型事件
SocketIO使用Netty作为底层的网络通信框架，而Netty使用NIO的API进行设计，Netty的事件驱动资料较为丰富，本篇不再重复。

业务对象模型

常用的连接事件

  • 'CONNECT',
  • 'DISCONNECT',
  • 'EVENT',
  • 'ACK',
  • 'ERROR',
  • 'BINARY_EVENT',
  • 'BINARY_ACK'

SocketIO服务端的事件API

基本上可以定义成单个会话的生命周期状态图。

  • onConnect
  • onDisconnect
  • onEvent
  • onPing

SocketIO事件扫描注册器

public interface AnnotationScanner {
    //扫描的注解类
    Class getScanAnnotation();
    //给扫描的类注解方法添加Listener
    void addListener(Namespace namespace, Object object, Method method, Annotation annotation);
    //验证扫描的类注解方法
    void validate(Method method, Class clazz);
}

注解扫描实现

  • OnConnectScanner
  • OnDisconnectScanner
  • OnEventScanner

优化与改造

SocketIO自身的事件模型框架给开发者提供了很大的扩展性，基于这些扩展性我们可以进行2个维度的优化改造，一方面针对SocketIO自身的业务事件进行二次优化和扩展，另一方面，基于生产的要求和功能的高度扩展性，迭代出可插拔的事件插件功能包。

基于上述两个维度，利用事件驱动模型可进行改造的方向主要围绕以下几个内容：

  • onData事件注册器改造
  • EventBus改造
  • 基于事件的原生事件API改造
  • 基于事件的Telemetry改造
  • 基于事件的Ops改造
  • NettyEpoll优化（补充）

论证

在进行改造之前，我们做一次常规的微基准测试，目的很简单，SocketIO提供的基于反射的事件驱动和NativeCall大致的性能对比到底如何。

测试点1：Event的反射调用基准测试

原理分析：反射需要执行一个相当昂贵的方法查找来获取描述特定方法的对象。同时，当一个方法被调用时，这要求 Java 虚拟机去运行本地代码，相比直接调用，这需要一个很长的运行时间。然而，现代 Java 虚拟机知道一个被称为“类型膨胀”的概念：基于 JNI 的方法调用会被动态生成的字节码给替换掉，而这些方法调用的字节码被注入到一个动态生成的类中。（即使 Java 虚拟机自身也使用代码生成！）毕竟，Java 的类型膨胀系统仍存在生成非常一般的代码的缺点，例如，仅能使用基本类型的装箱类型以至于性能缺陷不能完全解决。

跳过安全检查同样在反射中可以做到，便利的同时谁也不希望自己没有一点点防备。为此，特别写了一个JMH用于实验，作为此次改造依据。

微基准测试报告：

配置：19MacPro，i9-8C16G

反射实现：(1)jdk的methodInvoker实现，(2)cglib的fastInvoker实现，(3)编制成原生字节码NativeCall

结论：cglib(1倍速) < jdk(1倍速) << nativeCall(284倍速)

# JMH version: 1.22
# VM version: JDK 1.8.0_101, Java HotSpot(TM) 64-Bit Server VM, 25.101-b13
# VM invoker: /Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home/jre/bin/java
# VM options: -Dfile.encoding=UTF-8
# Warmup: 10 iterations, 10 s each
# Measurement: 10 iterations, 10 s each
# Timeout: 10 min per iteration
# Threads: 1 thread, will synchronize iterations
# Benchmark mode: Average time, time/op

JMH Report
Benchmark                        Mode  Cnt  Score    Error  Units
MethodInoveBenchmark.cgilib2     avgt   10  2.885 ±  0.094  ms/op
MethodInoveBenchmark.jdk         avgt   10  2.841 ±  0.050  ms/op
MethodInoveBenchmark.nativeCall  avgt   10  0.017 ±  0.001  ms/op

测试点2：Javassist静态编译、ByteBuddy动态编译

对接上面的性能压测篇，可以得到编织（字节码编译，完成字节码加载步骤后等价于硬编码）在某些固定调用场景下的作用随着量级的提升，整体的QPS差异是巨大的，这里主要围绕javasist（静态编译）和bytebuddy（动态编译（也称运行时编译））两种常用组件进行介绍如何对socketio的反射调用进行编译器的字节码编制，ByteBuddy底层ASM二次抽象框架，二者原理及优劣势在此处不做对比。

Javasist、ByteBuddy都支持字节码静态和动态编译

SocketIO对于信令时间的执行使用method.invoke()，对应的参数假设固定位2位，并且格式为。

public void invoke(SocketIOClient client, AckRequest request)

Javassist伪代码：


  org.javassist
  javassist
  3.26.0-GA

    private static final ClassPool classPool = ClassPool.getDefault();
    static {
        try {
            classPool.insertClassPath(new ClassClassPath(AbstractMessageInvoker.class));
        } catch (Exception e) {
            log.error("AbstractMessageInvoker class is failed.", e);
        }
    }
    //对需要扫描的注解方法进行字节码编译，修改并重新生成class文件，对事件加入前置过滤器和事件拦截器。
    public static IMessageInvoker invokeEnhance(Object bean, Method method, String eventName, CombineFilter filter, CombineHandlerInterceptor combineHandlerInterceptor) throws Exception {
        String methodName = method.getName();
        Class[] parsClass = method.getParameterTypes();
        CtClass result = classPool.makeClass(IMessageInvoker.class.getPackage().getName() + "." + bean.getClass().getSimpleName() + methodName);
        result.setSuperclass(classPool.get(AbstractMessageInvoker.class.getCanonicalName()));
        //设置构造方法
        setConstructor(result, bean);
        //设置成员方法
        setMethod(result, method, parsClass, eventName);
        ...
        return (IMessageInvoker) result.toClass().getConstructor(bean.getClass(), String.class, CombineFilter.class, CombineHandlerInterceptor.class).newInstance(bean, eventName, filter, combineHandlerInterceptor);
    }

ByteBuddy伪代码：


            net.bytebuddy
            byte-buddy
            1.10.5

//对扫描的方法进行构造，并加入代理执行器
AbstractMessageInvoker invoker = (AbstractMessageInvoker) new ByteBuddy()
                .redefine(bean.getClass())
                .method(named(method.getName()).and(takesArguments(method.getParameterTypes()))).intercept(MethodDelegation.to(MethodInterceptor.class))
                .make()
                .load(MessageInvokeEnhance.class.getClassLoader(), ClassLoadingStrategy.Default.WRAPPER)
                .getLoaded()
                .newInstance();
                return invoker;
         }
         
     //在代理期中完成事件的前置过滤器和事件拦截器
    @RuntimeType
    public void invoke(@Origin Method method, @Argument(0)SocketIOClient socketIOClient, @Argument(0)AckRequest ackRequest, @Argument(0)String eventName,, @SuperCall Callable callable) {
        try {
            boolean ret = filters.filter(socketIOClient, ackRequest, eventName);
            if (ret) { return; }
            ...
            callable.call();
        } catch (Exception e) {
            log.error("MethodInterceptor error", e);
        } finally {

        }
    }

改造点

DataListener.onData事件注册器改造

SocketIO源码：原生通过反射Method.invoke进行调用。

namespace.addEventListener(annotation.value(), objectType, new DataListener() {
                @Override
                public void onData(SocketIOClient client, Object data, AckRequest ackSender) {
                    try {
                        Object[] args = new Object[method.getParameterTypes().length];
                        if (socketIOClientIndex != -1) {
                            args[socketIOClientIndex] = client;
                        }
                        if (ackRequestIndex != -1) {
                            args[ackRequestIndex] = ackSender;
                        }
                        if (!dataIndexes.isEmpty()) {
                            int dataIndex = dataIndexes.iterator().next();
                            args[dataIndex] = data;
                        }
                        //基于反射的调用
                        method.invoke(object, args);
                    } catch (InvocationTargetException e) {
                        throw new SocketIOException(e.getCause());
                    } catch (Exception e) {
                        throw new SocketIOException(e);
                    }
                }
            }); 
 
改造后源码：现改造成编制调用，并加入到事件监听器。
 
 
socketIOServer.addEventListener(eventName, objectType, new DataListener() {
            @Override
            public void onData(SocketIOClient client, Object data, AckRequest ackSender) {
                try {
                    //扫描并添加编译后的基于字节码执行逻辑
                    final IMessageInvoker thisInvoker = messageInvokeMap.get(eventName);
                    if (Objects.isNull(thisInvoker)) { return;}
                    if (parsClass.length == 2) {
                        thisInvoker.invoke(client, ackSender);
                    } else if (parsClass.length == 3) {
                        thisInvoker.invoke(client, ackSender, data);
                    } else if (parsClass.length == 4) {
                        thisInvoker.invoke(client, ackSender, data);
                    }
                } catch (Exception e) {
                    throw new SocketIOException(e);
                }
            }
        }); 
 
高性能EventBus
 
 
阅读guava的EventBus源码设计思路为定制EventBus提供很好的API模型参考。
 
 
SocketIO场景中，信令事件的下发通常使用Netty原生的workerGroup线程池的NioEventLoop Thread进行，Eventbus在此完成事件模型从通信事件到业务事件的解耦， 通常同步调用支持会是基本的诉求，其次，为了保证通信线程的高效，耗时的业务事件需要EventBus以异步的形式去执行。
 
 
EventBus通常包含以下几个功能API:
 
 
     
  
  • 事件扫描注册；
    •  
  
  • 事件的post接口（同步、异步）；
    •  
  
  • 事件声明式注解。
    •  
 
 
 
异步和同步在基本情况下，原则上仅仅是多了一层任务分派执行者从本线程变成了其他线程。高性能的EventBus设计，我们依旧把精力放在事件的调用上，同时针对各种业务形态，定制高效的异步Actor线程池，消除锁竞争是提升线程池效率的利器，实现IO和业务解耦，用一些讨巧的命名获取可以更好理解这些模型，大致可理解为：
 
 
     
  
  • 1对1模型：一个线程分配一个独立队列，互相不干扰；
    •  
  
  • 大班课模型：按照业务划分，使用多个队列，具备同一特征的任务分配到同一个队列，这些队列的数量可进行扩展，参考Kafka Partitation队列；
    •  
  
  • 不可描述模型：常规线程池模型，使用一个任务队列，在队列的选型上可以参考LMAX Disruptor①，Tomcat8.5+提供QueuableCachedThreadPool。
    •  
 
 
 
1.4-1.png
 
 
（图4-1）某种优化过的1对1线程池模型图

扩展性：
 
 
EventBus的扩展性同SocketIO事件一样使用可插播的过滤器和拦截器来完成，预制事前Filter，事中Interceptor完成事件的过程管控。
 
 
优雅关闭：
 
 
EventBus在提供异步功能的前提下，做到任务的可追踪可度量、消息不丢失，做好优雅关闭是另一件重要事情，对于定制的线程池，需要根据队列和正在运行的任务消费情况进行生命周期的关闭。
 
 
跨线程：
 
 
异步带来的另外一个问题跨线程问题，在监控和流控场景造成了很大的适配性难题，单一局部场景下，InheritThreadLocal能解燃眉之急，侵入的编程传递也能完成功能，如何做到低侵入和高性能的适配是EventBus考虑的另一个难题，好在EventBus场景比较受控，贯彻约定大于配置思路，按需调用定制型的submitAPI。
 
 
常用的低侵入跨线程同步方案：②
 
 
     
  
  • java agent
    •  
  
  • transmittable-thread-local
    •  
 
 
 
度量：
 
 
EventBus度量常用的指标维度：
 
 
     
  
  • QPS：1m、5m
    •  
  
  • ThreadPool：active、queue、max
    •  
  
  • processTime：min、max、avg
    •  
 
 
 
1.4-2.png
（图4-2）Actor线程池监控
 
 

   ①关于异步队列的使用，此处性能问题可以参考Log4j2对于异步、LMAX Disruptor选型在不同场景下的使用规则，KISS在绝大多数场景下是能得到认可的原则，异步是把双刃剑，在于此处业务是否对性能QPS值得一定的投入，Log4j2对此同样有较为详细的介绍。 
  
②Skywalking使用Javaagent扫描TraceCrossThread注解进行跨线程同步
 
 
 
 
基于事件的Telemetry改造
 
 
Telemetry通常由Log、Metric、Trace③构成，这里简单介绍如何通过事件驱动完成三者的Collector模型。
 
 
1.4-3.png
 
 
（图4-3）监控作用域维恩图

产品上线，监控先行
 
 
SocketIO原生接口缺失：相对于参考作者的(redisson Pro)版本使用dropwizard metrics进行扩展；
 
 
SocketIO需要对监控的部分代码已经改造，以支持高效率的监控Guage信息和可扩展的拦截的其他埋点信息。
 
 
Metrics可以使用opentelemetry④/dropwizardmetrics/prometheus-client。
 
 
SocketIO可根据基础事件埋点的Metrics案例：
 
 
1.4-4.png
 
 
（图4-4）SocketIO常规事件监控
 
 

   ③对于Log、Metric、Trace三者之间的关系可参考sw作者吴晟的译文： 
  https://wu-sheng.github.io/me... 
  
④基本上opentelemetry想要实现的Log+Metrics+Trace未来目标都是我们想要的，但是opentelemetry更新的进度实在难以接受，所以使用成熟的第三方会更加容易生产上线。opentelemetry对于Log的支持目前还未开始。
 
 
 
 
监控埋点和收集
 
 
本章节简单介绍如何使用SocketIO事件模型框架通过事件和扩展点低侵入式完成各种监控埋点和收集。
 
 
Log:
 
 
画像埋点就是对非结构化数据的特征抽象，当需要将服务端的用户日志UserLog纳入到画像分析时，用户特征状态和事件之间可以抽象出一种对照表。
 
 
LogStateRegister.registe(ConnectEvent)
LogStateRegister.registe(DisconnectEvent)
 
 
增加一个监控监听完成对特征事件的监听，并根据特征进行日志的输出，完成部分用画画像日志的低侵入埋点。
 
 
void onEvent(ConnectEvent event) {
    LogStateRegister.log(event)
}
 
 
增加异常Log收集和反馈：类似于SpringMVC的ExceptionHandler的基于事件的统一的异常反馈机制。
 
 
public class SocketIOServerExceptionFacade {
    @Autowired
    private SocketIOServer socketIOServer;
    @EventHandler
    public void onSessionInvokerExceptionEvent(SessionInvokerExceptionEvent ex) {
        log.error(ex.getMessage, ex.getException());
        ex.getRequest().sendAckData(PacketUtil.socketError(ex.getAppid(), ex.getGroupId(), ex.getErrorCode(), ex.getErrorMsg()));
    }
}
 
 
Metric:
 
 
同样，针对特征指标的抽取埋点，同样可以低侵入完成，大致过程如下：
 
 
1）对发送包耗时和QPS进行监控；
 
 
2）定义Meter：SocketMessageMeter.java；
 
 
3）将Meter注册到MetricsRegister；
 
 
4）新增一个事件监听完成MeterAPI的调用；
 
 
5）完成收集并输出。
 
 
1.4-5.png
 
 
（图4-5）SocketIO信令事件监控 感谢@郭浩大佬供图

定义Histograms(Histograms在高QPS情况下性能有比较大的影响，所以通常建议自己实现timerange结果再输出到Meter)
 
 
SocketMessageHistograms.java
 
 
Tracer：
 
 
为了达到尽可能少的侵入代码，通常集成skywalking plugins 6.5.0+（netty-socketio.plugin）进行链路Trace收集。
 
 
Trace链路常规需求：
 
 
     
  
  • 提供用户接入连接现场链路；
    •  
  
  • 提供用户断开连接的现场链路；
    •  
  
  • 提供用户关键信令的链路；
    •  
 
 
 
Trace更多定制项：（部分功能需要定制代码）针对超高QPS信令来说，实际情况需要提供更多可扩展性：
 
 
     
  
  • 采样拦截；
    •  
  
  • 特征值(染色)拦截；
    •  
  
  • 固定event拦截；
    •  
  
  • 魔数拦截（二进制协议）；
    •  
 
 
 
针对netty-socketio高性能的定位，对sw的期望更加体现在关键节点的完整性扩展性，而非给所有信令铺上一张大网，大鱼小鱼一把抓，所以需要进一步定制socketio-plugin按需所取，针对定制后的socketio的入口，出口，链路进行拦截，原生的事件可以提供较为入门的功能使用，插件开发基础难度不高，具体开发内容篇幅内容不展开。
 
 
这里以官方插件为例：
 
 
Skywalking-agent打包时使用share将代码全部到打到该jar，避免冲突问题，需要手动打socketio-plugins包。
 
 
备注6.5.0新增了SOCKET_IO，6.5.0以下版本使用该包降级会出现异常，降级使用需要定制该域。
 
 
插件定制打包过程
 
 
下载打包，因为会有checkstyle强制检查，这里暂时跳过。
 
 
git checkout v6.5.0
mvn package -Dcheckstyle.skip=true
 
 
或者
 
 

    org.apache.maven.plugins
            maven-checkstyle-plugin
            
                
                    checkstyle-validation
                    none
                
            

 
 
定制内容
 
 
1). 替换所有字段：
 
 
+NettySocketIOConnectionInterceptor.java
 
 
public static final OfficialComponent SOCKET_IO = new OfficialComponent(76, "SocketIO");
span.setComponent(SOCKET_IO);
 
 
否则在低版本中会有Field异常
 
 
ERROR 2019-12-26 14:43:43:933 epollEventLoopGroup-9-3 InstMethodsInter :  class[class com.corundumstudio.socketio.namespace.Namespace] before method[onDisconnect] intercept failure
java.lang.NoSuchFieldError: SOCKET_IO
    at org.apache.skywalking.apm.plugin.netty.socketio.NettySocketIOConnectionInterceptor.beforeMethod(NettySocketIOConnectionInterceptor.java:44)
    at org.apache.skywalking.apm.agent.core.plugin.interceptor.enhance.InstMethodsInter.intercept(InstMethodsInter.java:82)
    at com.corundumstudio.socketio.namespace.Namespace.onDisconnect(Namespace.java)
    at com.corundumstudio.socketio.transport.NamespaceClient.onDisconnect(NamespaceClient.java:115)
    at com.corundumstudio.socketio.handler.ClientHead.onChannelDisconnect(ClientHead.java:183)
    at com.corundumstudio.socketio.transport.WebSocketTransport.channelInactive(WebSocketTransport.java:148)
 
 
2). 重命名6.x.0，加入到plugins中，查看日志：
 
 
INFO 2019-12-26 15:37:56:434 localhost-startStop-1 AgentClassLoader :  /usr/skywalking-apm/agent/plugins/apm-netty-socketio-plugin-6.3.0.jar loaded.
 
 
3). 源码分析：
 
 
netty-socketio-plugin能提供的埋点源码可以看到trace的出入口拦截方式。
 
 
a）拦截SocketIOClient编译代理对象：NamespaceClient：
 
 
protected ClassMatch enhanceClass() {
        return byName("com.corundumstudio.socketio.transport.NamespaceClient");
    }
 
 
b）拦截加入、离开房间事件：
 
 
    public ElementMatcher getMethodsMatcher() {
                    //对加入、退出房间行为进行拦截
                    return named("joinRoom").or(named("leaveRoom"));
                }
 
 
c）拦截基础连接和信令事件：
 
 
new InstanceMethodsInterceptPoint() {
                @Override
                public ElementMatcher getMethodsMatcher() {
                    //加入基础信令事件拦截
                    return named("onEvent");
                }
                @Override
                public String getMethodsInterceptor() {
                    return "org.apache.skywalking.apm.plugin.netty.socketio.NettySocketIOOnEventInterceptor";
                }
                @Override
                public boolean isOverrideArgs() {
                    return false;
                }
            },
            new InstanceMethodsInterceptPoint() {
                @Override
                public ElementMatcher getMethodsMatcher() {
                    //对连接事件进行拦截
                    return named("onConnect");
                }
                @Override
                public String getMethodsInterceptor() {
                    return "org.apache.skywalking.apm.plugin.netty.socketio.NettySocketIOConnectionInterceptor";
                }
                @Override
                public boolean isOverrideArgs() {
                    return false;
                }
            },
            new InstanceMethodsInterceptPoint() {
                @Override
                public ElementMatcher getMethodsMatcher() {
                    //对断开连接事件进行来接
                    return named("onDisconnect");
                }
                @Override
                public String getMethodsInterceptor() {
                    return "org.apache.skywalking.apm.plugin.netty.socketio.NettySocketIOConnectionInterceptor";
                }
                @Override
                public boolean isOverrideArgs() {
                    return false;
                }
            }
 
 
4). 在SW-UI中结果展示：
 
 
1.4-6-1.png
 
 
（图4-6）SocketIO接入流程Trace链路

更多功能参考：
 
 
     
  
  1. Log集成Skywalking toolkit-TID的集成
    2.  
  
  2. 获取TraceContext中的内容
    3.  
  
  3. 常用的异步事件驱动中跨线程处理
    4.  
 
 
 
基于事件的Ops改造
 
 
redis和mysql client提供了很多强有力的客户端工具，管理人员能通过简单的命令设置或者拿到需要的第一手信息，同样，在线上运行的socket机器是个典型的有状态服务，同样需要一系列的管理手段，Ops工具的改造同样值得投入，特别在近期的压测过程中能够更快速做到信息响应和控制，堪称好用。
 
 
定义并注册以下事件的实现：
 
 
SocketIO-Cli：telnet hacker
$->auth password #验证客户端
$->socketio info #显示socketioinfo
$->socketio show rooms #显示房间
$->socketio show namespaces #显示命名空间
$->socketio kill sessionId #强制踢出会话
$->socketio performance 100 #显示某个Top100性能指标
 
 
1.4-7.png
 
 
（图4-7）SocketIO-Ops工具客户端
 
 
优化
 
 
Netty Epoll改造
 
 
Epoll事件模型动态支持
 
 
socketio只能根据配置开关：useLinuxNativeEpoll=true，调整成优先尝试策略
 
 
public static boolean useNettyEpoll() {
        if (useEpoll) {
            try {
                Class.forName("io.netty.channel.epoll.Native");
                return true;
            } catch (Throwable error) {
                LOGGER.warn("can not load netty epoll, switch nio model.");
            }
        }
        return false;
    }
 
 
epoll没有描述符限制，用户态拷贝到内核态只需要一次使用事件通知，通过epoll_ctl注册fd,一旦该fd 就绪，内核就采用callback机制激活对应的fd
 
 
优点：没有fd限制，所支持的 FD 上限是操作系统的最大文件句柄数（65535），1G 内存大概支持 10W 句柄，支持百万连接的话，16G 内存就可以搞定
 
 
效率高，使用回调通知而不是轮询方式，不会随着 FD 数目增加效率下降，通过 callback 机制通知，内核和用户空间 mmap 同一块内存实现
 
 
        /**
         * 在Netty 4中实现了一个新的ByteBuf内存池，它是一个纯Java版本的 jemalloc （Facebook也在用）。
         * 现在，Netty不会再因为用零填充缓冲区而浪费内存带宽了。不过，由于它不依赖于GC，开发人员需要小心内存泄漏。
         * 如果忘记在处理程序中释放缓冲区，那么内存使用率会无限地增长。
         * Netty默认不使用内存池，需要在创建客户端或者服务端的时候进行指定
         */
        b.option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);
        b.childOption(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);
 
 
结语
 
 
SocketIO在更多地承担着网络通信和对象模型封装工作，而往往在整个产品中，整个功能的复杂度并不是1+1=2的叠加关系，而是各种交叉和耦合关系，事件驱动开发模型，在后期迭代的长尾优势效应会越发明显。优势好坏之边界，从来就是架构开发致力于划清的对象，是非之间，一如哈姆雷特之多，二如薛定谔的猫之困惑，笔者认为对于改造好坏一说并无统一定论，重构也亦无银弹一说，仅限于对能抓到老鼠的猫就是好猫的认可，适合即妥当，关于SocketIO更多的底层改造内容未来会在在线课堂和交互中台迭代以适配更加丰富的交互场景。
 
 
新一代面向应用的通信协议框架RSocket诞生至今，一直不温不火，但貌似并不妨碍成为未来的主流服务间的标准通信方案，未来是否可以跨越多语言无缝对接，站在巨人的肩膀上快速完成业务对于通信的高定制要求，不失为一个未来方向。
 
 
因时间仓促，本人能力有限，部分截图现画现卖，如有错误，还请海涵指正私聊。
 
 

   个人邮箱： 
  [email protected] 
  
Github：https://github.com/xuminwlt/
 
  
作者介绍：徐敏，开源爱好者，10年+互联网开发经验，现任掌门课堂云架构师，主要负责课堂云实时交互中台和4层网关架构设计开发工作。
 
 
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(socketio,netty,事件驱动)

        

            

                
    
                    
  • 【仿RabbitMQ消息队列项目day2】使用muduo库中基于protobuf的应用层协议进行通信
                        月夜星辉雪
rabbitmq网络分布式c++后端服务器linux
                        
    一.什么是muduo?muduo库是⼀个基于非阻塞IO和事件驱动的C++高并发TCP网络编程库。简单来理解，它就是对原生的TCP套接字的封装，是一个比socket编程接口更好用的编程库。二.使用muduo库完成一个英译汉翻译服务TranslateServer.hpp:#pragmaonce#include#include#include#include#include"muduo/net/TcpC
    
                    
    • 
                    
  • netty-简易聊天
                        2401_84046645
程序员java开发语言
                        
    publicvoidsend(Stringtext){channel.writeAndFlush(Unpooled.copiedBuffer(text.getBytes()));}publicvoidcloseConnect(){send(“bye”);channel.close();}}classMyHandlerextendsChannelInboundHandlerAdapter{@Over
    
                    
    • 
                    
  • Netty权威指南：Netty总结-高性能与可靠性
                        Ty_1106
Nettyjava网络rpc
                        
    第二十二章高性能之道22.1RPC调用性能模型分析22.1.1传统RPC调用性能差三宗罪：网络传输采用同步阻塞I/O导致经常性阻塞序列化性能差线程模型问题22.1.2I/O通信性能三要素传输：BIO、NIO或者AIO协议：HTTP公有协议，内部私有协议线程：数据报如何读取，Reactor线程模型22.2Netty高性能之道22.2.1异步非阻塞通信I/O多路复用技术22.2.2高效的Reactor
    
                    
    • 
                    
  • netty4源码阅读与分析---netty线程模型
                        红尘之一骑
javaNIOnetty源码阅读与分析
                        
    本文主要说下我自己对netty线程模型的理解，以及这样的线程模型的好处。通俗的来讲，netty的线程模型描述的就是老板和员工的故事。老板(通常情况下是一个老板)负责接活，与客户沟通，协调(netty的accept),谈成后(通道建立)，他需要从员工中选出一位员工来负责处理后续具体的事宜(worker线程，这里我们有16位员工，编号1-16)，员工做事时按照任务的先后顺序进行处理，这样可以避免错乱，
    
                    
    • 
                    
  • RAG与LLM原理及实践(16)---RAG 前端技术Flask-socketIO
                        PhoenixAI8
RAGMilvusChroma源码及实践前端flaskpythonsocketioRAG
                        
    目录背景技术理念RAG结合点实时数据更新与推送实时查询与响应安装使用完整案例说明后端python代码代码解释前端html代码JS代码代码解释总结背景构建RAG系统或别的系统时，如果后端采用的全Python，或者说是以python为主的系统，是很常见的一个选择，因为毕竟python对LLM，图片，乃至其他video等resource的model都有较完善的支撑，为了快速开发出原型，甚至之后的商用，往
    
                    
    • 
                    
  • Node.js 、Yarn、npm、Vue、Vite、Webpack 前端一套流程
                        叫我DPT
前端开发node.js前端npm
                        
    前端项目的搭建Vue、Vite、Webpack、Yarn、Node.js和npm的概念解释，以及它们之间的关系：Node.js：一个开源、跨平台的JavaScript运行时环境，可以让JavaScript代码在服务器端运行。它提供了一个事件驱动、非阻塞的I/O模型，使得它非常适合构建高性能的网络应用。Node.js基于ChromeV8引擎构建，能够执行JavaScript代码。npm（NodePa
    
                    
    • 
                    
  • 深度长文解析SpringWebFlux响应式框架15个核心组件源码
                        快乐非自愿
javaspring
                        
    SpringWebFlux介绍SpringWebFlux是SpringFramework5.0版本引入的一个响应式Web框架，它与SpringMVC并存，提供了一种全新的编程范式，支持异步非阻塞的Web应用开发。WebFlux完全基于响应式编程模型，支持ReactiveStreams规范，可以在诸如Netty、Undertow以及Servlet3.1+容器上运行。WebFlux的核心控制器是Dis
    
                    
    • 
                    
  • 在JavaScript中实现简单的发布/订阅模式
                        2401_85812053
javascript开发语言ecmascript
                        
    在现代Web开发中，发布/订阅模式是一种常见的设计模式，它允许不同部分的应用程序之间进行解耦和通信。这种模式特别适用于事件驱动的编程模型，能够有效地管理复杂的交互和数据流。本文将详细介绍如何在JavaScript中实现一个简单的发布/订阅模式，包括其工作原理、实现步骤以及实际应用示例。1.理解发布/订阅模式发布/订阅模式是一种消息传递模式，允许对象之间进行通信而不需要彼此直接引用。它主要由两个角色
    
                    
    • 
                    
  • Java网络编程：IO，NIO与Netty
                        坚持是一种态度
javajava网络编程NettyJavaIONIONIO与Netty
                        
    Java网络编程：IO，NIO与NettyJava网络编程：IO，NIO与NettyJavaI/O相关概念同步与异步阻塞与非阻塞OIONIOAIOreactor模型proactor模型JavaIO应用场景Netty简介NIO与Netty生产使用Java网络编程：IO，NIO与Netty新公司新项目，项目需要在硬件和软件平台进行信息传递，具体来说使用Netty。硬件和软件使用socket连接，硬件作
    
                    
    • 
                    
  • java reactor模式例子_Netty Reactor模式实现原理详解
                        weixin_39923623
javareactor模式例子
                        
    在前面的文章中(Reactor模型详解)，我们讲解了Reactor模式的各种演变形式，本文主要讲解的则是Netty是如何实现Reactor模式的。这里关于Netty实现的Reactor模式，需要说明的是，其实现的模式如下图所示：对于Netty使用的Reactor模式，其主要特点如下：使用一个线程作为mainReactor，专门用于监听客户端的连接事件，当获取到事件之后就将该事件交由Acceptor
    
                    
    • 
                    
  • Netty实战二-实现UDP的单播和广播(1)
                        2401_84048671
程序员udp网络协议网络
                        
    publicclassAnswerHandlerextendsSimpleChannelInboundHandler{/应答的具体内容从常量字符串数组中取得，由nextQuote方法随机获取/privatestaticfinalString[]DICTIONARY={“一个男生暗恋一个女生很久了。一天自习课上，男生偷偷的传了小纸条给女生，上面写着“其实我注意你很久了”。不一会儿，女生传了另一张纸条
    
                    
    • 
                    
  • Linux系统编程之事件驱动
                        weixin_34342905
c/c++ui
                        
    通常，我们写服务器处理模型的程序时，有以下几种模型：（1）每收到一个请求，创建一个新的进程，来处理该请求；（2）每收到一个请求，创建一个新的线程，来处理该请求；（3）每收到一个请求，放入一个事件列表，让主进程通过非阻塞I/O方式来处理请求分析：第（1）中方法，由于创建新的进程的开销比较大，所以，会导致服务器性能比较差,但实现比较简单。第（2）种方式，由于要涉及到线程的同步，有可能会面临死锁等问题。
    
                    
    • 
                    
  • Linux学习-inotify和rsync同步
                        丢爸
网络Linuxlinux学习服务器
                        
    Inotify是一个Linux特性，它监控文件系统操作，比如读取、写入和创建。Inotify反应灵敏，用法非常简单，并且比cron任务的繁忙轮询高效得多。Inotify实际基于事件驱动机制，为应用程序监控文件系统事件提供了实时响应事件的机制，无须通过cron等的轮询机制来获取事件。cron等机制不仅无法做到实时性，而且消耗大量系统资源。相比之下，inotify基于事件驱动，可以做到对事件处理的实时
    
                    
    • 
                    
  • netty源码解读三（NioEventLoop）
                        orcharddd_real
nettyjavanetty
                        
    NioEventLoop初始化EventExecutor类型的数组数组大小默认为cpu数量的两倍，遍历数组，通过newNioEventLoop(xxx)往数组中添加元素，NioEventLoop继承了EventExecutor；每次需要线程时，执行chooser的next方法从数组中取出一个线程；关键代码打开netty源码，找到example包下的EchoService类，追溯创建boss线程组和
    
                    
    • 
                    
  • Netty源码分析:NioEventLoopGroup
                        HelloWorld_EE
netty源码分析源代码nettyEventLoop
                        
    Netty源码分析:NioEventLoopGroup在工作之余，看到自己公司的超哥（俞超）关于Netty的系列博文，讲解的很好，因此，自己在学习之余也跟了下源代码，来了解Netty，也做了相关的笔记，将形成系列博文，这是第一篇。超哥的博文地址在这里：http://www.jianshu.com/p/c5068caab217Netty版本：4.0.23.Final借用超哥的例子，一般服务端的代码如
    
                    
    • 
                    
  • js知识总结
                        软件技术NINI
jsjavascriptvue.js前端
                        
    JavaScript（JS）是一种广泛使用的编程语言，主要用于网页开发，但也适用于非浏览器环境（如Node.js）。它支持面向对象、命令式、声明式（如通过函数式编程）和事件驱动式编程风格。以下是对JavaScript核心知识的一个总结：1.基础语法变量：使用var、let、const声明变量。let和const具有块级作用域，而var具有函数作用域或全局作用域。数据类型：包括原始类型（如Strin
    
                    
    • 
                    
  • 96、Python消息队列与事件驱动：架构设计与实战案例
                        多多的编程笔记
架构kongconsul
                        
    Python开发：熟悉API网关和服务发现（如Kong、Consul）引言在当今的软件开发领域，微服务架构已经成为了一种趋势。而在微服务架构中，API网关和服务发现机制扮演着至关重要的角色。本文将为大家介绍Python开发中如何熟悉API网关和服务发现，并以Kong和Consul为例，深入解析其应用场景和实用技巧。API网关什么是API网关API网关是一种服务器，作为客户端和后端服务之间的接口。它
    
                    
    • 
                    
  • 基于事件驱动网络服务器实现
                        jlaij
c/c++
                        
    socket的事件类型有读事件（socket链接也属于读事件）、写事件、socket关闭事件事件处理方式无非就是添加事件、删除事件、分发执行事件大致逻辑就是：事件驱动的网络实现逻辑Loop:  EventOp->dispatch() //由select或epoll进行事件监听  将监听的事件添加到事件列表里  for(ev:event_list):    ifev&ev_read&&fd是serv
    
                    
    • 
                    
  • 大型网站核心架构要素
                        贾欣晓
架构架构
                        
    文章目录1性能1.1性能优化1.2性能度量2可用性2.1可用性指标2.2可用性目标2.3可用性方案2.4可用性度量3伸缩性3.1伸缩性度量3.2伸缩性方案3.2.1应用服务器集群3.2.2缓存服务器集群3.2.3关系数据库集群3.2.4NoSQL数据库产品4扩展性4.1扩展性度量4.2扩展性方案4.2.1事件驱动架构4.2.2分布式服务5安全性5.1安全性度量6小结关于什么是架构，一种比较通俗的说
    
                    
    • 
                    
  • 使用systemtap进行内核跟踪
                        程序猿Ricky的日常干货
systemtap
                        
    当我们利用systemtap跟踪内核时，首先需要了解systemtap提供了什么跟踪点，这些跟踪点在systemtap中被称为probe事件。systemtap的语法类似于awk和bpftrace语法，是一种事件驱动的语言。当内核执行到时某一种事件被触发就会处理相应的动作。格式如下：probeprobe-point{statement}systemtap中支持的事件分为很多类型，本文将触发介绍一些
    
                    
    • 
                    
  • Node.js的学习与简单使用
                        学习Java的唐唐
前端技术学习javajsnodejs
                        
    一、简介1、什么是Node.js简单的说Node.js就是运行在服务端的JavaScript。Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。2、Node.js有什么用如果你是一个前端程序员，你不懂得像PHP、Python或Ruby等动态编程语言，然后你想创建自己的服务，那么Node.js是一个
    
                    
    • 
                    
  • 事件驱动编程思想
                        weixin_30411239

                        
    事件驱动编程思想:＊一中编程范式,程序的执行流由外部事件来决定它的特点是包含一个事件循环,当外部事件发生时使用回调发相应的处理.阻塞IO只发生一次调用触发方式:1.水平触发1------------------------------------------------------------------0--------------------------2.边缘触发1-------------
    
                    
    • 
                    
  • 事件驱动架构的设计模式与思想：深入理解事件驱动架构的核心概念
                        光剑书架上的书
架构设计模式
                        
    1.背景介绍事件驱动架构(Event-DrivenArchitecture)是一种基于事件和事件处理的软件架构，它的核心思想是将系统的行为和逻辑抽象成一系列事件，这些事件在系统中按照一定的规则和顺序产生和传播，并被相应的处理器处理。事件驱动架构具有高度的灵活性、可扩展性和可维护性，因此在现代软件系统中广泛应用。在本文中，我们将深入探讨事件驱动架构的设计模式和思想，揭示其核心概念和原理，并通过具体的
    
                    
    • 
                    
  • 事件驱动的架构及应用
                        treewinder
EDAsoa分布式应用电子政务processing企业应用jms
                        
    事件驱动的架构及应用来源：软件世界作者:李臣亮Gartner在2003年引入了一个新术语事件驱动架构（EventDrivenArchitecture，EDA),主要用于描述一种基于事件的范例。EDA是一种用于进行设计和实现应用和系统的方法—在这些应用和系统里,事件所触发的消息可以在独立的、非耦合的组件和服务之间传递，这些模块彼此并不知晓对方。这些应用程序中的EDA极大地改进了企业或政府响应不同的、
    
                    
    • 
                    
  • 【C/C++服务器开发】事件驱动、事件驱动架构、事件驱动编程及设计模式
                        小熊coder
C/C++服务器开发软件架构c语言c++
                        
    文章目录一、事件驱动二、事件驱动编程事件驱动和异步IO看图说话讲事件驱动模型三、C/C++实现事件驱动四、常用的C/C++事件驱动库一、事件驱动首先我们来看看百度百科的介绍。所谓事件驱动，简单地说就是你点什么按钮（即产生什么事件），电脑执行什么操作（即调用什么函数）.当然事件不仅限于用户的操作.事件驱动的核心自然是事件。从事件角度说，事件驱动程序的基本结构是由一个事件收集器、一个事件发送器和一个事
    
                    
    • 
                    
  • Spring Boot 2.x实战94 - 事件驱动3 - Kafka与Kafka Streams
                        汪云飞记录本
SpringBoot2.x实战全集springbootkafkakafkastreamsKafkaListener
                        
    3.KafkaApacheKafka以Topic为导向，提供消息中间件的功能。一个类型的数据称之为一个Topic。3.1安装Kafka使用dockercompose安装ApacheKafka。stack.ymlversion:'3.1'services:zookeeper:image:wurstmeister/zookeeperrestart:alwayskafka:image:wurstmeis
    
                    
    • 
                    
  • 基于 Kafka 实现分布式事件驱动
                        weixin_33785972
大数据java数据库
                        
    事件驱动是一种灵活的系统设计方法，在事件驱动的系统中，当数据发生变化时系统会产生、发布一个对应的事件，其它对这个事件感兴趣的部分会接收到通知，并进行相应的处理。事件驱动设计最大的好处在我看来有两点：一是它为系统提供了很好的扩展能力，比如我们可以对某类事件增加一个订阅者来对系统进行扩展，最主要的是我们并不需要修改任何已有的代码，它完全符合开闭原则；二是它实现了模块间的低偶合，系统间各个部分不是强依赖
    
                    
    • 
                    
  • 【事件驱动架构】CloudEvents和消息队列的区别
                        季邦邦
架构
                        
    CloudEvents和消息队列有以下几点主要区别:消息结构不同消息队列中的消息一般就是简单的字符串或字节数组,内容不固定。而CloudEvents定义了一组标准化的消息结构和字段,要求遵循这种规范。目标不同消息队列多用于内部系统间的解耦和削峰。CloudEvents主要用于系统之间的事件交互,实现事件驱动架构。跟踪能力不同消息队列无法很好的跟踪事件的产生源头和处理过程。而CloudEvents中
    
                    
    • 
                    
  • linux事件驱动,事件驱动
                        糖卿
linux事件驱动
                        
    在前面的文章《双刃剑-理解多线程带来的安全问题》中，我们提到了多线程情况下存在的线程安全问题。本文将以这个问题为背景，介绍如何通过使用synchronized关键字解这一问题。...»synchronized底层原理通过反编译class文件，可以看到synchronized最关键的部分是monitor对象。又因为synchronized关键字使用的方法不同，可以将monitor对象使用分为以下两种
    
                    
    • 
                    
  • 深入理解 Linux epoll：高性能事件驱动的核心技术
                        程序修炼之道
c++linux音视频计算机网络
                        
    介绍在高并发网络编程中，有效地管理大量的客户端连接是至关重要的。传统的I/O多路复用技术如select和poll在连接数较少时表现良好，但在连接数增加时性能下降明显。而Epoll则是一种高效的I/O多路复用技术，被广泛应用于服务器编程中，特别是在大规模并发连接的场景下。Epoll概述Epoll是Linux内核提供的一种事件通知机制，用于处理大量的I/O事件。Epoll在管理大量连接时具有更高的效率
    
                    
    • 
                                
  • jvm调优总结（从基本概念 到 深度优化）
                                    oloz
javajvmjdk虚拟机应用服务器
                                    
    JVM参数详解：http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html 
 
  Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。 
    
                                
    • 
                                
  • 【Scala十六】Scala核心十：柯里化函数
                                    bit1129
scala
                                    
    本篇文章重点说明什么是函数柯里化，这个语法现象的背后动机是什么，有什么样的应用场景，以及与部分应用函数(Partial Applied Function)之间的联系   1. 什么是柯里化函数 
A way to write functions with multiple parameter lists. For instance
def f(x: Int)(y: Int) is a 
    
                                
    • 
                                
  • HashMap
                                    dalan_123
java
                                    
    HashMap在java中对很多人来说都是熟的；基于hash表的map接口的非同步实现。允许使用null和null键；同时不能保证元素的顺序；也就是从来都不保证其中的元素的顺序恒久不变。 
1、数据结构 
    在java中，最基本的数据结构无外乎：数组 和 引用（指针），所有的数据结构都可以用这两个来构造，HashMap也不例外，归根到底HashMap就是一个链表散列的数据
    
                                
    • 
                                
  • Java Swing如何实时刷新JTextArea，以显示刚才加append的内容
                                    周凡杨
java更新swingJTextArea
                                    
    在代码中执行完textArea.append("message")后，如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新，我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。

问题是这个方法并不能有任何效果，textArea的内容没有任何变化，这或许是swing的一个bug，有一个笨拙的办法可以实现
    
                                
    • 
                                
  • servlet或struts的Action处理ajax请求
                                    g21121
servlet
                                    
    其实处理ajax的请求非常简单，直接看代码就行了： 
		//如果用的是struts
		//HttpServletResponse response = ServletActionContext.getResponse();
		// 设置输出为文字流
		response.setContentType("text/plain");
		// 设置字符集
		res
    
                                
    • 
                                
  • FineReport的公式编辑框的语法简介
                                    老A不折腾
finereport公式总结
                                    
    FINEREPORT用到公式的地方非常多，单元格（以=开头的便被解析为公式），条件显示，数据字典，报表填报属性值定义，图表标题，轴定义，页眉页脚，甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。 
简单的说下自己感觉的公式要注意的几个地方： 
  
1.if语句语法刚接触感觉比较奇怪，if(条件式子,值1,值2)，if可以嵌套，if(条件式子1，值1，if(条件式子2，值2，值3)
    
                                
    • 
                                
  • linux mysql 数据库乱码的解决办法
                                    墙头上一根草
linuxmysql数据库乱码
                                    
    linux 上mysql数据库区分大小写的配置 
lower_case_table_names=1 1-不区分大小写 0-区分大小写 
  
修改/etc/my.cnf 具体的修改内容如下: 
  
[client] 
default-character-set=utf8 
  
[mysqld] 
datadir=/var/lib/mysql 
socket=/va
    
                                
    • 
                                
  • 我的spring学习笔记6-ApplicationContext实例化的参数兼容思想
                                    aijuans
Spring 3
                                    
    ApplicationContext能读取多个Bean定义文件，方法是： 
 
 
ApplicationContext appContext = new ClassPathXmlApplicationContext（

new String[]｛“bean-config1.xml”，“bean-config2.xml”，“bean-config3.xml”，“bean-config4.xml
    
                                
    • 
                                
  • mysql 基准测试之sysbench
                                    annan211
基准测试mysql基准测试MySQL测试sysbench
                                    
    1 执行如下命令，安装sysbench-0.5： 
 tar xzvf sysbench-0.5.tar.gz  
 cd sysbench-0.5  
 chmod +x autogen.sh  
 ./autogen.sh  
 ./configure --with-mysql --with-mysql-includes=/usr/local/mysql
    
                                
    • 
                                
  • sql的复杂查询使用案列与技巧
                                    百合不是茶
oraclesql函数数据分页合并查询
                                    
      
本片博客使用的数据库表是oracle中的scott用户表; 
  
   
    -------------------  自然连接查询 
          查询 smith 的上司(两种方法) 
&
    
                                
    • 
                                
  • 深入学习Thread类
                                    bijian1013
javathread多线程java多线程
                                    
    一．             线程的名字 
下面来看一下Thread类的name属性，它的类型是String。它其实就是线程的名字。在Thread类中，有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。 
同时，Thr
    
                                
    • 
                                
  • JSON串转换成Map以及如何转换到对应的数据类型
                                    bijian1013
javafastjsonnet.sf.json
                                    
            在实际开发中，难免会碰到JSON串转换成Map的情况，下面来看看这方面的实例。另外，由于fastjson只支持JDK1.5及以上版本，因此在JDK1.4的项目中可以采用net.sf.json来处理。 
一.fastjson实例 
JsonUtil.java 
package com.study;

impor
    
                                
    • 
                                
  • 【RPC框架HttpInvoker一】HttpInvoker：Spring自带RPC框架
                                    bit1129
spring
                                    
    HttpInvoker是Spring原生的RPC调用框架，HttpInvoker同Burlap和Hessian一样，提供了一致的服务Exporter以及客户端的服务代理工厂Bean，这篇文章主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成 
  在
【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
    
                                
    • 
                                
  • 【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析
                                    bit1129
Mahout
                                    
    #!/bin/bash
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information re
    
                                
    • 
                                
  • nginx三种获取用户真实ip的方法
                                    ronin47

                                    
    随着nginx的迅速崛起，越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速，但是随之也遇到一个问题：nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>，如果是后端真实服务器是nginx，那么继续往下看。 
实例环境： 用户IP 120.22.11.11 
    
                                
    • 
                                
  • java-判断二叉树是不是平衡
                                    bylijinnan
java
                                    
    参考了 
http://zhedahht.blog.163.com/blog/static/25411174201142733927831/ 
但是用java来实现有一个问题。 
由于Java无法像C那样“传递参数的地址，函数返回时能得到参数的值”，唯有新建一个辅助类：AuxClass 
 
 

import ljn.help.*;
public class BalancedBTree {

    
                                
    • 
                                
  • BeanUtils.copyProperties VS PropertyUtils.copyProperties
                                    诸葛不亮
PropertyUtilsBeanUtils
                                    
     BeanUtils.copyProperties VS  PropertyUtils.copyProperties  
作为两个bean属性copy的工具类，他们被广泛使用，同时也很容易误用，给人造成困然；比如：昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时，没有考虑到会将null转换为0，而后面的业
    
                                
    • 
                                
  • [金融与信息安全]最简单的数据结构最安全
                                    comsci
数据结构
                                    
     
 
      现在最流行的数据库的数据存储文件都具有复杂的文件头格式，用操作系统的记事本软件是无法正常浏览的，这样的情况会有什么问题呢？ 
 
       从信息安全的角度来看，如果我们数据库系统仅仅把这种格式的数据文件做异地备份，如果相同版本的所有数据库管理系统都同时被攻击，那么
    
                                
    • 
                                
  • vi区段删除
                                    Cwind
linuxvi区段删除
                                    
    区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。 
  
vi概述  
  
引文中并未将末行模式单独列为一种模式。单不单列并不重要，能区分命令模式与末行模式即可。 
  
vi区段删除步骤： 
1. 在末行模式下使用:set nu显示行号 
非必须，随光标移动vi右下角也会显示行号，能够正确找到并记录删除开始行
    
                                
    • 
                                
  • 清除tomcat缓存的方法总结
                                    dashuaifu
tomcat缓存
                                    
    用tomcat容器，大家可能会发现这样的问题，修改jsp文件后，但用IE打开 依然是以前的Jsp的页面。 
出现这种现象的原因主要是tomcat缓存的原因。 
解决办法如下: 
在jsp文件头加上 
<meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
    
                                
    • 
                                
  • 不要盲目的在项目中使用LESS CSS
                                    dcj3sjt126com
Webless
                                    
    　如果你还不知道LESS CSS是什么东西，可以看一下这篇文章，是我一朋友写给新人看的《CSS——LESS》 
　　不可否认，LESS CSS是个强大的工具，它弥补了css没有变量、无法运算等一些“先天缺陷”，但它似乎给我一种错觉，就是为了功能而实现功能。 
　　比如它的引用功能    
?        
.rounded_corners{   
    
    
                                
    • 
                                
  • [入门]更上一层楼
                                    dcj3sjt126com
PHPyii2
                                    
    更上一层楼 
通篇阅读完整个“入门”部分，你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能，例如通过 HTML 表单从用户那获取数据，从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。 
本章将介绍一些有助于更好使用 Yii 的资源： 

    
                                
    • 
                                
  • Apache HttpClient使用详解
                                    eksliang
httpclienthttp协议
                                    
    Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会
    
                                
    • 
                                
  • zxing二维码扫描功能
                                    gundumw100
androidzxing
                                    
    经常要用到二维码扫描功能 
现给出示例代码 
 
 

import com.google.zxing.WriterException;
import com.zxing.activity.CaptureActivity;
import com.zxing.encoding.EncodingHandler;

import android.app.Activity;
import an
    
                                
    • 
                                
  • 纯HTML+CSS带说明的黄色导航菜单
                                    ini
htmlWebhtml5csshovertree
                                    
    HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航 
  
在线体验效果：http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果： 
  
<!DOCTYPE html >
<html >
<head>
<title>HoverTree
    
                                
    • 
                                
  • fastjson初始化对性能的影响
                                    kane_xie
fastjson序列化
                                    
    之前在项目中序列化是用thrift，性能一般，而且需要用编译器生成新的类，在序列化和反序列化的时候感觉很繁琐，因此想转到json阵营。对比了jackson，gson等框架之后，决定用fastjson，为什么呢，因为看名字感觉很快。。。 
  
网上的说法： 
   fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。 

    
                                
    • 
                                
  • 基于Mybatis封装的增删改查实现通用自动化sql
                                    mengqingyu
DAO
                                    
    1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml，有效的提高开发速度。 
2.支持自定义注解包括主键生成、列重复验证、列名、表名等 
3.支持批量插入、批量更新、批量删除 
 
 
<bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
    
                                
    • 
                                
  • js控制input输入框的方法封装(数字，中文，字母，浮点数等)
                                    qifeifei
javascript js
                                    
    在项目开发的时候，经常有一些输入框，控制输入的格式，而不是等输入好了再去检查格式，格式错了就报错，体验不好。   /** 数字，中文，字母,浮点数(+/-/.) 类型输入限制，只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注：floating属性只能单独用*/          
funct
    
                                
    • 
                                
  • java 计时器应用
                                    tangqi609567707
javatimer
                                    
    mport java.util.TimerTask;   import java.util.Calendar;   public class MyTask extends TimerTask {        private static final int 
    
                                
    • 
                                
  • erlang输出调用栈信息
                                    wudixiaotie
erlang
                                    
    在erlang otp的开发中，如果调用第三方的应用，会有有些错误会不打印栈信息，因为有可能第三方应用会catch然后输出自己的错误信息，所以对排查bug有很大的阻碍，这样就要求我们自己打印调用的栈信息。用这个函数：erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。 
也可以用这个函数：erlang:get_s
    
                                
    •