基于netty的高可用RPC框架(已落地于实际项目，已封装为starter)

最近在看关于netty的相关知识点，想着手撸一个RPC框架。查了网上很多资料，大多都是个小demo，真正能直接用于生产的非常少，而且很多细节问题都没有考虑，于是花了一个礼拜将这个可以用于生产环境的轻量级RPC框架做了出来，并且已经落地于项目中了。

注意，本文不会介绍基本的netty概念。

主要的一些点：

1. 多线程异步转同步问题，netty是异步的，请求发完就过了，但是客户端得等响应，这个等也不能无限制，有可能服务器挂了等不到了。
2. 高可用的问题，作为一个分布式框架，最简单的高可用得实现吧？
3. 长连接短连接问题，长连接性能好，短连接省事，难选。。。
4. rpc是服务调用，那么注册中心的问题也得解决。。有注册中心，那么动态刷新服务的问题又来了。。。
5. 通信的响应存储问题，如何保证回来的响应是我指定的请求的？如何在两个线程间传递这个响应？如果用缓存传递，那么如何保证缓存不会溢出？
6. 如何结合SrpingBoot将框架做成自动配置、开箱即用。
7. 如何保证框架的扩展性？

针对以上问题，本文简单提取一些核心的代码做方案介绍。代码已经上传至gitee和github,各位大佬如果觉得有用麻烦点个关注，谢谢！

转载需注明原作者。
gitee地址: t-rpc-framework: 基于netty的rpc框架
github地址tmq77/t-rpc-framework: 基于netty的rpc框架

---

开发环境

1. jdk 11.0.6
2. springboot 2.6.2
3. netty-all 4.1.72.Final
4. zookeeper 3.7.0

---

核心点介绍

基于netty的rpc框架，基于注解生成接口的代理类，进行远程RPC调用。

1. 搭配SpringBoot启用，启动时会自动将标识了@TRpcRemoteService(serverId= "serverId")的接口生成代理类，在需要的位置依赖注入即可。

2. 客户端使用ChannelPoolMap关系型连接池，一个连接池对应一个服务器。单个连接池的连接数可配置。相同服务ID的连接池会被聚合，调用时会进行随机轮询。

3. 每个连接池获取通道时提供了循环重试的功能，配置的重试次数超过指定值后会开启连接池重连机制。

4. 连接池开始重连后会触发至少一次的重连服务器的操作，可配置重连的最大上限时间。默认30分钟(间隔一分钟)。重连超过最大上限时间后连接池将会进入Down状态。进入重连和Down的连接池将不会被使用。

5. 连接池DOWN掉之后会关闭所占用的资源，但是上下文中还是会存在这个对象，连接池辅助类中在初始化时会开启定时任务，30分钟后开始，每30分钟清除一次DOWN掉的连接池，同时清除操作也会在刷新池子的操作中完成。

6. 客户端的socket连接为长连接，连接可配置心跳检测时间，心跳超时则会关闭通道。

7. 使用策略模式指定序列化方式(目前默认使用jackson的Json序列化方式)。

8. 使用策略模式指定服务发现方式(已提供zookeeper的服务发现策略，需要手动注册bean。基于zookeeper的策略已经实现了服务动态刷新功能)。

9. 根据约定的规则进行数据传输，解决沾包拆包问题。

10. 默认使用GZIP进行数据流压缩，提升传输效率。

11. 客户端使用ConcurrentHashMap缓存响应结果，根据本次通信的key进行隔离，为防止超时以及其他情况导致缓存的内存膨胀溢出，使用了可配置的超时机制，代理类获取响应时会借助线程池的Future返回对象进行默认2秒的超时等待获取，同时通信处理器中会做如下处理进行安全保证：

    1. 通信数据中带有毫秒值时间戳，客户端响应事件中会进行判断，若响应事件超过配置时间则丢弃响应。否则按通信key存入缓存。

    2. 代理类通过Future等待取值，给定时间(配置的超时时间加上50毫秒的传输时间)内获取成功后，移除缓存并返回响应。如果给定时间内没有响应成功，将本次通信key从缓存中删除并根据特殊情况存入延时队列，默认5秒后进行消费再次清除。

       通过上述处理，理论上缓存中不会存在无效数据

12. 在进行RPC调用时，如果调用方的参数包含自定义POJO类，那么被远程调用方经过解码后该类型会变成LinkedHashMap，简言之就是如果对应的类型找不到，会被自动转换成LinkedHashMap，该功能依赖于jackson的包。在自定义序列化策略时需要着重注意这一点。

    举例：

    • A需要调用B服务，此时A传递的参数中有一个自定义类但是B部署的环境中没有这个类。

      // A部署的环境中调用B服务
      bService.index(Any param);
      

      此时，B能够正确接收到参数，但是参数param会被转换为LinkedHashMap。key-value = 属性名-值

    • B服务给A返回响应时，返回值中带了A环境中不存在的类型，那么A接收响应有两种办法，1是使用Map接收，2是使用对象中属性值和返回响应体一致的对象接收。

      // 例如 B 返回了一个对象包含 {name: "a", age: 16}的响应
      // 那么回到A中时，A可以使用 任意 属性包含name 和 age 的自定义类型来接收，或者直接使用Map
      CustomType res = bService.index(Any param);
      // 自定义类型
      class CustomType {
        private String name;
        private int age;
      }
      
      

      键值对一致时可以自由选择如何接收

      使用自定义策略化的序列化方式时需要注意这块功能的实现

---

快速开始

框架可设置属性参考(application.yml)

rpc:
  service:
    serverId: app # 分布式服务ID(多实例时应该指定同一个ID)
    serviceType: NONE # 服务类型枚举: NONE|CLIENT|SERVER|BOTH
    port: 18081 # 对外提供服务的端口
    connectionTimeout: 5000 # 客户端连接的超时时间(毫秒)
    requestTimeout: 2000 # 服务器响应生成到客户端接收到的时间差值阈值,每次请求的超时时间(毫秒)
    retryCnt: 5 # 连接池取不到连接时,标记一次失败,失败次数达到指定值时,连接池将会被标记为不可用
    idleCnt: 5 # 心跳检测次数(达到该次数将会断开通道(重新请求时会重新建立通道))
    idleInterval: 60 # 心跳检测时间间隔(秒)
    maxPoolConnection: 5 # 客户端单个连接池最大通道数 
    reconnectionTime: 30 # 连接池不可用后进行重连的最大时间(分)。不设置或者为-1时默认无限重试(至少会重试一次,所以设置30,实际上会重连31分钟), 尽量不要设置无限重试
    zkCenter: 127.0.0.1:2181 # 如果需要使用zookeeper,在此指定ip并且将框架自带的zk发现策略注册为bean

---

引入工程并启动

1. 代码clone下来之后执行maven的clean install打包，然后引入自己的工程。配置框架后即可使用。

   
    cn.t.rpc
    t-rpc-spring-boot-starter
    1.0.0
   
   

2. 在SpringBoot启动类或者任意@Configuration标识的配置类上添加@TRpcServiceScanner注解，同时指定远程服务的接口包地址，如下：

   // 例如
   @TRpcServiceScanner(basePackages = {"cn.t.rpc"})
   public class XXXConfiguration {
       // ...
   }
   

3. 在上述指定包路径下(支持多层扫描)创建需要调用的远程服务接口，同时指定@TRpcRemoteService注解，如下：

   @TRpcRemoteService(serverId = "app", className = "ServerTimeService")
   public interface ServerTimeService {
       // 接口中的方法需要和远程服务的方法名一致
    String getServerTime(String user);
   }
   

   说明: 注解中的serverId为必须值，该值为远程服务的服务ID，即基础值配置中的rpc.service.serverId的值；className非必须，该值未设置时使用当前接口名作为值传递。

   注意：如果未设置className，那么远程服务(下文说明)的className属性也必须为当前接口名。

4. 如果本机需要发布服务，那么rpc.service.serviceType值需要设置为SERVER或者BOTH。同时在需要发布为服务的类上标识@TRpcLocalService注解，如下：

   @TRpcLocalService(className = "ServerTimeService")
   public class ServerTimeService {
   
   private static final String FORMAT = "yyyy年MM月dd日 hh时mm分ss秒";
    /**
     * 获取当前服务器的时间
     * @param user
     * @return 服务时间
     */
    public String getServerTime(String user) {
        return "Hello!" + user + "现在是:" + new SimpleDateFormat(FORMAT).format(new Date());
    }
   }
   

   说明：@TRpcLocalService标识的类需要为具体的类而不是接口。注解中的className属性为非必须，默认为空时，使用当前类名作为实际值，客户端调用时指定对应的值即可

5. 使用zookeeper作为注册中心时，设置zkCenter属性即可，否则会默认使用properties文件作为服务信息来源,文件格式参照客户端服务发现策略。

6. 客户端在需要调用的地方注入接口类型，然后正常使用即可。

   @RestController
   @RequestMapping("/t-rpc")
   public class WebController {
    // 和普通Bean一样注入
    @Autowired
    private ServerTimeService test;
    // 和普通Bean一样使用
    @RequestMapping("/test")
    public String index() {
        return test.getServerTime("TMQ");
    }
   }
   
   

---

核心依赖

    io.netty
    netty-all


    com.fasterxml.jackson.core
    jackson-core


    com.fasterxml.jackson.core
    jackson-databind


    com.fasterxml.jackson.core
    jackson-annotations


    org.apache.zookeeper
    zookeeper
    3.7.0

---

核心代码说明

自动配置类

cn.t.rpc.config.RpcAutoConfiguration

@Configuration
// @TRpcServiceScanner(basePackages = {"cn.t.rpc"})  // ※注意点1
public class RpcAutoConfiguration {

    /**
     * 客户端配置类
     * @return 客户端配置类
     */
    @Bean
    @ConfigurationProperties(prefix = "rpc.service")
    public RpcConfigProperties rpcConfigProperties() {
        RpcConfigProperties properties = new RpcConfigProperties();
        properties.setSerializationStrategy(serializationStrategy());
        return properties;
    }
    
    /**
     * 容器后处理
     * @return
     */
    @Bean
    public TRpcFrameworkAware tRpcFrameworkAware() {
        return new TRpcFrameworkAware();
    }
    
    /**
     * 序列化方式工具类

     * 默认使用Jackson的Json工具类
     * @return 序列化方式工具类
     */
    @Bean
    @ConditionalOnMissingBean(SerializationStrategy.class)
    public SerializationStrategy serializationStrategy() {
        return new SerializationByJson();
    }
    
    /**
     * 服务发现
     * @return 服务发现Bean
     */
    @Bean
    @ConditionalOnMissingBean(TRpcDiscoveryStrategy.class)
    public TRpcDiscoveryStrategy rpcDiscovery() {
        return new TRpcDiscoveryByProperties();
    }
}

自动配置类中默认装配了整个框架运行所必须的配置信息对象TRpcConfigProperties,同时默认配置了Json方式序列化以及从内存中读取服务列表的策略。

需要获取框架定义的配置项时注入TRpcConfigProperties即可。

需要自定义序列化方式时，实现SerializationStrategy接口并生成Bean即可。

需要自定义服务发现方式时，实现TRpcDiscoveryStrategy接口并生成Bean即可。

注意点1:代码中注释掉的@TRpcServiceScanner(basePackages = {"cn.t.rpc"})需要在自己的配置类中添加并指定包路径，否则无法扫描到需要代理的接口!!!

resources\META-INF\spring.factories路径下已经配置了自动装配入口

org.springframework.boot.autoconfigure.EnableAutoConfiguration=\
cn.t.rpc.config.RpcAutoConfiguration

约定的数据类型以及格式(编码器解码器)

传输约定的默认数据类型为Json，序列化的基类为cn.t.rpc.core.TrafficData，默认派生三个子类

1. TRequest 请求的数据类
2. TResponse 响应的数据类
3. TIdle 心跳检测用的数据类

用于数据传输的数据类中的字段名已经在保证语义的情况下尽量缩短了，以减少序列化传输时的数据量，提升通信性能。

传输约定的数据格式如下：

1. 序列化的数据类型(用于区分核心功能以及后续扩展功能)
2. 有效业务数据的字节长度
3. 当前传输的数据类型(请求还是响应，该字段目前没有实际业务意义)
4. 业务数据
5. 终止符

举例(以竖线为分隔符，0代表各个字节):

0000000|0000|0000|00000...000000|000

编码器如下(只贴出核心部分):

@Override
protected void encode(ChannelHandlerContext ctx, TrafficData msg, ByteBuf out) throws Exception {
    try {
        // do something
        byte[] data = this.strategy.serialize(msg);
        // do something
        int len = data.length;
        // 写入序列化类型-占类型字符串对应的byte数组长度
        out.writeBytes(TRpcConstants.RPC_TRAFFIC_TYPE.getBytes(CharsetUtil.UTF_8)); 
        // 写入长度-占4位
        out.writeInt(len);
        // 写入类型-占4位
        out.writeInt(msg.getType().value());
        // 写入数据
        out.writeBytes(data);
        // 写入终止符
        out.writeBytes(TRpcConstants.RPC_TRAFFIC_EOF.getBytes(CharsetUtil.UTF_8));
    } catch(Exception e) {
        logger.error("TrafficEncoder: 编码异常...本次连接关闭");
        logger.error(e.getMessage());
        ctx.close();
    }
}

解码器如下(只贴出核心部分):

@Override
protected void decode(ChannelHandlerContext ctx, ByteBuf in, List