Netty网络编程实战 - 通信框架，私有协议、生产级报文追踪、认证机制、自动空闲检测、断线自动重连

前言

前面我们已经基于不同维度介绍关于Netty的很多知识了，包括通信原理、框架工作机制、核心组件、应用实战，以及不同场景对不同方案的选择等等。那么我们这次就研究一下我们项目中基于Netty端对端开发中如何搭建一个完整的应用框架，以供开发人员嵌入他们关注的各种应用部件等。

实现Netty应用级框架需要考虑哪些因素

很多人问，我们在基于某种网络通信框架构建我们自己的应用框架的时候，究竟需要考虑到哪些方面？我们如何构建一个与业务解耦的应用基础设施、定制协议格式、健壮性的机制等来支撑我们的开发呢？大家也可以在下方的留言讨论，而就个人的理解和相关实践经验，我认为至少应考虑到以下的问题：

1. 网络通信协议的选择，方案的比较， 我们应基于TCP?UDP?还是应用层的一些成熟协议?...

2. 网络I/O模型该采用何种？BIO?NIO?IO复用？AIO?还是信号驱动IO呢？

3. 底层通信框架我们要定制，还是沿用已有的成熟框架?

4. 我们场景是否需要统一定制全局可复用的交互协议、报文等？

5. 是否应该建设一种高效可靠的消息编解码机制支撑快速通信？

6. 来自客户端的连接、业务请求等是否需要有认证和鉴权？

7. 当业务通信发生异常了，能否方便看到和追踪通信报文细节（更便于我们一步一步查找问题原因）？？

8. 当服务端因为非预期原因断开或崩溃，然后发现修复重启后是否每个客户端都要手动再连接一下？?

9. 当服务器空闲一段时间后，是否该有一种机制自动触发心跳检测网络的健康状况？？

   ... ...

  还有很多本文就不一一列举。那我们今天就以上考虑到的问题点来手写实现一个基于Netty通信框架的应用级框架，然后验证我们的问题是否能得以圆满解决。

应用框架实战

  在以下应用框架中我们将给出以上问题的解决方案

1. 网络通信协议的选择，方案的比较， 我们应基于TCP?UDP?还是应用层的一些成熟协议? 采用TCP/IP

2. 网络I/O模型该采用何种？BIO?NIO?IO复用？AIO?还是信号驱动IO呢？采用NIO非阻塞模型

3. 底层通信框架我们要定制，还是沿用已有的成熟框架? 基于Netty框架

4. 我们场景是否需要统一定制全局可复用的交互协议、报文等？ 私有协议定义和交互约定方式

5. 是否应该建设一种高效可靠的消息编解码机制支撑快速通信？采用ByteToMessage/MessageToByte/Kryo

6. 来自客户端的连接、业务请求等服务端是否需要有认证和鉴权？采用服务端白名单

7. 当业务通信发生异常了，能否方便看到和追踪通信报文细节（更便于我们一步一步查找问题原因）？？采用Netty内置Logging机制

8. 当服务端因为非预期原因断开或崩溃，然后发现修复重启后是否每个客户端都要手动再连接一下？? 设计断线自动尝试重连

9. 当服务器空闲一段时间后，是否该有一种机制自动触发心跳检测网络的健康状况？？采用IdleState和自动触发机制

一、基础设施部分

/**
 * @author andychen https://blog.51cto.com/14815984
 * @description：Kryo序列化器单例
*/
public class KryoBuilder {
    private KryoBuilder(){}

    /**
     * 获取单例
     * @return
     */
    public static Kryo getInstance(){
        return SingleKryo.builder;
    }
    private static class SingleKryo{
        private static Kryo builder = new Kryo();
    }

    /**
     * 构建kryo对象和注册
     * @return
     */
    public static Kryo build(){
        Kryo kryo = getInstance();
        kryo.setRegistrationRequired(false);
        kryo.register(Arrays.asList("").getClass(), new ArraysAsListSerializer());
        kryo.register(GregorianCalendar.class, new GregorianCalendarSerializer());
        kryo.register(InvocationHandler.class, new JdkProxySerializer());
        kryo.register(BigDecimal.class, new DefaultSerializers.BigDecimalSerializer());
        kryo.register(BigInteger.class, new DefaultSerializers.BigIntegerSerializer());
        kryo.register(Pattern.class, new RegexSerializer());
        kryo.register(BitSet.class, new BitSetSerializer());
        kryo.register(URI.class, new URISerializer());
        kryo.register(UUID.class, new UUIDSerializer());
        UnmodifiableCollectionsSerializer.registerSerializers(kryo);
        SynchronizedCollectionsSerializer.registerSerializers(kryo);

        kryo.register(HashMap.class);
        kryo.register(ArrayList.class);
        kryo.register(LinkedList.class);
        kryo.register(HashSet.class);
        kryo.register(TreeSet.class);
        kryo.register(Hashtable.class);
        kryo.register(Date.class);
        kryo.register(Calendar.class);
        kryo.register(ConcurrentHashMap.class);
        kryo.register(SimpleDateFormat.class);
        kryo.register(GregorianCalendar.class);
        kryo.register(Vector.class);
        kryo.register(BitSet.class);
        kryo.register(StringBuffer.class);
        kryo.register(StringBuilder.class);
        kryo.register(Object.class);
        kryo.register(Object[].class);
        kryo.register(String[].class);
        kryo.register(byte[].class);
        kryo.register(char[].class);
        kryo.register(int[].class);
        kryo.register(float[].class);
        kryo.register(double[].class);

        return kryo;
    }
}

/**
 * @author andychen https://blog.51cto.com/14815984
 * @description：Kryo序列化器
*/
public class KryoSerializer {
    private static final Kryo kryo = KryoBuilder.build();

    /**
     * 序列化
     *
     * @param object
     * @param buf
     */
    public static void serialize(Object object, ByteBuf buf) {
        ByteArrayOutputStream stream = new ByteArrayOutputStream();
        try{
            Output out = new Output(stream);
            kryo.writeClassAndObject(out, object);
            out.flush();
            out.close();

            byte[] bytes = stream.toByteArray();
            stream.flush();
            stream.close();
            /**
             * 写入buffer
             */
            buf.writeBytes(bytes);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 反序列化
     * @param buf 数据缓冲
     * @return
     */
    public static Object deserialize(ByteBuf buf) {
        try(ByteBufInputStream stream = new ByteBufInputStream(buf)) {
            Input input = new Input(stream);
            return kryo.readClassAndObject(input);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }
}

/**
 * @author andychen https://blog.51cto.com/14815984
 * @description：Kryo编码器
*/
public class KryoEncoder extends MessageToByteEncoder {
    /**
     * 编码实现
     * @param channelHandlerContext 处理器上下文
     * @param message 报文
     * @param byteBuf 对端数据缓冲
     * @throws Exception
     */
    @Override
    protected void encode(ChannelHandlerContext channelHandlerContext, Message message, ByteBuf byteBuf) throws Exception {
        KryoSerializer.serialize(message, byteBuf);
        channelHandlerContext.flush();
    }
}

/**
 * @author andychen https://blog.51cto.com/14815984
 * @description：Kryo解码器
*/
public class KryoDecoder extends ByteToMessageDecoder {
    /**
     * 解码实现
     * @param channelHandlerContext 处理器上下文
     * @param byteBuf 对端缓冲
     * @param list 反序列化列表
     * @throws Exception
     */
    @Override
    protected void decode(ChannelHandlerContext channelHandlerContext, ByteBuf byteBuf, List