Netty 权威指南笔记（三）：TCP 粘包和拆包

Netty 权威指南笔记（三）：TCP 粘包和拆包

什么是 TCP 粘包和拆包？

TCP 是一个“流”协议，所谓“流”就是没有界限的一串数据。大家可以想像河流里的水，期间并没有分界线。TCP 底层并不了解上层业务数据的具体含义，它会根据 TCP 缓冲区的实际情况进行包的划分。所以，在业务上，一个完整的包可能会被 TCP 拆分成多个包进行发送，也有可能把多个小的包，封装成一个大的数据包发送，这就是所谓的 TCP 粘包和拆包问题。

为什么会发生粘包和拆包？

主要是应用程序写入数据大小、缓冲区大小、TCP/IP 最大报文大小、以太网帧 payload 大小不一致造成。

1. 应用程序一次写入的字节数大于发送缓冲区大小。
2. 进行 TSS 大小的 TCP 分段。
3. 以太网帧的 payload 大于 MTU 进行 IP 分片。
4. 应用程序多次写入少量数据，导致粘包。

解决策略

由于底层的 TCP 无法理解上层的业务数据，所以在底层是无法保证数据包不被拆分和重组的，这个问题只能通过上层的应用协议栈设计来解决。根据业界的主流协议的解决方案，归纳如下：

1. 消息定长。
2. 包尾增加分隔符，比如 FTP 协议使用回车换行符进行分割。
3. 将消息分为消息头和消息体，消息头中包含表示消息总长度的字段，这正是 TCP/UDP/IP 报文采用的方案。
4. 更复杂的应用层协议设计。

在 Netty 中，有处理定长消息的 FixedLengthFrameDecoder、回车换行符分隔的 LineBasedFrameDecoder、特殊分隔符的 DelimiterBasedFrameDecoder，以及处理特殊协议的 Decoder，比如处理 HTTP 协议的 HttpRequestDecoder、HttpResponseDecoder 等。

下面，我们以定长消息解码器 FixedLengthFrameDecoder 为例，分析源码，学习一下其工作原理。

FixedLengthFrameDecoder 源码分析

从下面的类图中可以看出来，这些 Decoder 都继承自 ByteToMessageDecoder、ChannelHandlerAdapter，实现了 ChannelHandler 接口。回顾之前使用 Netty 开发的 TimeServer 程序中，TimeServerHandler 也是继承自 ChannelHandlerAdapter。

Netty Decoder 类图.png

ChannelHandler 接口中，与读取数据相关的主要是 channelRead 方法。

public interface ChannelHandler {
    // 读取数据
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception;
    // 读取数据完成
    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception;
}

下面我们看一下 ByteToMessageDecoder 中实现的 channelRead 方法：

    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        // 只处理 ByteBuf 类型数据
        if (msg instanceof ByteBuf) {
            // RecyclableArrayList 是一个可循环使用的 ArrayList，使用它是为了减少 GC
            RecyclableArrayList out = RecyclableArrayList.newInstance();
            try {
                ByteBuf data = (ByteBuf) msg;
                // cumulation 是上次处理数据后遗留的半包数据
                first = cumulation == null;
                if (first) {
                    cumulation = data;
                } else {
                    // 上次遗留数据和本次数据进行合并
                    cumulation = cumulator.cumulate(ctx.alloc(), cumulation, data);
                }
                // 对数据进行解码，解码成功的数据存入 out，半包数据赋值给 cumulation
                callDecode(ctx, cumulation, out);
            } catch (DecoderException e) {
                throw e;
            } catch (Throwable t) {
                throw new DecoderException(t);
            } finally {
                if (cumulation != null && !cumulation.isReadable()) {
                    cumulation.release();
                    cumulation = null;
                }
                int size = out.size();

                // 如果 out.size 大于 0，表示有解码成功的数据，发送到下一个 ChannelAdapter 进行处理
                for (int i = 0; i < size; i ++) {
                    ctx.fireChannelRead(out.get(i));
                }
                out.recycle();
            }
        } else {
            ctx.fireChannelRead(msg);
        }
    }

    protected void callDecode(ChannelHandlerContext ctx, ByteBuf in, List