Netty——解决TCP粘包、拆包

一、TCP 粘包和拆包基本介绍

TCP是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发给接收端的包，更有效的发给对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样做虽然提高了效率，但是接收端就难于分辨出完整的数据包了，因为面向流的通信是无消息保护边界的。

由于TCP无消息保护边界, 需要在接收端处理消息边界问题，也就是我们所说的粘包、拆包问题。

TCP粘包、拆包图解

假设客户端分别发送了两个数据包D1和D2给服务端，由于服务端一次读取到字节数是不确定的，故可能存在以下四种情况：

• 1、服务端分两次读取到了两个独立的数据包，分别是D1和D2，没有粘包和拆包。
• 2、服务端一次接受到了两个数据包，D1和D2粘合在一起，称之为TCP粘包。
• 3、服务端分两次读取到了数据包，第一次读取到了完整的D1包和D2包的部分内容，第二次读取到了D2包的剩余内容，这称之为TCP拆包。
• 4、服务端分两次读取到了数据包，第一次读取到了D1包的部分内容D1_1，第二次读取到了D1包的剩余部分内容D1_2和完整的D2包。

特别要注意的是，如果TCP的接受滑窗非常小，而数据包D1和D2比较大，很有可能会发生第五种情况，即服务端分多次才能将D1和D2包完全接受，期间发生多次拆包。

二、解决TCP粘包、拆包问题

解决问题的根本手段就是找出消息的边界。

Netty提供了以下三种方式解决TCP粘包和拆包问题：

• DelimiterBasedFrameDecoder：分隔符。
• LineBasedFrameDecoder：结束符\n。
• FixedLengthFrameDecoder：固定长度。
• LengthFieldBasedFrameDecoder+LengthFieldPrepender：自定义消息长度。
• ReplayingDecoder：自定义协议。

2.1、DelimiterBasedFrameDecoder分隔符

DelimiterBasedFrameDecoder是通过发送方每条报文结束都添加特殊符号（$_） 作 为 报 文 分 隔 符，接收方通过特殊符号（$_）对报文进行切割。

发送方需要自行编码，添加分隔符，编码如下：

ctx.writeAndFlush(Unpooled.copiedBuffer(("hello" + i + "$_").getBytes())); // 以$_结尾

接收方的解码如下：

ch.pipeline().addLast(new DelimiterBasedFrameDecoder(1 << 10, Unpooled.copiedBuffer("$_".getBytes())));

缺点：发送的内容本身可能会出现分隔符，需要对发送的内容进行扫描并转义，接收到的内容也要进行反转义。

一种解决策略是，发送方对需要发送的内容预先进行base64编码，由于base64编码只包含64个字符：0-9、a-z、A-Z、+、/，我们可以选择这64个字符之外的特殊字符作为分隔符。

DelimiterBasedFrameDecoder提供了多个构造方法，最终调用的都是以下构造方法：

public DelimiterBasedFrameDecoder(int maxFrameLength, boolean stripDelimiter, boolean failFast, ByteBuf... delimiters)

参数说明：

• maxLength：表示一行最大的长度，如果超过这个长度依然没有检测到分隔符，将会抛出TooLongFrameException。
• failFast：与maxLength联合使用，表示超过maxLength后，抛出TooLongFrameException的时机。如果为true，则超出maxLength后立即抛出TooLongFrameException，不继续进行解码；如果为false，则等到完整的消息被解码后，再抛出TooLongFrameException异常。
• stripDelimiter：解码后的消息是否去除分隔符。
• delimiters：分隔符。我们需要先将分割符，写入到ByteBuf中，然后当做参数传入。

2.2、LineBasedFrameDecoder结束符\n

LineBasedFrameDecoder可以当成是一种特殊的DelimiterBasedFrameDecoder，其分隔符为\n或者\r\n。

发送方的编码如下：

ctx.writeAndFlush(Unpooled.copiedBuffer(("hello" + i + "\n").getBytes())); // 以\n结尾

接收方的解码如下：

ch.pipeline().addLast(new LineBasedFrameDecoder(1 << 10));

2.3、FixedLengthFrameDecoder固定长度

FixedLengthFrameDecoder是通过发送方固定每条报文长度均为n个字节，接收方也通过n个字节长度切分报文。

发送方需要自行补齐长度，编码如下：

ctx.writeAndFlush(Unpooled.copiedBuffer(("hello" + i + "          ").getBytes())); // 补齐长度为16

接收方的解码如下：

ch.pipeline().addLast(new FixedLengthFrameDecoder(16));

缺点：如果发送的内容比较小，需要补齐长度，空间浪费，如果要发送的内容突然变大，需要调整发送方和接收方的长度。

2.4、LengthFieldBasedFrameDecoder+LengthFieldPrepender自定义消息长度

• LengthFieldPrepender对自定义消息长度进行编码。

• LengthFieldBasedFrameDecoder对自定义消息长度进行解码。

LengthFieldBasedFrameDecoder的构造方法如下：

public LengthFieldBasedFrameDecoder(ByteOrder byteOrder, int maxFrameLength, int lengthFieldOffset, int lengthFieldLength, int lengthAdjustment, int initialBytesToStrip, boolean failFast) {

参数说明：

• byteOrder：数据存储采用大端模式或小端模式
• maxFrameLength：发送的数据帧最大长度
• lengthFieldOffset： 发送的字节数组中从下标lengthFieldOffset开始存放的是报文数据的长度。
• lengthFieldLength： 在发送的字节数组中，报文数据的长度占几位，也就是字节数组bytes[lengthFieldOffset, lengthFieldOffset+lengthFieldLength]存放的是报文数据的长度
• lengthAdjustment： 长度域的偏移量矫正。如果长度域的值，除了包含有效数据域的长度外，还包含了其他域（如长度域自身）长度，那么，就需要进行矫正。矫正的值为：包长-长度域的值-长度域偏移 – 长度域长。
• initialBytesToStrip：接收到的发送数据包，去除前initialBytesToStrip位
• failFast：为true表示读取到长度域超过maxFrameLength，就抛出一个TooLongFrameException。为false表示只有真正读取完长度域的值表示的字节之后，才会抛出TooLongFrameException，默认情况下设置为true，建议不要修改，否则可能会造成内存溢出。

场景一

• lengthFieldOffset=0
• lengthFieldLength=2
• lengthAdjustment=0
• initialBytesToStrip=0

场景二

• lengthFieldOffset=0
• lengthFieldLength=2
• lengthAdjustment=0
• initialBytesToStrip=2

场景三

• lengthFieldOffset=0
• lengthFieldLength=2
• lengthAdjustment=整个包长（14）-长度域的值（14）-长度域偏移（0）-长度域长（2）=-2
• initialBytesToStrip=0

场景四

• lengthFieldOffset=2
• lengthFieldLength=3
• lengthAdjustment=0
• initialBytesToStrip=0

场景五

• lengthFieldOffset=0
• lengthFieldLength=3
• lengthAdjustment=2
• initialBytesToStrip=0

场景六

• lengthFieldOffset=1
• lengthFieldLength=2
• lengthAdjustment=1
• initialBytesToStrip=3

场景七

• lengthFieldOffset=1
• lengthFieldLength=2
• lengthAdjustment=整个包长（16）-长度域的值（16）-长度域偏移（1）-长度域长（2）=-3
• initialBytesToStrip=3

参考：
https://www.cnblogs.com/Leo_wl/p/10297113.html

https://www.cnblogs.com/sidesky/p/6913109.html

https://blog.csdn.net/u022812849/article/details/107254239

https://www.jianshu.com/p/c90ec659397c

https://network.51cto.com/art/201910/604438.htm