Netty——LengthFieldBasedFrameDecoder+自定义协议解决TCP粘包、拆包

一、TCP 粘包和拆包基本介绍

TCP是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发给接收端的包，更有效的发给对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样做虽然提高了效率，但是接收端就难于分辨出完整的数据包了，因为面向流的通信是无消息保护边界的。

由于TCP无消息保护边界, 需要在接收端处理消息边界问题，也就是我们所说的粘包、拆包问题。

TCP粘包、拆包图解

假设客户端分别发送了两个数据包D1和D2给服务端，由于服务端一次读取到字节数是不确定的，故可能存在以下四种情况：

• 1、服务端分两次读取到了两个独立的数据包，分别是D1和D2，没有粘包和拆包。
• 2、服务端一次接受到了两个数据包，D1和D2粘合在一起，称之为TCP粘包。
• 3、服务端分两次读取到了数据包，第一次读取到了完整的D1包和D2包的部分内容，第二次读取到了D2包的剩余内容，这称之为TCP拆包。
• 4、服务端分两次读取到了数据包，第一次读取到了D1包的部分内容D1_1，第二次读取到了D1包的剩余部分内容D1_2和完整的D2包。

特别要注意的是，如果TCP的接受滑窗非常小，而数据包D1和D2比较大，很有可能会发生第五种情况，即服务端分多次才能将D1和D2包完全接受，期间发生多次拆包。

二、解决TCP粘包、拆包问题

解决问题的根本手段就是找出消息的边界。

Netty提供了以下三种方式解决TCP粘包和拆包问题：

• DelimiterBasedFrameDecoder：分隔符。
• LineBasedFrameDecoder：结束符\n。
• FixedLengthFrameDecoder：固定长度。
• LengthFieldBasedFrameDecoder+LengthFieldPrepender：自定义消息长度。
• ReplayingDecoder：自定义协议。

三、LengthFieldBasedFrameDecoder+自定义协议解决TCP粘包、拆包

LengthFieldBasedFrameDecoder解码器自定义协议，通常协议的格式如下:

通常来说，使用ByteToMessageDocoder这个编码器，我们要分别解析出Header、length、body这几个字段。而使用LengthFieldBasedFrameDecoder，我们就可以直接接收想要的一部分，相当于在原来的基础上包上了一层，有了这层之后，我们可以控制我们每次只要读想读的字段，这对于自定义协议来说十分方便。

3.1、协议实体的定义

public class ProtocolBean {

    //类型  系统编号 1表示ios端, 2表示安卓端, 3表示PC端
    private byte type = 1;

    //信息标志 1文本消息, 2图片消息, 3语音消息, 4视频消息, 5表示心跳包, 6表示超时包  
    private byte flag;

    //内容长度
    private int length;

    //内容
    private byte[] content;

    public ProtocolBean() {
    }

    public ProtocolBean(byte type, byte flag, int length, byte[] content) {
        this.type = type;
        this.flag = flag;
        this.length = length;
        this.content = content;
    }

    public byte getType() {
        return type;
    }

    public void setType(byte type) {
        this.type = type;
    }

    public byte getFlag() {
        return flag;
    }

    public void setFlag(byte flag) {
        this.flag = flag;
    }

    public int getLength() {
        return length;
    }

    public void setLength(int length) {
        this.length = length;
    }

    public byte[] getContent() {
        return content;
    }

    public void setContent(byte[] content) {
        this.content = content;
    }
}

3.2、LengthFieldBasedFrameDecoder解码器

public class ProtocolDecoder extends LengthFieldBasedFrameDecoder {

    private static final int HEADER_SIZE = 6;

    /**
     *
     * @param maxFrameLength  帧的最大长度
     * @param lengthFieldOffset length字段偏移的地址
     * @param lengthFieldLength length字段所占的字节长
     * @param lengthAdjustment 修改帧数据长度字段中定义的值，可以为负数 因为有时候我们习惯把头部记入长度,若为负数,则说明要推后多少个字段
     * @param initialBytesToStrip 解析时候跳过多少个长度
     * @param failFast 为true，当frame长度超过maxFrameLength时立即报TooLongFrameException异常，为false，读取完整个帧再报异
     */
    public ProtocolDecoder(int maxFrameLength, int lengthFieldOffset, int lengthFieldLength, int lengthAdjustment, int initialBytesToStrip, boolean failFast) {
        super(maxFrameLength, lengthFieldOffset, lengthFieldLength, lengthAdjustment, initialBytesToStrip, failFast);
    }

    @Override
    protected Object decode(ChannelHandlerContext ctx, ByteBuf in) throws Exception {
        //在这里调用父类的方法,实现指得到想要的部分,我在这里全部都要,也可以只要body部分
        in = (ByteBuf) super.decode(ctx,in);

        if(in == null){
            return null;
        }
        if(in.readableBytes() < HEADER_SIZE){
            throw new Exception("字节数不足");
        }
        //读取type字段
        byte type = in.readByte();
        //读取flag字段
        byte flag = in.readByte();
        //读取length字段
        int length = in.readInt();

        if(in.readableBytes()!=length){
            throw new Exception("标记的长度不符合实际长度");
        }
        //读取body
        byte[] content = new byte[in.readableBytes()];
        in.readBytes(content);

        return new ProtocolBean(type,flag,length,content);
    }
}

3.3、MessageToByteEncoder编码器

public class ProtocolEncoder extends MessageToByteEncoder {

    @Override
    protected void encode(ChannelHandlerContext ctx, ProtocolBean msg, ByteBuf out) throws Exception {
        if(msg == null){
            throw new Exception("msg is null");
        }
        out.writeByte(msg.getType());
        out.writeByte(msg.getFlag());
        out.writeInt(msg.getLength());
        out.writeBytes(msg.getContent());
    }
}

3.4、服务端的实现

public class TcpServer {

    private int port;

    public TcpServer(int port){
        this.port = port;
    }

    //编写run方法处理客户端请求
    public void run(){
        EventLoopGroup bossGroup = new NioEventLoopGroup(1);
        EventLoopGroup workerGroup = new NioEventLoopGroup(8);
        try {
            ServerBootstrap bootstrap = new ServerBootstrap();
            bootstrap.group(bossGroup,workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .option(ChannelOption.SO_BACKLOG,128)
                    .childOption(ChannelOption.SO_KEEPALIVE,true)
                    .childHandler(new TcpServerInitializer());

            System.out.println("netty 服务器启动!");
            ChannelFuture channelFuture = bootstrap.bind(port).sync();

            //监听关闭
            channelFuture.channel().closeFuture().sync();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }

    public static void main(String[] args) {
        new TcpServer(7000).run();
    }
}

3.5、服务端Initializer

public class TcpServerInitializer extends ChannelInitializer {

    private static final int MAX_FRAME_LENGTH = 1024 * 1024;  //最大长度
    private static final int LENGTH_FIELD_LENGTH = 4;  //长度字段所占的字节数
    private static final int LENGTH_FIELD_OFFSET = 2;  //长度偏移
    private static final int LENGTH_ADJUSTMENT = 0;
    private static final int INITIAL_BYTES_TO_STRIP = 0;

    @Override
    protected void initChannel(SocketChannel socketChannel) throws Exception {
        //获取到pipeline
        ChannelPipeline pipeline = socketChannel.pipeline();

        //解码器
        pipeline.addLast("ProtocolDecoder",new ProtocolDecoder(MAX_FRAME_LENGTH,LENGTH_FIELD_OFFSET,LENGTH_FIELD_LENGTH,LENGTH_ADJUSTMENT,INITIAL_BYTES_TO_STRIP,false));

        //编码器
        pipeline.addLast("ProtocolEncoder",new ProtocolEncoder());

        //加入业务处理的handler
        pipeline.addLast("handler",new TcpServerHandler());
    }
}

关于LengthFieldBasedFrameDecoder的各个字段的头特别意义，可以参考这篇文章http://www.voidcn.com/article/p-gzqzzsyz-bqy.html，在这里我们只需要掌握：

• maxFrameLength：帧的最大长度。
• lengthFieldOffset length：字段偏移的地址。
• lengthFieldLength length：字段所占的字节长。
• lengthAdjustment：修改帧数据长度字段中定义的值，可以为负数 因为有时候我们习惯把头部记入长度,若为负数,则说明要推后多少个字段。
• initialBytesToStrip：解析时候跳过多少个长度。
• failFast：为true，当frame长度超过maxFrameLength时立即报TooLongFrameException异常，为false，读取完整个帧再报异。

只需要把MyProtocolDecoder加入pipeline中就可以，但是得在自定义Handler之前。

3.6、服务端Handler

public class TcpServerHandler extends SimpleChannelInboundHandler {

    private int count = 0;

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, ProtocolBean msg) throws Exception {
        //接收到数据并处理
        byte type = msg.getType();
        byte flag = msg.getFlag();
        int length = msg.getLength();
        byte[] content = msg.getContent();
        System.out.println("服务器端接收到消息类型：" + type);
        System.out.println("服务器端接收到消息标志：" + flag);
        System.out.println("服务器端接收到消息数据长度：" + length);
        System.out.println("服务器端接收到消息数据：" + new String(content, CharsetUtil.UTF_8));
        System.out.println("服务器端接收到消息数量："+(++count));

        //服务器会送数据给客户端，回送一个随机id值
        byte[] responseContent = UUID.randomUUID().toString().getBytes(CharsetUtil.UTF_8);
        ProtocolBean protocolBean = new ProtocolBean();
        protocolBean.setType((byte) 1);
        protocolBean.setFlag((byte)1);
        protocolBean.setLength(responseContent.length);
        protocolBean.setContent(responseContent);
        ctx.channel().writeAndFlush(protocolBean);
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

3.7、客户端实现

public class TcpClient {

    private String host;

    private int port;

    public TcpClient(String host,int port){
        this.host = host;
        this.port = port;
    }

    public void run(){
        EventLoopGroup eventGroup = new NioEventLoopGroup();
        try {
            Bootstrap bootstrap = new Bootstrap();
            bootstrap.group(eventGroup)
                    .channel(NioSocketChannel.class)
                    .handler(new TcpClientInitializer());
            ChannelFuture channelFuture = bootstrap.connect(host, port).sync();

            channelFuture.channel().closeFuture().sync();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            eventGroup.shutdownGracefully();
        }
    }

    public static void main(String[] args) {
        new TcpClient("127.0.0.1",7000).run();
    }
}

3.8、客户端Initializer

public class TcpClientInitializer extends ChannelInitializer {

    private static final int MAX_FRAME_LENGTH = 1024 * 1024;  //最大长度
    private static final int LENGTH_FIELD_LENGTH = 4;  //长度字段所占的字节数
    private static final int LENGTH_FIELD_OFFSET = 2;  //长度偏移
    private static final int LENGTH_ADJUSTMENT = 0;
    private static final int INITIAL_BYTES_TO_STRIP = 0;

    @Override
    protected void initChannel(SocketChannel socketChannel) throws Exception {
        //获取到pipeline
        ChannelPipeline pipeline = socketChannel.pipeline();

        //解码器
        pipeline.addLast("ProtocolDecoder",new ProtocolDecoder(MAX_FRAME_LENGTH,LENGTH_FIELD_OFFSET,LENGTH_FIELD_LENGTH,LENGTH_ADJUSTMENT,INITIAL_BYTES_TO_STRIP,false));

        //编码器
        pipeline.addLast("ProtocolEncoder",new ProtocolEncoder());

        //加入业务处理的handler
        pipeline.addLast("handler",new TcpClientHandler());
    }
}

3.9、客户端Handler

public class TcpClientHandler extends SimpleChannelInboundHandler {

    private int count = 0;

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, ProtocolBean msg) throws Exception {
        //接收到数据并处理
        int messageType = msg.getType();
        byte flag = msg.getFlag();
        int length = msg.getLength();
        byte[] content = msg.getContent();
        System.out.println("客户端接收到消息类型：" + messageType);
        System.out.println("服务器端接收到消息标志：" + flag);
        System.out.println("客户端接收到消息数据长度：" + length);
        System.out.println("客户器端接收到消息数据：" + new String(content, CharsetUtil.UTF_8));
        System.out.println("客户器端接收到消息数量："+(++count));
    }

    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        //发送10条你好，中国
        for (int i = 0; i < 10; i++) {
            String msg = "你好，中国 "+i;
            byte[] content = msg.getBytes(CharsetUtil.UTF_8);

            //创建协议包对象
            ProtocolBean protocolBean = new ProtocolBean();
            protocolBean.setType((byte)1);
            protocolBean.setFlag((byte)1);
            protocolBean.setLength(content.length);
            protocolBean.setContent(content);
            ctx.writeAndFlush(protocolBean);
        }
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

参考：
https://www.jianshu.com/p/c90ec659397c