Netty核心技术九--TCP 粘包和拆包及解决方案

1. TCP 粘包和拆包基本介绍

  1. **TCP是面向连接的,面向流的,提供高可靠性服务。收发两端(客户端和服务器端)都要有一一成对的socket,因此,发送端为了将多个发给接收端的包,更有效的发给对方,使用了优化方法(Nagle算法),将多次间隔较小且数据量小的数据,合并成一个大的数据块,然后进行封包。**这样做虽然提高了效率,但是接收端就难于分辨出完整的数据包了,因为面向流的通信是无消息保护边界的

  2. 由于TCP无消息保护边界, 需要在接收端处理消息边界问题,也就是我们所说的粘包拆包问题

  3. TCP粘包、拆包图解

    Netty核心技术九--TCP 粘包和拆包及解决方案_第1张图片

    假设客户端分别发送了两个数据包D1和D2给服务端,由于服务端一次读取到字节数是不定的,故可能存在以下四种情况:

    1. 服务端分两次读取到了两个独立的数据包,分别是D1和D2,没有粘包和拆包
    2. 服务端一次接受到了两个数据包,D1和D2粘合在一起,称之为TCP粘包
    3. 服务端分两次读取到了数据包,第一次读取到了完整的D1包和D2包的部分内容,第二次读取到了D2包的剩余内容,这称之TCP拆包
    4. 服务端分两次读取到了数据包,第一次读取到了D1包的部分内容D1_1,第二次读取到了D1包的剩余部分内容D1_2和完整的D2包。这称之TCP拆包

2. TCP 粘包和拆包现象示例1

实例需求:

在编写Netty 程序时,如果没有做处理,就会发生粘包和拆包的问题

2.1 MyClient

package site.zhourui.nioAndNetty.netty.tcp;



import io.netty.bootstrap.Bootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.nio.NioSocketChannel;

public class MyClient {
    public static void main(String[] args)  throws  Exception{

        EventLoopGroup group = new NioEventLoopGroup();

        try {

            Bootstrap bootstrap = new Bootstrap();
            bootstrap.group(group).channel(NioSocketChannel.class)
                    .handler(new MyClientInitializer()); //自定义一个初始化类

            ChannelFuture channelFuture = bootstrap.connect("localhost", 7000).sync();

            channelFuture.channel().closeFuture().sync();

        }finally {
            group.shutdownGracefully();
        }
    }
}

2.2 MyClientInitializer

只在Initializer加入了MyClientHandler处理业务

package site.zhourui.nioAndNetty.netty.tcp;

import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelPipeline;
import io.netty.channel.socket.SocketChannel;


public class MyClientInitializer extends ChannelInitializer<SocketChannel> {
    @Override
    protected void initChannel(SocketChannel ch) throws Exception {

        ChannelPipeline pipeline = ch.pipeline();
        pipeline.addLast(new MyClientHandler());
    }
}

2.3 MyClientHandler

  • 使用客户端发送10条数据 hello,server 编号
  • 回显客户端接收到消息
package site.zhourui.nioAndNetty.netty.tcp;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;

import java.nio.charset.Charset;

public class MyClientHandler extends SimpleChannelInboundHandler<ByteBuf> {

    private int count;
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        //使用客户端发送10条数据 hello,server 编号
        for(int i= 0; i< 10; ++i) {
            ByteBuf buffer = Unpooled.copiedBuffer("hello,server " + i, Charset.forName("utf-8"));
            ctx.writeAndFlush(buffer);
        }
    }

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, ByteBuf msg) throws Exception {
        byte[] buffer = new byte[msg.readableBytes()];
        msg.readBytes(buffer);

        String message = new String(buffer, Charset.forName("utf-8"));
        System.out.println("客户端接收到消息=" + message);
        System.out.println("客户端接收消息数量=" + (++this.count));

    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

2.4 MyServer

package site.zhourui.nioAndNetty.netty.tcp;


import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.nio.NioServerSocketChannel;

public class MyServer {
    public static void main(String[] args) throws Exception{

        EventLoopGroup bossGroup = new NioEventLoopGroup(1);
        EventLoopGroup workerGroup = new NioEventLoopGroup();

        try {

            ServerBootstrap serverBootstrap = new ServerBootstrap();
            serverBootstrap.group(bossGroup,workerGroup).channel(NioServerSocketChannel.class).childHandler(new MyServerInitializer()); //自定义一个初始化类


            ChannelFuture channelFuture = serverBootstrap.bind(7000).sync();
            channelFuture.channel().closeFuture().sync();

        }finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }

    }
}

2.5 MyServerInitializer

只在Initializer加入了MyServerHandler处理业务

package site.zhourui.nioAndNetty.netty.tcp;



import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelPipeline;
import io.netty.channel.socket.SocketChannel;


public class MyServerInitializer extends ChannelInitializer<SocketChannel> {

    @Override
    protected void initChannel(SocketChannel ch) throws Exception {
        ChannelPipeline pipeline = ch.pipeline();

        pipeline.addLast(new MyServerHandler());
    }
}

2.6 MyServerHandler

  • 打印服务器接收到数据
  • 服务器回送数据给客户端, 回送一个随机id
package site.zhourui.nioAndNetty.netty.tcp;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;

import java.nio.charset.Charset;
import java.util.UUID;

public class MyServerHandler extends SimpleChannelInboundHandler<ByteBuf>{
    private int count;

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        //cause.printStackTrace();
        ctx.close();
    }

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, ByteBuf msg) throws Exception {

        byte[] buffer = new byte[msg.readableBytes()];
        msg.readBytes(buffer);

        //将buffer转成字符串
        String message = new String(buffer, Charset.forName("utf-8"));

        System.out.println("服务器接收到数据 " + message);
        System.out.println("服务器接收到消息量=" + (++this.count));

        //服务器回送数据给客户端, 回送一个随机id ,
        ByteBuf responseByteBuf = Unpooled.copiedBuffer(UUID.randomUUID().toString() + " ", Charset.forName("utf-8"));
        ctx.writeAndFlush(responseByteBuf);

    }
}

2.7 测试

  1. 启动MyServer

    Netty核心技术九--TCP 粘包和拆包及解决方案_第2张图片

  2. 启动一个MyClient

    Netty核心技术九--TCP 粘包和拆包及解决方案_第3张图片

    image-20230708105413184

  3. 再启动一个MyClient

    客户端收到了4个服务端回复的消息

    image-20230708105538832

    服务端发送4次数据,但是

    Netty核心技术九--TCP 粘包和拆包及解决方案_第4张图片

服务端发送的10个数据被分4次发送,有粘包情况,并且每次执行客户端被划分的个数都不一样

3. TCP 粘包和拆包解决方案

  1. 使用自定义协议 + 编解码器 来解决
  2. 关键就是要解决 服务器端每次读取数据长度的问题, 这个问题解决,就不会出现服务器多读或少读数据的问题,从而避免的TCP 粘包、拆包。

3.1 自定义协议 + 编解码器 解决TCP 粘包、拆包 示例2

实例要求:

Netty核心技术九--TCP 粘包和拆包及解决方案_第5张图片

  1. 要求客户端发送 5 个 Message 对象, 客户端每次发送一个Message对象
  2. 服务器端每次接收一个Message, 分5次进行解码,每读取到一个Message,会回复一个Message 对象 给客户端.

示例1的代码基础上做扩充

3.1.1 自定义协议 MessageProtocol

  • len:每个数据包的长度
  • content:每个数据包的内容
package site.zhourui.nioAndNetty.netty.protocoltcp;

//协议包
public class MessageProtocol {
    private int len; //关键
    private byte[] content;

    public int getLen() {
        return len;
    }

    public void setLen(int len) {
        this.len = len;
    }

    public byte[] getContent() {
        return content;
    }

    public void setContent(byte[] content) {
        this.content = content;
    }
}

3.1.2 对应协议的编码器MyMessageEncoder

  1. extends MessageToByteEncoder,因为编码器接收到的数据可以确定为MessageProtocol
  2. 重写encode将我们的数据封装为MessageProtocol协议对象
package site.zhourui.nioAndNetty.netty.protocoltcp;

import io.netty.buffer.ByteBuf;
import io.netty.channel.ChannelHandlerContext;
import io.netty.handler.codec.MessageToByteEncoder;

public class MyMessageEncoder extends MessageToByteEncoder<MessageProtocol> {
    @Override
    protected void encode(ChannelHandlerContext ctx, MessageProtocol msg, ByteBuf out) throws Exception {
        System.out.println("MyMessageEncoder encode 方法被调用");
        out.writeInt(msg.getLen());
        out.writeBytes(msg.getContent());
    }
}

3.1.3 对应协议的解码器MyMessageDecoder

  • ReplayingDecoder:Void代表不需要状态管理(由ByteToMessageDecoder来帮我们自动识别并管理)
  • 将得到二进制字节码-> MessageProtocol 数据包(对象)
  • 封装成 MessageProtocol 对象,放入 out, 传递下一个handler业务处理
package site.zhourui.nioAndNetty.netty.protocoltcp;

import io.netty.buffer.ByteBuf;
import io.netty.channel.ChannelHandlerContext;
import io.netty.handler.codec.ReplayingDecoder;

import java.util.List;

public class MyMessageDecoder extends ReplayingDecoder<Void> {
    @Override
    protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
        System.out.println("MyMessageDecoder decode 被调用");
        //需要将得到二进制字节码-> MessageProtocol 数据包(对象)
        int length = in.readInt();

        byte[] content = new byte[length];
        in.readBytes(content);

        //封装成 MessageProtocol 对象,放入 out, 传递下一个handler业务处理
        MessageProtocol messageProtocol = new MessageProtocol();
        messageProtocol.setLen(length);
        messageProtocol.setContent(content);

        out.add(messageProtocol);

    }
}

3.1.4 MyClient和MyServer没有变动

3.1.6 MyClientInitializer

在客户端业务handler之前加入了协议编码器和协议解码器

package site.zhourui.nioAndNetty.netty.protocoltcp;

import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelPipeline;
import io.netty.channel.socket.SocketChannel;


public class MyClientInitializer extends ChannelInitializer<SocketChannel> {
    @Override
    protected void initChannel(SocketChannel ch) throws Exception {

        ChannelPipeline pipeline = ch.pipeline();
        pipeline.addLast(new MyMessageEncoder()); //加入编码器
        pipeline.addLast(new MyMessageDecoder());//加入解码器
        pipeline.addLast(new MyClientHandler());
    }
}

3.1.7 MyServerInitializer

在服务端业务handler之前加入了协议编码器和协议解码器

package site.zhourui.nioAndNetty.netty.protocoltcp;



import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelPipeline;
import io.netty.channel.socket.SocketChannel;


public class MyServerInitializer extends ChannelInitializer<SocketChannel> {

    @Override
    protected void initChannel(SocketChannel ch) throws Exception {
        ChannelPipeline pipeline = ch.pipeline();
        pipeline.addLast(new MyMessageEncoder()); //加入编码器
        pipeline.addLast(new MyMessageDecoder());//加入解码器
        pipeline.addLast(new MyServerHandler());
    }
}

3.1.8 MyClientHandler

  • channelActive:channel激活的时候发送5条数据,将数据封装为MessageProtocol协议对象(这个对象会给到MyClientHandler)
  • 打印出服务器端发送的内容
package site.zhourui.nioAndNetty.netty.protocoltcp;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;

import java.nio.charset.Charset;

public class MyClientHandler extends SimpleChannelInboundHandler<MessageProtocol> {

    private int count;
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        //使用客户端发送10条数据 "今天天气冷,吃火锅" 编号

        for(int i = 0; i< 5; i++) {
            String mes = "今天天气冷,吃火锅";
            byte[] content = mes.getBytes(Charset.forName("utf-8"));
            int length = mes.getBytes(Charset.forName("utf-8")).length;

            //创建协议包对象
            MessageProtocol messageProtocol = new MessageProtocol();
            messageProtocol.setLen(length);
            messageProtocol.setContent(content);
            ctx.writeAndFlush(messageProtocol);

        }

    }

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, MessageProtocol msg) throws Exception {

        int len = msg.getLen();
        byte[] content = msg.getContent();

        System.out.println("客户端接收到消息如下");
        System.out.println("长度=" + len);
        System.out.println("内容=" + new String(content, Charset.forName("utf-8")));
        System.out.println("客户端接收消息数量=" + (++this.count));

        System.out.println("" );


    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        System.out.println("异常消息=" + cause.getMessage());
        ctx.close();
    }
}

3.1.9 MyServerHandler

  • 打印客户端发送内容
  • 每接收一次消息就回复客户端一个messageProtocol消息
package site.zhourui.nioAndNetty.netty.protocoltcp;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;

import java.nio.charset.Charset;
import java.util.UUID;

public class MyServerHandler extends SimpleChannelInboundHandler<MessageProtocol>{
    private int count;

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        //cause.printStackTrace();
        ctx.close();
    }

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, MessageProtocol msg) throws Exception {

        //接收到数据,并处理
        int len = msg.getLen();
        byte[] content = msg.getContent();

        System.out.println();
        System.out.println();
        System.out.println();
        System.out.println("服务器接收到信息如下");
        System.out.println("长度=" + len);
        System.out.println("内容=" + new String(content, Charset.forName("utf-8")));

        System.out.println("服务器接收到消息包数量=" + (++this.count));

        //回复消息

        String responseContent = UUID.randomUUID().toString();
        int responseLen = responseContent.getBytes("utf-8").length;
        byte[]  responseContent2 = responseContent.getBytes("utf-8");
        //构建一个协议包
        MessageProtocol messageProtocol = new MessageProtocol();
        messageProtocol.setLen(responseLen);
        messageProtocol.setContent(responseContent2);

        ctx.writeAndFlush(messageProtocol);


    }
}

3.1.10 测试

  1. 启动服务端

    Netty核心技术九--TCP 粘包和拆包及解决方案_第6张图片

  2. 启动一个客户端

    1. 客户端发送了5个协议数据
    2. 服务端也收到5个协议数据
    3. 服务端在回送5个协议数据
    4. 客户端接收到5个协议数据

    Netty核心技术九--TCP 粘包和拆包及解决方案_第7张图片

    Netty核心技术九--TCP 粘包和拆包及解决方案_第8张图片

3.2 个人总结

个人总结

  1. 首先必须要熟悉handler调用链是怎么只是(即encode和decode方法在什么时候执行拿到的是什么数据需要传出给下一个handler的数据应该是什么类型)
  2. 客户端启动首先执行客户端的MyClientHandler的channelActive方法将数据封装为messageProtocol类型的协议对象
  3. 因为是入站那么handler调用链inbound方法的实现类即MyMessageEncoder的encode方法将协议对象转换为字节对象来进行网络传输
  4. 服务端因为是出站那么handler调用链outbound方法的实现类MyMessageDecoder的decode方法将字节对象封装为协议对象,然后将该对象放入out集合
  5. 服务端的MyMessageDecoder的下一个handler即MyServerHandler会拿到out,然后进行业务处理(这里就是打印并返回一个数据并封装为协议对象,因为是5个那么就会执行5次)
  6. 因为是入站那么handler调用链inbound方法的实现类即MyMessageEncoder的encode方法将协议对象转换为字节对象来进行网络传输
  7. 客户端因为是出站那么handler调用链outbound方法的实现类MyMessageDecoder的decode方法将字节对象封装为协议对象,然后将该对象放入out集合
  8. 服务端的MyMessageDecoder的下一个handler即MyClientHandler会拿到out,然后进行业务处理(这里就是打印因为是5个那么就会执行5次)

你可能感兴趣的:(tcp/ip,网络,网络协议)