Socket粘包，封包，拆包

粘包、拆包发生原因

发生TCP粘包或拆包有很多原因，现列出常见的几点，可能不全面，欢迎补充，

1、要发送的数据大于TCP发送缓冲区剩余空间大小，将会发生拆包。

2、待发送数据大于MSS（最大报文长度），TCP在传输前将进行拆包。

3、要发送的数据小于TCP发送缓冲区的大小，TCP将多次写入缓冲区的数据一次发送出去，将会发生粘包。（服务端出现粘包）

4、接收数据端的应用层没有及时读取接收缓冲区中的数据，造成一次性接收多个包，出现粘包 (接收端出现粘包)

 

什么是粘包

TCP有粘包现象，而UDP不会出现粘包。

• TCP（Transport Control Protocol，传输控制协议）是面向连接的，面向流的。TCP的收发两端都要有成对的Socket，因此，发送端为了将更多有效的包发送出去，采用了合并优化算法（Nagle算法），将多次、间隔时间短、数据量小的数据合并为一个大的数据块，进行封包处理。这样的包对于接收端来说，就没办法分辨，所以需要一些特殊的拆包机制。
• UDP（User Datagram Protocol，用户数据报协议）是无连接的，面向消息的提供高效率服务。不会使用合并优化算法。UDP支持的是一对多的模式，所以接收端的skbuff(套接字缓冲区）采用了链式结构来记录每一个到达的UDP包，在每个UDP包中就有了消息头（消息来源地址，端口等信息），这样，对于接收端来说，就容易进行区分处理了。

举个例子
我们连续发送三个数据包，大小分别是1k，2k ，4k,这三个数据包，都已经到达了接收端的网络堆栈中，如果使用UDP协议，不管我们使用多大的接收缓冲区去接收数据，我们必须有三次接收动作，才能够把所有的数据包接收完.而使用TCP协议，我们只要把接收的缓冲区大小设置在7k以上，我们就能够一次把所有的数据包接收下来，只需要有一次接收动作。

如何处理粘包

1. 提前通知接收端要传送的包的长度
   粘包问题的根源在于，接收端不知道发送端将要传送的字节流的长度，所以解决粘包的方法就是围绕，如何让发送端在发送数据前，把自己将要发送的字节流总大小让接收端知晓，然后接收端来一个死循环接收完所有数据。

不建议使用，因为程序的运行速度远快于网络传输速度，所以在发送一段字节前，先用send去发送该字节流长度，这样会放大网络延迟带来的性能损耗   

 

      2.加分割标识符
{数据段01}+标识符+{数据段02}+标识符

1⃣️将发送的每条消息的首尾都加上特殊标记符，前加"<"  后加">"。这里我采取的是先将要发送的所有消息，首尾加上特殊标记后，都先放在一个字符串string中，然后一次性的发送给接收方，接受之后，再根据标记符< >，将一条条消息择（zhái）出来。(这种方法只适合数据量较小的情况)

2⃣️发送端和接收端约定好一个标识符来区分不同的数据包，如果接收到了这么一个分隔符，就表示一个完整的包接收完毕。

也不建议使用，因为要发送的数据很多，数据的内容格式也有很多，可能会出现标识符不唯一的情况

 

     3.自定义包头（建议使用）

 

在开始传输数据时，在包头拼上自定义的一些信息，比如前4个字节表示包的长度，5-8个字节表示传输的类型（Type:做一些业务区分）,后面为实际的数据包。（这种方法就是所谓的自定义协议，这种方法是最常用的）

这样接收方就可以根据接收到的消息长度来动态定义缓冲区的大小。

 

二、Socket的封包、拆包

1、为什么基于TCP的通信程序需要封包、拆包?
答：TCP是流协议，所谓流，就是没有界限的一串数据。但是程序中却有多种不同的数据包，那就很可能会出现如上所说的粘包问题，所以就需要在发送端封包，在接收端拆包。

 

2、那么如何封包、拆包？
答：封包就是给一段数据加上包头或者包尾。比如说我们上面为解决粘包所使用的两种方法，其实就是封包与拆包的具体实现。

封包:
封包就是给一段数据加上包头,这样一来数据包就分为包头和包体两部分内容了.包头其实上是个大小固定的结构体,其中有个结构体成员变量表示包体的长度,这是个很重要的变量,其他的结构体成员可根据需要自己定义（如传输的类型）.根据包头长度固定以及包头中含有包体长度的变量就能正确的拆分出一个完整的数据包.

 

 

 对于拆包目前我最常用的是以下两种方式.
    第1种拆包方式：动态缓冲区暂存方式.之所以说缓冲区是动态的是因为当需要缓冲的数据长度超出缓冲区的长度时会增大缓冲区长度.
    大概过程描述如下:
    A,为每一个连接动态分配一个缓冲区,同时把此缓冲区和SOCKET关联,常用的是通过结构体关联.
    B,当接收到数据时首先把此段数据存放在缓冲区中.
    C,判断缓存区中的数据长度是否够一个包头的长度,如不够,则不进行拆包操作.
    D,根据包头数据解析出里面代表包体长度的变量.
    E,判断缓存区中除包头外的数据长度是否够一个包体的长度,如不够,则不进行拆包操作.
    F,取出整个数据包.这里的"取"的意思是不光从缓冲区中拷贝出数据包,而且要把此数据包从缓存区中删除掉.删除的办法就是把此包后面的数据移动到缓冲区的起始地址.

    这种方法有两个缺点.1.为每个连接动态分配一个缓冲区增大了内存的使用.2.有三个地方需要拷贝数据,一个地方是把数据存放在缓冲区,一个地方是把完整的数据包从缓冲区取出来,一个地方是把数据包从缓冲区中删除.这种拆包的改进方法会解决和完善部分缺点.

 

采用环形缓冲.但是这种改进方法还是不能解决第一个缺点以及第一个数据拷贝,只能解决第三个地方的数据拷贝(这个地方是拷贝数据最多的地方).

环形缓冲实现方案是定义两个指针,分别指向有效数据的头和尾.在存放数据和删除数据时只是进行头尾指针的移动

第2种拆包方式会解决这两个问题.

第2种拆包方式：利用底层的缓冲区来进行拆包
   由于TCP也维护了一个缓冲区,所以我们完全可以利用TCP的缓冲区来缓存我们的数据,这样一来就不需要为每一个连接分配一个缓冲区了.另一方面我们知道recv或者wsarecv都有一个参数,用来表示我们要接收多长长度的数据.利用这两个条件我们就可以对第一种方法进行优化了.
   对于阻塞SOCKET来说,我们可以利用一个循环来接收包头长度的数据,然后解析出代表包体长度的那个变量,再用一个循环来接收包体长度的数据.

对于非阻塞的SOCKET,比如完成端口,我们可以提交接收包头长度的数据的请求,当GetQueuedCompletionStatus返回时,我们判断接收的数据长度是否等于包头长度,若等于,则提交接收包体长度的数据的请求,若不等于则提交接收剩余数据的请求.当接收包体时,采用类似的方法.

 

 

 

三:如何判断包的合法性.
判断包的合法性可以结合下面两种方式来判断.但是想100%的判定出非法包,只能通过信息安全中的知识来判定了,对这种方法这里不做阐述.
1.通过包头的结构来判断包的合法性.
最初的时候我是根据包头来判断包的合法性,比如判断Command是否超出命令范围,nDataLen是否大于最大包的长度.但是这种方法无法过滤掉非法包,当出现非法包时我们唯一能做的就是断开连接,或许这也是最好的处理办法.
我们可以给一个完整的包加上开始和结束标志,标志可以是个整数,也可以是一串字符串.以第一种拆包方式为例来说明.当要拆一个完整包时我们先从缓冲区有效数据头指针地址搜索包的开始标志,搜索到后并且当前数据够一个包头数据,则判断开始标志和包头是否合法,若合法则根据代表数据长度的变量的值定位到包尾,判断包尾标志是否与我们定义的一致,若一致则这个包是合法的包.若有一项不一致则继续寻找下个包的开始标志,并把下个合法包的前面的数据全部舍弃.
2.通过逻辑层来判断包的合法性.
当取出一个合法的包时,我们还要根据当前数据处理的逻辑来判断包的合法性.比如说在登陆成功后的某段时间服务器又收到了同一个客户端的登陆包,那我们就可以判断这个包是非法的,简单处理就是断开连接.