tcp粘包现象和解决方式

底层原理分析：

数据流向：

客户端应用程序

客户端操作系统内存

客户端网卡

基于tcp协议发送/接收

服务器网卡

服务器操作系统内存

服务器应用程序

1. 不管是recv()还是send()，都不是直接接收对方的数据，而是操作自己的操作系统内存。

2. 不是一个send()对应一个recv()

3. 通信流程：

   recv:
   	wait data 耗时非常长
   	copy data
   send:
   	copy data
   

Nagle算法:(减少网络IO，提高程序效率，同时会有粘包的问题)

​ TCP(transport control protocol,传输控制协议)是面向连接的，面向流的，提供高可靠性服务。收发两端(客户端和服务端)都要有一一成对的socket，因此，发送端为了将多个发往接收端的包更有效的发给对方，使用了优化算法(Nagle算法)，将多次间隔较小且数据量小的数据，合并成一个大数据块，然后进行封包。这样，接收端，就难于分辨出来了，必须提供科学的拆包机制，即面向流的通信是无消息保护边界的。

解决粘包问题：

简单版本：发送固定长度的报头(只包含数据长度信息)

客户端 服务器 请求数据 使用struct制作固定长度的报头 发送报头 报头(数据的长度(total_size)) 拿到数据的长度(total_size) 使用数据长度作为数据块大小进行接收 若recv_size

• 服务器制作固定长度报头：

  import struct
  
  res = struct.pack("i",1230) # i：int 4字节
  
  print(res,type(res),len(res))
  
  --------------------------------------
  
  b'\xce\x04\x00\x00' <class 'bytes'> 4
  

• 客户端解包报头：

  import struct
  
  recv = struct.unpack("i",res)
  
  print(recv,recv[0])
  
  --------------------------------------
  
  (1230,) 1230
  

终极版本：发送固定长度的报头(用字典封装，包含多种信息)

客户端 服务器 请求数据 字典封装报头信息 字典-->>字符串-->>字节-->>len(字节)-->>获得报头长度 struct.pack('i',len(字节)) 发送固定字节的报头长度 报头长度 拿到报头长度 使用报头长度作为数据块大小接收报头 发送报头 报头 拿到报头 从报头中解析出真实数据的描述信息 拿到total_size 使用total_size作为数据块大小准备接收真实数据 发送真实数据 真实数据 接收真实数据 请求数据 ... 客户端 服务器 标准时序图

• 服务器发送报头：

  import struct
  import json
  
  header_dic = {
      'filename':'a.txt',
      'md5':'xxxxxxx',
      'total_size':6516161646513131
  }
  
  # 序列化
  header_json = json.dumps(header_dic)
  print(header_json,'\n',type(header_json))
  header_bytes = header_json.encode('utf-8')
  print(header_bytes,'\n',type(header_bytes),'\n',len(header_bytes))
  
  socket.send(struct.pack('i',len(header_bytes))) # 发送报头长度
  
  ---------------------------------------------
  {"filename": "a.txt", "md5": "xxxxxxx", "total_size": 6516161646513131}
   <class 'str'>
  b'{"filename": "a.txt", "md5": "xxxxxxx", "total_size": 6516161646513131}'    
   <class 'bytes'>
  71
  

• 客户端接收报头和数据：

  import struct
  import json
  
  obj = socket.recv(4)
  # 收报头长度
  header_size = struct.unpack('i',obj)
  # 收报头
  header_bytes = socket.recv(header_size)
  
  # 从报头中解析出真实数据的描述信息
  # 反序列化
  header_json = header_bytes.decode('utf-8')
  header_dic = json.loads(head_json)
  print(header_dic,'\n',type(header_dic))
  
  # 拿到真实数据长度
  total_size = header_dic['total_size']
  
  # 接收真实数据
  recv_size = 0
  recv_data = b''
  while recv_size < total_size:
      res = socket.recv(1024)
      recv_data += res
      recv_size += len(res)