用 Python 写网络编程（三）

本文在2021.02.14首发于TesterHome社区，作者是资深游戏测试开发工程师陈子昂。用 Python 写网络编程共四篇，今天给大家分享其中第三篇。原文链接：https://testerhome.com/topics/27910

前言

今天是一个特别的节日，1946 年情人节，世界上第一台计算机 ENIAC 在米国的宾夕法尼亚大学被 new 了，标志着新的时代到来。
计算机陪伴人类已经走过了 75 个年头，所以今天，没啥特别的事情，请多去陪一陪自己家的电脑，手动狗头，手动狗头。
网络编程会是一个比较庞大的知识体系，第三篇会开始讲如何 encode 和 decode。
第一篇的数据结构是提供给第三篇使用的，然后通过第二篇的通道进行传输。

复习功课
第一篇地址
第二篇地址

Tcp pickle

Tcp 网络流，加工过程也可以理解成是字节流到二进制流，字节就是第一篇提到的 bytes。
encode 压包就是把字节流转换到二进制流，那么 Python 是通过怎么做到的呢。

主要分为二种，pickle（python 独有序列化字节数组），struct（从 C 那边继承来的序列化字节数组的）库。
我们看看 pickle 是如何序列化数据的。

def encode_pickle(packet:bytes):
    """
    压入pickle
    :param packet: 
    :return: 
    """
    return pickle.pack(">i",len(packet))+packet

注意这里并没有发包出去，回顾前面的，需要先建立 socket 链接，确认地址，才能进行发包。
pickle.pack(fmt,*args) 的第一个参数 fmt 是个很重要的知识点。

先来了解下最重要的概念之一 fmt,众所周知，Python 是不需要先声明内存宽度，才能编程的。
内存宽度是指内存里面占位的长度，在声明对象前会标注数据类型（动态语言没这个，静态语言很多有自动推断声明的比如 golang var 和:=）

image

网络编程需要学习这块，是因为操作二进制,细致的话会标记为有符号和无符号。有符号和无符号做一些原子计算，做减法的时候，部分语言需要做一些特殊处理，还好 Python 不用担心这些，有符号一般是指包含负数。
short 是有符号的 2 个字节的，unsigned short 是无符号的 2 个字节，负数这个上面图需要背下来。

网络自定义字节和字节序

上面代码里面是 int 和 unsigned int，fmt 前面是主机字节序，">i"代表大端有符号的 4 个字节，"<"代表小端，"!"代表不用匹配。
暂时不考虑具体学字节序转换的问题，目前网络编程是模拟客户端往服务器发。
字节序分别有大端（big endian）和小端（little endian），程序的内容都是以字节为单位的，一个字节 8 位，每个地址对应一个字节。
大端模式就是将数据的高位放在低位地址，低位地址就是左侧。转 16 进制只是给人读的，int 类型 4 个字节，ff 6c 5a 4s。
小端就是大端反过来，是 4s 5a 6c ff。从这里可以发现大小端只是对内存寻址的顺序有关，但是内存地址里面的 6c，5a 是不会变成 c6 和 a5 的
这块问题，前期不熟悉的话，可以通过问需求来确认如何写。

数据类型后面数字除以 8 就是字节数，数字是 bit。
拿 JS 举个例子：buffer 做视图处理的，比如 Uint32Array，U 代表无符号，。int32 是 4 个字节，Array 可以理解为数组。
字节数组就是多个字节，Python 数据结构就是 bytes 或者 bytearray(这个和前者差别是内存不可变)

Uint64Array 那就是 8 个字节？这个是不合法的。这里有个定长和变长的概念，int 属于定长，int 是不能超过宽度 4 个字节的，所以不会有 Uint64Array，但是可以有 Uint16Array，16/8=2，在内存里面占位 2 个字节。

定长在具体实例内阐述，不定长是比较核心的部分，看下下面 2 个问题：
问题 1：引用类型，比如指针指向一个对象，如果操作这个对象，这个对象宽度是不会改变的。
问题 2：long 类型，网络编程也是为了模拟客户端向服务器进行发包，long 类型也是不定长的，比如不是 8 的倍数，是 9 个字节。
看 9 个字节是怎么写的。

def encode_pack(packet:str or bytes,size:int,endian:str="big"):
    """
    压包 
    :param packet:
    :param size:定长
    :param endian:
    :return:
    """
    return int(packet).to_bytes(length=size, byteorder=endian)

print(encode_pack("1256478912".encode("utf-8"),9))

当然这个模式并不是推荐的，更合适用 fmt 里面去拼接，比如大端 9 个字节- -，直接用>9s 就行了。
struct 和 pickle 本质是一样的，本质一样就好比 Json 和 bjson 和其他 json 一样，方法都是一样的。现在可以把前面的给串起来。

def encode_9_buffer(packet: bytes):
    """
    压入9个字节的缓存区
    :param packet:
    :return:
    """
    return struct.pack(">9s", len(packet).to_bytes(length=9, byteorder="big")) + packet

pg = "hello world".encode()
print(struct.calcsize(">9s"))  #长度9
print(encode_9_buffer(pg)) #b'\x00\x00\x00\x00\x00\x00\x00\x00\x0bhello world'

pickle 和 struct 混合

前面 9s 是一整个包的例子，这里预告下，后面不定长，也是游戏产业最常用的，第 4 篇会提到。当前章节其实可以满足互联网的一些 TCP 前置的网络编程了。
使用 pickle 压入缓存区 4 个字节大端 hello world，然后使用 struct 去解包还原，来验证正反序列化可兼容。
所以 python 写的后端如果是用 pickle 的，用 struct 也是可以的。

def encode_pickle(packet: bytes):
    """
    压入pickle
    :param packet:
    :return:
    """
    return pickle.pack(">i", len(packet)) + packet

def decode_unpack(packet: bytes):
    """
    unpack包 这里不包含struct.unpack
    :param packet: 
    :return: 
    """
    # 因为包头是4个字节，合法性验证是先切出4个字节。
    if len(packet) >= 4:
        return packet[4:].decode()

if __name__ == '__main__':
    pg = "hello world".encode()
    packet = encode_pickle(pg)
    print(decode_unpack(packet))

回顾之前说的知识点。一个数据包由包头和包体组成，包头是 4 个字节（里面存放着包体长度）。
简单判断合法性就是先看是否包完整，包完整由 2 个部分组成，第一个部分是 4 个字节，那么就是先判断大于等于 4 个字节，然后解包先去掉头部 4 个字节，那里面的就是包体内容。
包体内容还原就是 decode(),下面看看如何取出包头里面的包体长度

struct.unpack(">i",packet[:4])

其他内容可以看第四篇文章。

image

以上是今天的分享，你学废了吗~

想学习更多干货知识和前沿技术？

想结识测试行业大咖和业界精英？

欢迎关注2022 MTSC大会（第十届中国互联网测试开发大会）

业界对MTSC大会的评价：落地、务实、有深度、重分享

中国互联网测试开发大会（Testing Summit China），由国内最大的测试开发技术社区之一TesterHome发起。始于 2015 年，已成功举办了九届。从最初的 300 多人到 2019 年的近 2000 人后，一直保持千人大会的规模。

为了保证议题质量，TesterHome每年都会提前半年进行议题征集，再经过历时数月的审核，最终确定在大会分享的议题。MTSC 2022的议题还在征集中，诚邀各位资深测试技术专家、质量管理经理和测试新秀们自荐/推荐议题！

提交议题方式

直接点击 https://www.wjx.top/vj/wZwCju3.aspx 进入投递入口，按照格式进行填写并提交即可，欢迎自荐/推荐议题。

议题截止时间

为便于评审组有更充分时间进行评审及与讲师进行沟通优化，为广大参会者呈现更好的议题，议题投稿（可无 ppt，有大纲等议题信息介绍即可）投递截止时间提前为：2022年3月30日

议题征集评选流程

总体流程：案例提交 > 初审核定 > PPT提交 > 确认议题 > 会议演讲

总体时间节点：
案例提交 >> 3 月 30 日
初审核定 >> 4 月 15 日
ppt 提交 >> 5 月 15 日
议题确认 >> 5 月 30 日
会议演讲 >> 7 月 22~23 日

分享讲师福利

锻炼演讲能力，增强个人品牌
获得和业内专家面对面交流的机会，博采众长
提升公司品牌，给自己的团队增加吸引力
获取免费的大会门票和资料：
每位讲师都会获赠 1 张大会门票，大会后续的PPT和视频都会第一时间给到讲师
外地讲师由MTSC大会组委会承担差旅费用