全网超全，Pytest自动化测试框架pytest-xdist分布式测试插件（实战）

---

前言

平常我们功能测试用例非常多时，比如有1千条用例，假设每个用例执行需要1分钟，如果单个测试人员执行需要1000分钟才能跑完；

当项目非常紧急时，会需要协调多个测试资源来把任务分成两部分，于是执行时间缩短一半，如果有10个小伙伴，那么执行时间就会变成十分之一，大大节省了测试时间；

为了节省项目测试时间，10个测试同时并行测试，这就是一种分布式场景；
同样道理，当我们自动化测试用例非常多的时候， 一条条按顺序执行会非常慢，pytest-xdist的出现就是为了让自动化测试用例可以分布式执行，从而节省自动化测试时间；
pytest-xdist是属于进程级别的并发；

分布式执行用例的设计原则（重点）

用例之间是独立的，用例之间没有依赖关系，用例可以完全独立运行【独立运行】
用例执行没有顺序，随机顺序都能正常执行【随机执行】
每个用例都能重复运行，运行结果不会影响其他用例【不影响其他用例】

插件安装

pip3 install pytest-xdist -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

pytest-xdist通过一些独特的测试执行模式扩展了pytest

测试运行并行化：如果有多个CPU或主机，则可以将它们用于组合的测试运行。 这样可以加快开发速度或使用远程计算机的特殊资源。

–looponfail：在子进程中重复运行测试。 每次运行之后，pytest都会等到项目中的文件更改后再运行之前失败的测试。 重复此过程，直到所有测试通过，然后再次执行完整运行。

跨平台覆盖：您可以指定不同的Python解释程序或不同的平台，并在所有这些平台上并行运行测试。

快速入门通关

代码的包结构

14xdist是项目文件夹名称
│  conftest.py
│  test_1.py
│  __init__.py
│              
├─test_51job
│  │  conftest.py
│  │  test_case1.py
│  │  __init__.py 
│          
├─test_toutiao
│  │  test_case2.py
│
├─test_weibo
│  │  conftest.py
│  │  test_case3.py
│  │  __init__.py 
│          

具体代码

最外层的conftest.py

# 外层conftest.py

@pytest.fixture(scope="session")
def login():
    print("====登录功能，返回账号，token===")
    name = "testyy"
    token = "npoi213bn4"
    yield name, token
    print("====退出登录！！！====")**strong text**

最外层的test_1.py

import pytest


@pytest.mark.parametrize("n", list(range(5)))
def test_get_info(login, n):
    sleep(1)
    name, token = login
    print("***基础用例：获取用户个人信息***", n)
    print(f"用户名:{name}, token:{token}")

…

不使用分布式测试的命令和所需执行时间

pytest -s

可以看到，执行一条用例大概1s（因为每个用例都加了 sleep(1) ），一共30条用例，总共运行30s；那么如果有1000条用例，执行时间就真的是1000s

使用分布式测试的命令和所需执行时间

pytest -s -n auto

可以看到，最终运行时间只需要6s，我的电脑是真6核，假12核；
-n auto：可以自动检测到系统的CPU核数；从测试结果来看，检测到的是逻辑处理器的数量，即假12核；
使用auto等于利用了所有CPU来跑用例，此时CPU占用率会特别高；

可以指定需要多少个CPU来跑用例

pytest -s -n 2

pytest-xdist是可以和pytest-html很好的相结合

pytest -s -n auto --html=report.html --self-contained-html

pytest-xdist按照一定的顺序执行
pytest-xdist默认是无序执行的，可以通过 --dist 参数来控制顺序

 --dist=loadscope 

将按照同一个模块module下的函数和同一个测试类class下的方法来分组，然后将每个测试组发给可以执行的worker，确保同一个组的测试用例在同一个进程中执行；
目前无法自定义分组，按类class分组优先于按模块module分组

 --dist=loadfile 

按照同一个文件名来分组，然后将每个测试组发给可以执行的worker，确保同一个组的测试用例在同一个进程中执行

如何让scope=session的fixture在test session中仅仅执行一次

pytest-xdist是让每个worker进程执行属于自己的测试用例集下的所有测试用例

这意味着在不同进程中，不同的测试用例可能会调用同一个scope范围级别较高（例如session）的fixture，该fixture则会被执行多次，这不符合scope=session的预期

解决方案

虽然pytest-xdist没有内置的支持来确保会话范围的夹具仅执行一次，但是可以通过使用锁定文件进行进程间通信来实现。

例子：
下面的示例只需要执行一次login（因为它是只需要执行一次来定义配置选项，等等）；
当第一次请求这个fixture时，则会利用FileLock仅产生一次fixture数据；
当其他进程再次请求这个fixture时，则会从文件中读取数据；

import pytest
from filelock import FileLock


@pytest.fixture(scope="session")
def login():
    print("====登录功能，返回账号，token===")
    with FileLock("session.lock"):
        name = "testyy"
        token = "npoi213bn4"
        # web ui自动化
        # 声明一个driver，再返回

        # 接口自动化
        # 发起一个登录请求，将token返回都可以这样写

    yield name, token
    print("====退出登录！！！====")

下面是我整理的2023年最全的软件测试工程师学习知识架构体系图

一、Python编程入门到精通

二、接口自动化项目实战

三、Web自动化项目实战

四、App自动化项目实战

五、一线大厂简历

六、测试开发DevOps体系

七、常用自动化测试工具

八、JMeter性能测试

九、总结（尾部小惊喜）

挫折是成功之母，每一次失败都是你走向胜利的一步。坚持不懈，努力奋斗，只有经历风雨，才能见彩虹。相信自己的能力，追逐梦想，勇往直前，终将收获辉煌。岁月无情，唯努力永恒，奋斗不止，未来属于你！

只有不断努力，才能超越自我；只有坚持奋斗，才能实现梦想；只有拼尽全力，才能收获成功；只要相信自己，就没有征服不了的困难！加油！

只有坚持不懈的努力，才能成就辉煌的未来；付出比任何言语更有力量，勇往直前，无所畏惧；每一次挑战都是成长的机遇，奋斗不止，成功必将属于你。