python的测试框架 - pytest 进阶项目版

文章目录

  • 0x01 pytest 的进一步学习
    • 1. 初衷
    • 2. 之前写的代码
    • 3. 想要的几个功能 - 进阶学习
    • 4. pytest 常用的几个参数
  • 0x02 xfail
    • 1. 六个输出结果
    • 2. 代码
    • 3. 其他
  • 0x03 有些函数只需要运行一次
    • 1. fixture 作用域
    • 2. 代码
    • 3. 其他 - 临时文件
      • 3.1 pytest 中的四个临时文件对象
      • 3.2 tmp_path 实例
      • 3.3 临时文件在哪
  • 0x04 setup、teardown 转 fixture
    • 1. 代码
  • 0x05 测试数据和测试代码分离
    • 1. mark.parametrize
    • 2. fixture(param=xxx)
    • 3. 用外部文件传递测试数据
  • 0x06 共享 fixture
  • 0x07 配置文件
    • 1. pytest 运行时命令行参数
    • 2. pytest 标记
    • 3. 指定测试路径
    • 4. 其他
  • 0x08 其他华丽的技巧啊
    • 1. 并发执行
    • 2. 输出报告
  • 0x09 参考文章

之前紧凑慢凑强行拼凑出了一个测试文件夹,内含好多函数得测试代码。

现在腾出手来了,发现之前写的,python的测试框架 - pytest 简版教程

阅读之后就是这种感觉:嗯??我是谁?我在哪?我在干什么?

我怎么把测试数据和测试代码写在一块了?

改改改。

提前恭喜通篇看完的你,恭喜你的脑子已经掌握了 pytest 的大部分知识点[撒花]

update: 2021/03/22

之前有一处地方没有很好的理解或者说是解决办法。

就是用 pytest 写正常流测试用例没有问题,但是一旦设计有异常测试流用例呢?

早先的做法是:正常流输出 . (PASSED),异常流流输出 F(Failed)。

接着错误的理解了 xfail 之后:正常流输出 . (PASSED),异常流流输出 x(xfail)。

正确的理解了 xfail 之后,又回到了之前的输出。但是,测试输出不应该是这样。

一旦测试的结果输出是 failed 之后,要么是被测的代码有问题,要么是测试代码有问题。(往往问题出现在前者)

所以,我需要设计的是,手动定义的异常流输出也应该是 . (PASSED)。

好家伙,问题分析透彻了,具体该怎么做?

一直百思不得其解,知道我看到了这个 behavior-driven-python/pytest-bdd/tests/step_defs/test_unit_basic.py :

@then_cukes(parsers.re(r'"(?P\d+)" cucumbers cannot be removed from the basket'))
def cannot_remove_more(basket, some):
    count = basket.count  # 1
    try:
        basket.remove(some)  # some = 2
    except ValueError as e:
        assert str(e) == "Attempted to remove too many cucumbers"
        assert count == basket.count, "Cucumber count changed despite overdraw"
    except:
        assert False, "Exception raised for basket overdraw was not a ValueError"
    else:
        assert False, "ValueError was not raised for basket overdraw"

这是一个捕捉异常的用例,count 为1,some 为2,basket 中只有 1 根黄瓜,想要拿掉 2 根,就会触发异常。

basket.remove(some) 触发异常之后,会抛出 ValueError("Attempted to remove too many cucumbers") 的异常。

重点来了,它代码中的 assertassert str(e) == "Attempted to remove too many cucumbers"

众所周知,assert 后面表达式为 False 的时候,会触发异常。

但是上面的代码不是啊,assert 后面的表达式是 True 啊~~~

这就不会触发异常,测试代码也就完美的预判了我的预判:给定错误的测试用例,判断错误异常等于自己设定好的异常,最后测试通过。

python的测试框架 - pytest 进阶项目版_第1张图片
update: 2021/03/11

之前对 pytest 中得 xfail 理解上出现了点问题。

官方:

python的测试框架 - pytest 进阶项目版_第2张图片

也就是说,当你得被测代码有问题还没有修复,那么在修复该问题之前,应该使用 xfail, 当你的问题修复了之后,需要将这个标记删除。

0x01 pytest 的进一步学习

1. 初衷

之前的测试用例中,数据和测试函数紧耦合,感觉就像将破碎的盘子强行用胶水粘在一起,

根本没有利用到 pytest 的强大之处 - fixture。也没有符合 python 的美学。。。

这一回抽个时间,好好的捋一捋,如何用 pytest 写项目测试

之前是明白了 pytest 得功能以及使用方法,现在尝试与具体得实际项目结合。

这篇文章主要目的是将测试用例和测试代码分离开,顺便记录一下新学得知识

2. 之前写的代码

该处我用的是折叠手法,但是 csdn 不支持折叠,请各位看官直接往下拉就好

被测函数:download_from_gitlab()

def download_from_gitlab(url, cwd):
    # filename of downloading file
    down_file = os.path.basename(url)
    # compress filename
    zip_name = os.path.join(down_file, "SConscript.zip")
    
    # if the file is existed, delete it first.
    if os.path.exists(down_file):
        shutil.rmtree(down_file, onerror=readonly_handler)
    cmd = "git clone {}".format(url)
    down_status = subprocess.call(cmd)
    if down_status != 0:
        raise Exception("Failed download from gitlab???")
    logging.info("Download files from gitlab successfully...")

    # unzip, if file have unzipped, the files would be overwritten by the
    # downloaded files and the original file would be retained
    try:
        with zipfile.ZipFile(zip_name, "r") as zip_ref:
            zip_ref.extractall(cwd)
    except Exception:
        raise Exception("Failed to unzip???")
 
    # remove dir, there is "shared_files"
    shutil.rmtree(down_file, onerror=readonly_handler)
    logging.info("Removing the downloaded files successfully...")
    return

原本的测试函数:

import os
import sys
sys.path.append("..")
import shutil
import pytest
from download_files import download_from_gitlab

def readonly_handler(func, path, ):
    # Change the mode of file, to make it could be used of shutil.rmtree
    os.chmod(path, 128)
    func(path)

def setup_function():
    """ 在测试之前生成 tmp_cwd 文件夹,存放从gitlab中下载的文件"""
    # 在每一个测试函数之前运行
    os.mkdir("tmp_cwd")

def teardown_function():
    """ 在测试之后删除 tmp_cwd 文件夹"""
    shutil.rmtree("tmp_cwd", onerror=readonly_handler)

@pytest.mark.parametrize("url, cwd",
                        [("https://gitee.com/lebhoryi/shared_files", "tmp_cwd")])  # true true
def test_download_from_gitlab(url, cwd):
    # 正常流
     _ = download_from_gitlab(url, cwd)

    file_list = ["Middlewares", "RT-AI", "X-CUBE-AI"]
    for file in file_list:
        assert os.path.exists(os.path.join(cwd, file))
     
if __name__ == "__main__":
    pytest.main(["-q", "-s", f"{__file__}"])

在原本的测试函数中,仅用到了三个点:

  • setup_function() 每一个测试函数之前运行
  • teardown_function() 每一个测试函数结束之后运行
  • @pytest.mark.parametrize() 传参

3. 想要的几个功能 - 进阶学习

本章节之后都是按照功能先后来排版的

  • 将被测代码中的 raise 或者 assert 的测试结果显示为 xfail,而不是 . 表示。
  • 有一些被测函数运行之前需要另外的函数,比如创建一个文件夹,但是我只想运行一次,而不是每一个测试用例都运行。体现在作用域
  • 取消 setupteardown 写法,转用 pytest 独创写法,利用 fixture 装饰器
  • 测试数据和测试代码分离,我贼想要掌握的一个点
  • 共享的 fixture, 举个例子,我有多个测试文件,要共用一个创建文件夹的函数,就需要这个了,利用 conftest.py
  • 利用 pytest.ini

4. pytest 常用的几个参数

Params Describe
-v 输出详细的信息,包括 pytest 版本、测试代码、测试数据等
-q 只输出测试结果,-v 的相反参数,最简化输出
-m 仅对标记测试代码执行测试,@pytest.mark.xxx 应该出现在代码中
-s 显示测试用例中的 print 内容
-rs 显示出背忽略执行的测试代码的详细信息
–tb no: 不显示任何报错信息; line: 一行显示报错信息; short: 输出assert的一行和系统判断内容;auto: 只打印第一个和最后一个报错信息
-x 在某个中断测试用例结束后,不继续往下运行测试代码
# pytest_test2.py

import pytest

def test_pass():
    print("这是打印的信息")
    assert 5 == 5

python的测试框架 - pytest 进阶项目版_第3张图片
python的测试框架 - pytest 进阶项目版_第4张图片

0x02 xfail

我需要检测出被测代码中的 assert 或者 raise 异常,并且输出为 xfail,而不是全部输出为 .

1. 六个输出结果

xfail 中有六个测试结果输出,分别是:

Status Show Describe
PASSED . 测试成功,也没啥好说的,正常用例测试通过
FAILED F 测试失败,也没啥好说的,你的被测代码有问题
xfail x 预期测试失败,被测代码有问题尚未修复,@pytest.mark.xfail()
SKIPPED s 跳过测试用例,@pytest.mark.skip()@pytest.mark.skipif(), 还没用到过
XPASS X 预期测试失败,但是测试代码意外通过,见下方代码例子
ERROR E 错误,也没啥好说的,你的测试代码或者数据有问题

2. 代码

# pytest_test2.py

import pytest

@pytest.mark.xfail()
def test_pass():
    assert 2 == 5
   
@pytest.mark.xfail()
def test_pass2():
    assert 5 == 5

3. 其他

xfail 的一些参数:详细请看官方文档

  • condition, 必须搭配 reason

    只在windows 运行的测试用例:

    @pytest.mark.xfail(sys.platform == "win32", reason="bug in a 3rd party library")
    def test_function():
        ...
    
  • reason

  • raises

  • run

0x03 有些函数只需要运行一次

我有多个测试数据,正常的和异常的测试数据。在测试函数执行之前,我需要先创建一个文件夹来储存测试代码的运行结果。(杠精别问为什么不用临时文件,这是例子,例子,例子)

那么,我想要实现的是:仅创建一个储存的文件夹即可,而非每运行一个测试用例需要创建一次。

用专业的话来说,就是:每个 module 的所有 test 只运行一次,@pytest.fixture(scope=module)

这时候用的是 fixture 中的作用域。

1. fixture 作用域

Status Describe
function 每个test都运行,默认是function的scope
class 每个class的所有test只运行一次
module 每个module的所有test只运行一次
session 每个session只运行一次

2. 代码

# pytest_test2.py

import pytest

@pytest.fixture(scope="module", autouse=True)
def mod_head():
    print(f"module\t: {mod_head.__name__}")


@pytest.fixture(scope="function", autouse=True)
def func_head():
    print(f"func\t: {func_head.__name__}")


@pytest.mark.xfail()
def test_pass():
    print("这是打印的信息")
    assert 2 == 5

def test_pass2():
    assert 5 == 5

python的测试框架 - pytest 进阶项目版_第5张图片

  • autouse=True 时会自动调用这个 fixture

3. 其他 - 临时文件

你硬要说用临时文件夹,也不是不可以

有时候,在测试得过程中,需要创建临时文件夹,这时候就需要往下看了。

3.1 pytest 中的四个临时文件对象

python的测试框架 - pytest 进阶项目版_第6张图片

3.2 tmp_path 实例

我常用得是 pathlib.Path,所以关注得 tmp_path 多了点

# pytest_test2.py

import pytest

# 对的,在传入 tmp_path 这个参数得时候,不需要指定,pytest自带
def test_read_ini(tmp_path): 
    a_dir = tmp_path / "mytmpdir"
    a_dir.mkdir()
    a_file = a_dir / "tmpfile.txt"
    a_file.write_text("hello, pytest!")
    
    assert a_file.read_text() == "hello, pytest!"

tmpdir 参考文档: 内置 fixtures 之 tmpdir

3.3 临时文件在哪

pytest 创建临时文件默认为系统的临时目录,Windows%temp% 路径下,也可自己指定, --basetemp

pytest -q -s --basetemp='./tmp' pytest.py

注意:

​ 临时文件最多为三个,最新的临时文件会替换最老的临时文件。

0x04 setup、teardown 转 fixture

为了兼容 unittestpytest 保留了 setup_xxxteardown_xxx,其中 xxx 有四个选择:{function,module,method,class}。

这并非 pytest 推荐的写法。

pytest 推荐用的是 fixture + yield

1. 代码

setupteardown

# pytest_test.py
import pytest

def setup_module():
    print("每个函数之前执行")

def teardown_module():
    print("\n每个函数之后执行")

@pytest.mark.xfail()
def test_pass():
    assert 2 == 5

def test_pass2():
    assert 5 == 5

fixture + yield

# pytest_test2.py

import pytest

@pytest.fixture(scope="module")
def func():
    print("每个函数之前执行")
    yield
    print("\n每个函数之后执行")


@pytest.mark.xfail()
def test_pass(func):
    assert 2 == 5

def test_pass2(func):
    assert 5 == 5

python的测试框架 - pytest 进阶项目版_第7张图片

0x05 测试数据和测试代码分离

之前的掌握的两种喂测试数据的方式:

  • [pytest.mark.parametrize](##1. mark.parametrize)
  • [pytest.fixture(params)](##2. fixture(param=xxx))

1. mark.parametrize

中文:标记参数

将测试数据和测试代码紧密联系

# pytest_test2.py

import pytest

def add(a, b):
    return a+b

@pytest.mark.parametrize("a, b, result",
                         [(1, 2, 3),
                          (10, 20, 30)])
def test_pass(a, b, result):
    assert add(a, b) == result


@pytest.mark.xfail()
@pytest.mark.parametrize("a, b, result",
                   [(1, 2, 5)])
def test_xfail(a, b, result):
    assert add(a, b) == result

进阶:(初级版数据分离)

# pytest_test2.py

import pytest

def add(a, b):
    return a+b

add_list = [(1, 2, 3),
            (10, 20, 30)]

@pytest.mark.parametrize("a, b, result", add_list)
def test_pass(a, b, result):
    assert add(a, b) == result

注意:
1. @pytest.mark.parametrize 中的第一个参数是字符串,不是多个字符串
2. @pytest.mark.parametrize 中的第二个参数是列表,一个测试数据用一个元组表示,有几个测试数据就有几个元组

其他:

@pytest.mark.parametrize(self,argnames, argvalues, indirect=False, ids=None, scope=None))
参数 说明
argnames 必传,参数名, 以逗号分隔的字符串,表示一个或多个参数名称(key),或参数字符串的列表/元组
argvalues 必传,参数值,若 argnames 有一个刚单值列表传入,若argnames有多个,以套用元组的列表展示,无组内与参数名一一对应
indirect 为true时,那argnames一定是一个fixture函数名称,argvalues值将传入对应的fixture内,相当于@pytest.fixture(params=)的用法,默认False
ids 标记子用例执行名称,与argvalues数量一致,未指定自动生成,默认None
scope 如果指定,则表示参数的范围。范围用于按参数实例对测试进行分组。它还将覆盖任何 fixture 函数定义的范围,允许使用测试上下文或配置设置动态范围

2. fixture(param=xxx)

中文:固件参数

# pytest_test2.py

import pytest

def add(a, b):
    return a+b

add_list = [(1, 2, 3),
            (10, 20, 30)]

@pytest.fixture(params=add_list)
def get_param(request):
    return request.param

def test_pass(get_param):
    assert sum(get_param[:2]) == get_param[2]

注意:

1. `request` 是 `pytest` 内置的固件,通过 `request.param` 获取参数,**不可随意命名**
2. 涉及到多个参数值传递,**建议用字典**,而不是列表

3. 用外部文件传递测试数据

pytest 支持多种文件读取:

  • JSON
  • Yaml
  • Excel
  • CSV

详细的各种例子请戳:Pytest 实战

本文以 CSV 举例。

在本地创建 data.csv 文件。注意看最后一个测试数据,是通过不了测试的!

python的测试框架 - pytest 进阶项目版_第8张图片

# pytest_test2.py
import pytest
import csv

def read_csv():
    result = list()
    with open("data.csv", "r+") as f:
        reader = csv.reader(f)
        next(reader)  # 为了跳过首行
        result = list(reader)
    return result

@pytest.mark.parametrize("add_list", read_csv())
def test_csv_add(add_list):
    assert str(int(add_list[0]) + int(add_list[1])) == add_list[2]

python的测试框架 - pytest 进阶项目版_第9张图片

0x06 共享 fixture

当我拥有多个测试文件的时候,发现有部分函数是重复的,这就很违反 python 的美学了,

这时候,就要祭出 conftest.py 这个大杀器。将重复函数从测试文件中移出去,另成文件,能够被重复使用。

千万不要引用!pytest 将会自动调用!

默认你会注意文件作用域,仅作用当前文件夹以及子文件夹。

代码

拿 [0x04 setup、teardown 转 fixture](##1. 代码) 中的代码举例子

# conftest.py 这是新的文件!
import pytest

@pytest.fixture(scope="module")
def func():
    print("每个函数之前执行")
    yield
    print("\n每个函数之后执行")
# pytest_test2.py
import pytest

@pytest.mark.xfail()
def test_pass(func):
    assert 2 == 5

def test_pass2(func):
    assert 5 == 5

python的测试框架 - pytest 进阶项目版_第10张图片

0x07 配置文件

假设有这么个场景,你在测试的时候经常要用到 -q -s ,然后又不想每次测试得时候手动输入这个,

懒人福音来了,在pytest.ini 里面设置即可

1. pytest 运行时命令行参数

[pytest]
addopts = -q -s
# 复杂且常用的命令行参数
# addopts = -rsxX -l --tb=short --strict
  • --rsxX 表示 pytest 报告所有测试用例被跳过、预计失败、预计失败但实际通过的原因。
  • -l 表示 pytest 报告所有失败测试的堆栈中的局部变量。
  • --tb=short 表示简化堆栈回溯信息,只保留文件和行数。
  • --strict 选项表示禁止使用未在配置文件中注册的标记。

2. pytest 标记

为了防止你瞎标记、乱标记、输入拼写错误的标记

[pytest]
markers =
    smoke: Run the smoke test functions for tasks project
    get: Run the test functions that test tasks.get()

通过使用 pytest --markers 查看

先设定好标记的内容,配合上面的 --strict 命令,那么,当你输入错误标记或者不认识的标记的时候,会报错

3. 指定测试路径

[pytest]
testpaths = pytest_tmp

4. 其他

官方: Configuration Options

  • 最低版本号:minversion = 3.0

  • 忽略某些目录:norecursedirs = build dist

  • 环境变量配置

    [pytest]
    env =
    	TEST_PATH = tmp_cwd
    
  • 禁用 XPASS,让 XPass 显示为 FAILED:xfail_strict = true

    拿 [0x05 3. 用外部文件传递测试数据][##3. 用外部文件传递测试数据] 举例子,增加一行代码,

    python的测试框架 - pytest 进阶项目版_第11张图片
    当我在 pytest.ini 中设置了 xfail_strict = true 之后的输出结果:
    python的测试框架 - pytest 进阶项目版_第12张图片

0x08 其他华丽的技巧啊

1. 并发执行

用的是 pytest-xdist 插件

pytest -v -n 4 pytest_test.py
pytest -v -n auto pytest_test.py

2. 输出报告

常规输出报告:

  • JunitXML

    pytest -v pytest_test.py --junitxml=report.xml

  • log

    pytest -v pytest_test.py --resultlog=log.txt

需要安装第三方库的输出报告:

  • html

    pip install pytest-html
    pytest -v pytest_test.py --html=report.html
    
  • Allure

    参考:Pytest之Allure测试报告(十五)

0x09 参考文章

  • 基于 Pytest 框架的自动化测试开发实践 (万字长文入门篇)

  • 6、pytest – 临时目录和文件

  • Pytest高级进阶之Fixture

  • pytest中的fixture

  • Pytest实战

  • 11、Pytest之@pytest.mark.parametrize使用详解

  • Pytest之Allure测试报告(十五)

  • pytest–配置

你可能感兴趣的:(Python笔记,python)