Pytest 使用及调用方法

使用python -m pytest调用pytest

2.0版本新增
你可以在命令行中通过Python编译器来调用Pytest执行测试:

python -m pytest [...]

通过python调用会将当前目录也添加到sys.path中,除此之外,这几乎等同于命令行直接调用pytest [...]。

可能出现的执行退出code

执行pytest可能会出现6中不同的退出code:

使用内置断点方法

Python 3.7引入了内置breakpoint()函数。 Pytest支持以下几种使用breakpoint()的方式：

分析测试用例执行时间

显示执行最慢的10条测试用例如:

• 退出code 0: 收集并成功通过所有测试用例
• 退出code 1: 收集并运行了测试,部分测试用例执行失败
• 退出code 2: 测试执行被用户中断
• 退出code 3: 执行测试中发生内部错误
• 退出code 4: pytest命令行使用错误
• 退出code 5: 没有收集到测试用例

• 获取版本路径、命令行选项及环境变量相关帮助

  pytest --version # 显示pytest导入位置 pytest --fixtures # 显示可用的内置方法参数 pytest -h --help # 显示命令行及配置文件选项帮助信息

• 第1(N)次失败后停止测试

  在第1(N)次用例失败后停止测试执行：

  pytest -x # 第1次失败后停止 pytest --maxfail=2 # 2次失败后停止

• 指定及选择测试用例

  Pytest支持多种从命令行运行和选择测试用例的方法。
  运行模块内所有用例

• pytest test_mod.py

• 运行目录内所有用例

• pytest testing/

• 按关键字表达式运行用例

• pytest -k "MyClass and not method"

• 这将运行包含与指定表达式匹配的名称的测试用例,其中可以包括文件名、类名和函数名作为变量,并且支持Python运算符(and和or)操作。上面的示例将运行TestMyClass.test_something但不运行TestMyClass.test_method_simple。

  按节点id运行测试
  每次执行收集到的测试用例集合都会被分配一个唯一的nodeid,其中包含模块文件名,后跟说明符,如类名、函数名及参数,由:: 字符分隔。
  执行模块中某条指定的测试用例如:

• pytest test_mod.py::test_func

• 通过标记(Mark)表达式运行测试

• pytest -m slow

• 这将会执行所有带@pytest.mark.slow装饰器的用例。

• 从包中运行测试

• pytest --pyargs pkg.testing

• 这将会导入pkg.testing并使用其文件系统位置来查找和运行测试。

  修改Python原生追溯(traceback)信息

  修改回追溯信息示例如:

• pytest --showlocals # 在追溯信息中显示局部变量 pytest -l # 显示局部变量 (简写) pytest --tb=auto # (默认) 第1和最后1条使用详细追溯信息,其他使用简短追溯信息 pytest --tb=long # 详尽,信息丰富的追溯信息格式 pytest --tb=short # 简短的追溯信息格式 pytest --tb=line # 每个失败信息一行 pytest --tb=native # Python标准库格式 pytest --tb=no # 不使用追溯信息

• 详尽的测试结果摘要

  2.9版本新增
  -r标志可用于在测试会话结束时显示测试结果摘要,从而可以在拥有大量用例的测试套件中轻松获得所有失败、跳过、标记失败(xfails)等测试结果的清晰描述。
  例如：

• $ pytest -ra =========================== test session starts ============================ platform linux -- Python 3.x.y,pytest-3.x.y,py-1.x.y,pluggy-0.x.y rootdir: $REGENDOC_TMPDIR,inifile: collected 0 items ======================= no tests ran in 0.12 seconds =======================

• -r选项接受后面的多个字符,上面使用的a表示“除了执行通过(Pass)以外所有的结果”。
  以下是可以使用的可用字符的完整列表：

  -f - 失败的用例
  -E - 出错的用例
  -s - 跳过的用例
  -x - 标记失败的用例
  -X - 标记成功的用例
  -p - 成功用例
  -P - 成功用例并输出信息
  -a - 所有pP状态以外的用例

  可以使用多个字符,例如,只查看失败和跳过的用例,你可以执行：

• $ pytest -rfs =========================== test session starts ============================ platform linux -- Python 3.x.y,pytest-3.x.y,py-1.x.y,pluggy-0.x.y rootdir: $REGENDOC_TMPDIR,inifile: collected 0 items ======================= no tests ran in 0.12 seconds =======================

• 执行失败时进入PDB(Python调试器)

  Python附带一个名为PDB的内置Python调试器。 pytest允许通过命令行选项进入PDB提示符：

• pytest --pdb

• 这将在每次测试开始时调用Python调试器。

  设置断点#

  要在代码中设置断点,需要在代码中使用Python原生import pdb; pdb.set_trace()进行调用,Pytest会自动禁用显示print输出, 并捕获该用例输出结果：

• 其他测试中的输出捕获不受影响。
• 任何先前的测试输出已经被捕获并将被处理。
• 在同一测试中生成的任何后续输出都不会被捕获,而是直接发送到sys.stdout。注意：即使是退出交互式PDB跟踪会话并继续常规测试后发生的测试输出,这也适用。
• 当PYTHONBREAKPOINT设置为默认值,调用breakpoint()时,pytest将使用其内部PDB跟踪交互界面(PDB trace UI)而不是Python自带的pdb。
• 测试完成后,默认会重置为Python自带的PDB跟踪交互界面。
• 在pytest后使用--pdb参数,在失败的测试/未处理异常中,pytest内部PDB跟踪交互界面与breakpoint()同时使用。
• --pdbcls参数可指定要使用的调试器类。

• 分析测试用例执行时间

  显示执行最慢的10条测试用例如:

• pytest --durations=10

• 默认情况下,Pytest不会显示<0.01s的测试时间, 除非在命令行上传递-vv。

  创建JUnit XML格式的测试报告

  要创建可由Jenkins或其他持续集成软件读取的XML测试报告,可以使用：

• pytest --junitxml=path

• 运行结束后,在指定路径path下创建一个XML报告文件
  3.1版本新增

• 可以通过修改配置中junit_suite_name字段的名称来更改XML报告中root test suite的名称。

• [pytest] junit_suite_name = my_suite

• record_property(添加新属性)
  版本2.8新增
  版本3.5更改: 在所有报告生成器(reporter)中用户属性record_xml_property项已改为record_property,record_xml_property现已弃用。
  可以使用record_property项来在XML报告中增加更多的日志信息：

• def test_function(record_property): record_property("example_key",1) assert True

• 在生成的testcase标签是会添加一个额外的属性example_key="1"：

• 或者,你可以将此函数集成在自定义标记装饰器中：

• # conftest.py文件内容 def pytest_collection_modifyitems(session,config,items): for item in items: for marker in item.iter_markers(name="test_id"): test_id = marker.args[0] item.user_properties.append(("test_id",test_id))

  在你的测试用例中使用：

 

# test_function.py文件内容 import pytest @pytest.mark.test_id(1501) def test_function(): assert True

这将导致：

警告：
record_property是一个实验性函数,将来可能会发生变化。
另外,这将破坏一些XML结构验证,与某些持续集成软件一起使用时,可能会导致一些问题。

record_xml_attribute(修改xml节点属性)
3.4版本新增
可以使用record_xml_attribute fixture向testcase`标签中添加其他xml属性。也可以用来覆盖原有属性值：

def test_function(record_xml_attribute): record_xml_attribute("assertions","REQ-1234") record_xml_attribute("classname","custom_classname") print("hello world") assert True

与record_property不同, 它不会在节点下添加子元素,而是在生成的testcase标签内添加一个属性assertions ="REQ-1234",并使用classname = custom_classname覆盖默认的classname属性：

hello world

警告：
record_xml_attribute也是一个实验性函数,其界面可能会被更强大,更通用的未来版本所取代。但是,将保留函数本身。

通过使用record_xml_property可以为在使用持续集成工具解析xml报告时提供帮助。 但是,一些解析器对允许的元素和属性非常严格。 许多工具使用xsd模式(如下例所示)来验证传入的xml。 确保使用解析器允许的属性名称。

以下是Jenkins用于验证xml报告的结构：

LogXML: add_global_property
3.0版本新增
如果要在testsuite级别添加属性节点,该节点可能包含与所有测试用例相关的属性,则可以使用LogXML.add_global_properties

import pytest @pytest.fixture(scope="session") def log_global_env_facts(f): if pytest.config.pluginmanager.hasplugin("junitxml"): my_junit = getattr(pytest.config,"_xml",None) my_junit.add_global_property("ARCH","PPC") my_junit.add_global_property("STORAGE_TYPE","CEPH") @pytest.mark.usefixtures(log_global_env_facts.__name__) def start_and_prepare_env(): pass class TestMe(object): def test_foo(self): assert True

这会在生成的xml中的testsuite节点下的属性节中添加：

警告：
这依然是一个实验性的函数,其界面也可能会被更强大,更通用的未来版本所取代, 但也将保留该函数。

创建结果日志格式文件

3.0版本之后不推荐使用,计划在4.0版本中删除。

对于仍然需要类似函数的用户来说,可以使用提供测试数据流的pytest-tap插件。

如有任何疑虑,可以[建立一个问题(open an issue)。

pytest --resultlog=path

执行后,在path路径中会创建一个纯文本结果日志文件,这些文件可以用于：例如,在PyPy-test网页显示多个修订版的测试结果。

将测试报告发送到在线pastebin服务

为每条测试失败用例建立一个日志URL链接：

pytest --pastebin=failed
这会将测试运行信息提交到一个提供粘贴服务的远程服务器上,并为每条测试失败用例提供一个URL。 你可以像平常一样查看搜集结果,或者使用-x参数,来只显示某个特定的测试失败结果。

为整个测试执行日志建立一个URL链接：

pytest --pastebin=all
目前只实现了粘贴到http://bpaste.net网站的服务。

• 禁用插件

• 可以通过-p选项与前缀no:一起使用,来在运行时禁用加载特定插件。

  例如：要禁用加载从文本文件执行doctest测试的doctest插件,可以通过以下方式运行Pytest：

  pytest -p no:doctest

在Python代码调用pytest

版本2.0新增
你可以在Python代码中直接调用pytest:

Copy

pytest.main()
这就和你从命令行调用“pytest”一样。但它不会引发SystemExit,而是返回exitcode。 你可以传入选项和参数。

Copy

pytest.main(['-x','mytestdir'])
你可以为pytest.main指定其他插件：

Copy

# myinvoke.py文件内容 import pytest class MyPlugin(object): def pytest_sessionfinish(self): print("*** test run reporting finishing") pytest.main(["-qq"],plugins=[MyPlugin()])
运行它将显示已添加MyPlugin并调用其中的hook方法：

Copy

$ python myinvoke.py . [100%] *** test run reporting finishing

注意:

调用pytest.main()将会导入所有测试用例及其导入的其他模块。由于python导入系统的缓存机制,从同一进程后续调用pytest.main()不会反映调用之间对这些文件的更改。 因此,不建议从同一进程(例如,为了新运行测试)多次调用pytest.main()。

 感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取