python自动化测试 | pytest自动化测试框架断言assert(详细总结)

目录:导读

    • 前言
    • 一、Python原生的assert
    • 二、Pytest的assert优点
    • 三、Pytest 断言的用法
      • 1、断言字符串
      • 2、断言函数或者接口返回值
      • 3、断言集合类型
    • 四、Pytest断言Excepiton
    • 五、为断言添加自定义功能
    • 六、禁止Pytest的assert特性
    • 七、总结


前言

我们做自动化的时候经常把代码的重点放在逻辑层,或者数据层。其实我写代码主要精力也放在这边。

但是真正看一个测试脚本的水平高低,其实是看断言能力的高低,因为断言才能体现出真正的测试思维和测试经验。可是在实际工作中,相信有些同事可能和我一样对各式各样的断言类也是傻傻分不清楚。

我们主要工作目标是验证实际结果与预期结果是一致的,在自动化软件测试中,通过断言来实现这一目的。

Pytest中断言是通过Python原生的assert语句实现的,对Python原生的assert语句进行了优化,当发生断言失败时,错误信息更加丰富,方便测试时快速定位问题原因。

优秀的测试框架都提供了断言的方法,比如TestNG中的assertTrue、assertEquals、assertSame等等。

接下来我们就来详解一下断言。

一、Python原生的assert

Python中assert语句通常用来对代码进行必要的检查,确定某种情况一定发生,或者一定不会发生。

Python 的 assert 语句的语法是这样的:

assert expression1 ["," expression2]

expression1往往是一个条件表达式,如果条件表达式为True,则什么也不做,相当于执行了 pass 语句;

如果条件表达式为False,便会抛出异常 AssertionError,并返回具体的错误信息expression2。

看一个实际例子:

# content of my_assertion.py
def assertion():
    assert [1, 2, 3] == [1, 2, 4], "left is [1,2,3], right is [1,2,4]"

if __name__ == '__main__':
    assertion()

执行一下上面的代码看看结果:

$ python my_assertion.py 
Traceback (most recent call last):
  File "my_assertion.py", line 5, in <module>
    assertion()
  File "my_assertion.py", line 2, in assertion
    assert [1, 2, 3] == [1, 2, 4], "left is [1,2,3], right is [1,2,4]"
AssertionError: left is [1,2,3], right is [1,2,4]

可见,assert后面的条件表达式为False,抛出了AssertionError,并显示了错误信息left is [1, 2, 3], right is [1, 2, 4]。

不过,这里还有一点小小的缺憾。并没有明确告诉开发人员,条件判断失败的具体位置。需要开发人员自己对比才发现,==左边的第三个元素和右边的第三个元素不一样。

二、Pytest的assert优点

软件测试工作,经常会遇到断言失败的情况。如果每次失败,都需要测试工程师人眼去观察失败的具体原因和出错的位置,那将是非常耗时的。

强大的Pytest也考虑到了广大测试工程师面临的问题,因此对Python原生的assert语句进行了优化和改进,主要在是当断言失败时,将错误的具体信息和位置显示出来,让测试工程师对失败原因一目了然。

还是上面的例子,将其放入到测试用例(test_开头的函数)中:

# content of test_assertion.py
def test_assertion():
    assert [1, 2, 3] == [1, 2, 4], "left is [1,2,3], right is [1,2,4]"

执行测试用例后的信息输出如下:

    def test_assertion():
>       assert [1, 2, 3] == [1, 2, 4], "left is [1,2,3], right is [1,2,4]"
E       AssertionError: left is [1,2,3], right is [1,2,4]
E       assert [1, 2, 3] == [1, 2, 4]
E         At index 2 diff: 3 != 4
E         Full diff:
E         - [1, 2, 4]
E         ?        ^
E         + [1, 2, 3]
E         ?

是不是有种很爽的感觉?pytest明确显示出了错误的位置是index为2的元素左右不相等。这一点点小小的改进大大提高了测试失败时定位出错原因的效率。

在测试用例中执行assert语句,才有上面的效果,这是因为Pytest对assert语句进行了重写。在非测试用例中的assert语句,比如测试项目中的一些utils函数中,使用assert还是Python原生的效果。

三、Pytest 断言的用法

在自动化测试用例中,最常用的断言是相等断言,就是断言预期结果和实际结果是一致的。通常我们断言的预期结果和实际结果的数据类型是字符串、元组、字典、列表和对象。

Pytest通过assert和==能够完美支持对这些数据类型的相等断言。下面来介绍几种常见的数据类型的断言操作。

1、断言字符串

断言字符串非常简单,只需要将预期和实际的字符串,分别写在==两边,当发生断言失败时,将会列出第一个不相等元素的下标。下面是几个在实际测试工作中经常用到的几种字符串断言方式。

# content of test_assertions.py
class TestAssertions(object):
    def test_string_1(self):
        assert "spam" == "eggs"

    def test_string_2(self):
        assert "foo 1 bar" == "foo 2 bar"

    def test_string_3(self):
        assert "foo\nspam\nbar" == "foo\neggs\nbar"

    def test_string_4(self):
        def f():
            return "streaming"
        assert f().startswith('S')

执行一下这些测试用例,看下输出效果,核心部分如下:

============================================================ FAILURES ============================================================
__________________________________________________ TestAssertions.test_string_1 __________________________________________________

self = <test_assertions.TestAssertions object at 0x10911a4d0>

    def test_string_1(self):
>       assert "spam" == "eggs"
E       AssertionError: assert 'spam' == 'eggs'
E         - eggs
E         + spam

tests/test_assertions.py:3: AssertionError
__________________________________________________ TestAssertions.test_string_2 __________________________________________________

self = <test_assertions.TestAssertions object at 0x10911a890>

    def test_string_2(self):
>       assert "foo 1 bar" == "foo 2 bar"
E       AssertionError: assert 'foo 1 bar' == 'foo 2 bar'
E         - foo 2 bar
E         ?     ^
E         + foo 1 bar
E         ?     ^

tests/test_assertions.py:6: AssertionError
__________________________________________________ TestAssertions.test_string_3 __________________________________________________

self = <test_assertions.TestAssertions object at 0x10911c2d0>

    def test_string_3(self):
>       assert "foo\nspam\nbar" == "foo\neggs\nbar"
E       AssertionError: assert 'foo\nspam\nbar' == 'foo\neggs\nbar'
E           foo
E         - eggs
E         + spam
E           bar

tests/test_assertions.py:9: AssertionError
__________________________________________________ TestAssertions.test_string_4 __________________________________________________

self = <test_assertions.TestAssertions object at 0x109106a90>

    def test_string_4(self):
        def f():
            return "streaming"
    
>       assert f().startswith('S')
E       AssertionError: assert False
E        +  where False = <built-in method startswith of str object at 0x1090f7bb0>('S')
E        +    where <built-in method startswith of str object at 0x1090f7bb0> = 'streaming'.startswith
E        +      where 'streaming' = <function TestAssertions.test_string_4.<locals>.f at 0x10914b440>()

tests/test_assertions.py:15: AssertionError

再次感觉到测试结果一目了然。

2、断言函数或者接口返回值

对函数返回值、接口返回值的断言,应该是软件自动化测试中最常见的场景了。

这里以函数返回值的断言为例:

def test_function():
    def f():
        return [1, 2, 3]

    assert f() == [1, 2, 4]

执行这个测试用例,看下输出的错误信息:

============================================================ FAILURES ============================================================
_________________________________________________________ test_function __________________________________________________________

    def test_function():
        def f():
            return [1, 2, 3]
    
>       assert f() == [1, 2, 4]
E       assert [1, 2, 3] == [1, 2, 4]
E         At index 2 diff: 3 != 4
E         Full diff:
E         - [1, 2, 4]
E         ?        ^
E         + [1, 2, 3]
E         ?        ^

tests/test_assertions.py:22: AssertionError

可以看到,输出信息中包含了函数的返回值,并且显示了返回值与预期结果不一致的元素是index为2的元素。

3、断言集合类型

断言列表、元组、字典和集合等类型在测试中也是很常见的,对于具有嵌套的集合数据,pytest的assert依然能够精确地显示出来出错的位置。

比如下面这段测试用例代码:

class TestCollections(object):
    def test_dict(self):
        assert {"a": 0, "b": 1, "c": 0} == {"a": 0, "b": 2, "d": 0}

    def test_dict2(self):
        assert {"a": 0, "b": {"c": 0}} == {"a": 0, "b": {"c": 2}}

    def test_list(self):
        assert [0, 1, 2] == [0, 1, 3]

    def test_list2(self):
        assert [0, 1, 2] == [0, 1, [1, 2]]

    def test_set(self):
        assert {0, 10, 11, 12} == {0, 20, 21}

执行上面的测试代码,核心输出会是下面这样:

============================================================ FAILURES ============================================================
___________________________________________________ TestCollections.test_dict ____________________________________________________

self = <test_assertions.TestCollections object at 0x10b0d2d10>

    def test_dict(self):
>       assert {"a": 0, "b": 1, "c": 0} == {"a": 0, "b": 2, "d": 0}
E       AssertionError: assert {'a': 0, 'b': 1, 'c': 0} == {'a': 0, 'b': 2, 'd': 0}
E         Omitting 1 identical items, use -vv to show
E         Differing items:
E         {'b': 1} != {'b': 2}
E         Left contains 1 more item:
E         {'c': 0}
E         Right contains 1 more item:
E         {'d': 0}...
E         
E         ...Full output truncated (6 lines hidden), use '-vv' to show

tests/test_assertions.py:27: AssertionError
___________________________________________________ TestCollections.test_dict2 ___________________________________________________

self = <test_assertions.TestCollections object at 0x10b0d2a90>

    def test_dict2(self):
>       assert {"a": 0, "b": {"c": 0}} == {"a": 0, "b": {"c": 2}}
E       AssertionError: assert {'a': 0, 'b': {'c': 0}} == {'a': 0, 'b': {'c': 2}}
E         Omitting 1 identical items, use -vv to show
E         Differing items:
E         {'b': {'c': 0}} != {'b': {'c': 2}}
E         Full diff:
E         - {'a': 0, 'b': {'c': 2}}
E         ?                     ^
E         + {'a': 0, 'b': {'c': 0}}...
E         
E         ...Full output truncated (2 lines hidden), use '-vv' to show

tests/test_assertions.py:30: AssertionError
___________________________________________________ TestCollections.test_list ____________________________________________________

self = <test_assertions.TestCollections object at 0x10b0c1190>

    def test_list(self):
>       assert [0, 1, 2] == [0, 1, 3]
E       assert [0, 1, 2] == [0, 1, 3]
E         At index 2 diff: 2 != 3
E         Full diff:
E         - [0, 1, 3]
E         ?        ^
E         + [0, 1, 2]
E         ?        ^

tests/test_assertions.py:33: AssertionError
___________________________________________________ TestCollections.test_list2 ___________________________________________________

self = <test_assertions.TestCollections object at 0x10b0d6c10>

    def test_list2(self):
>       assert [0, 1, 2] == [0, 1, [1, 2]]
E       assert [0, 1, 2] == [0, 1, [1, 2]]
E         At index 2 diff: 2 != [1, 2]
E         Full diff:
E         - [0, 1, [1, 2]]
E         ?        ----  -
E         + [0, 1, 2]

tests/test_assertions.py:36: AssertionError
____________________________________________________ TestCollections.test_set ____________________________________________________

self = <test_assertions.TestCollections object at 0x10b0c1a50>

    def test_set(self):
>       assert {0, 10, 11, 12} == {0, 20, 21}
E       AssertionError: assert {0, 10, 11, 12} == {0, 20, 21}
E         Extra items in the left set:
E         10
E         11
E         12
E         Extra items in the right set:
E         20
E         21...
E         
E         ...Full output truncated (4 lines hidden), use '-vv' to show

tests/test_assertions.py:39: AssertionError

可以看到对于嵌套的字典和列表,也能显示出不一致数据的具体位置。对于过长的数据,默认是会被truncated,可以通过-vv显示全部信息。

除了相等断言,还可以进行大于、小于、不等于、in/not in等类型的断言。

对于对象的断言,可以进行对象的类型断言、对象本身的断言。这里就不在一一举例,只要记住断言是使用assert语句,使用方法与在Python语言中的使用方法完全一致就可以了。

四、Pytest断言Excepiton

除了支持对代码正常运行的结果断言之外,Pytest也能够对Exception和Warnning进行断言,来断定某种条件下,一定会出现某种异常或者警告。在功能测试和集成测试中,这两类断言用的不多,这里简单介绍一下。

对于异常的断言,Pytest的语法是:with pytest.raises(异常类型)
可以看下面的这个例子:

def test_zero_division():
    with pytest.raises(ZeroDivisionError):
        1 / 0

这个测试用例断言运算表达式1除以0会产生ZeroDivisionError异常。除了对异常类型进行断言,还可以对异常信息进行断言
比如:

def test_zero_division():
    with pytest.raises(ZeroDivisionError) as excinfo:
        1 / 0
    assert 'division by zero' in str(excinfo.value)

这个测试用例,就断言了excinfo.value的内容中包含division by zero这个字符串,这在需要断言具体的异常信息时非常有用。

对于Warnning的断言,其实与Exception的断言的用法基本一致。这里就不介绍了。

五、为断言添加自定义功能

通过前面的介绍,感觉Pytest的assert挺完美了,又简单又清晰。

但是在实际的测试工作中,还会遇到一些实际问题,比如在断言时,最好【自动】添加一些日志,避免我们在测试代码中手动加入日志。还有,最好能将断言的信息,【自动】集成到一些测试报告中,比如Pycharm+pytest+allure打造高逼格的测试报告。这样就能避免在每一个测试脚本中手动写很多重复的代码,从而让我们将更多的时间和精力放到编写测试用例上。

有了这样的想法,接下来看看如何实现。

Pytest中提供了一个Hook函数pytest_assertrepr_compare,这个函数会在测试脚本的assert语句执行时被调用。因此,可以实现这个函数,在函数中添加写日志和集成allure测试报告代码。

完整的代码如下所示:

# content of conftest.py
def pytest_assertrepr_compare(config, op, left, right):
    left_name, right_name = inspect.stack()[7].code_context[0].lstrip().lstrip('assert').rstrip('
').split(op)
    pytest_output = assertrepr_compare(config, op, left, right)
    logging.debug("{0} is\n {1}".format(left_name, left))
    logging.debug("{0} is\n {1}".format(right_name, right))
    with allure.step("校验结果"):
        allure.attach(str(left), left_name)
        allure.attach(str(right), right_name)
    return pytest_output

通过inspect获取调用栈信息,从中得到测试脚本中assert语句中op操作符两边的字符串名称,在日志和测试报告中会用到。

接着执行assertrepr_compare输出错误详细信息,这些信息就是在执行断言失败时的输出内容,pytest_assertrepr_compare函数没有对其做任何修改。接着添加了debug日志输出和allure测试报告的内容,最后再将assert的错误信息返回给调用处。

实现了这个函数后,测试脚本不需要做任何修改,依然是直接使用assert进行断言。但是能够自动记录日志和生成allure测试报告了。

六、禁止Pytest的assert特性

如果不想要Pytest中的assert的效果,而是希望保持Python原生的assert效果,只需要在执行测试是指定一个选项:

--assert=plain

这样所有测试用例中的assert都变成了Python原生的assert效果了,如果只想某一个模块保持Python原生的assert效果,那么就在对应模块的docstring中添加PYTEST_DONT_REWRITE字符串就好了,也就是在py文件的最上面添加类似下面的docstring内容:

"""
Disable rewriting for a specific module by adding the string:
PYTEST_DONT_REWRITE
"""

不过,我想应该没有人会这么干,因为Pytest的assert还是更好用一些。

七、总结

你可以一辈子不登山,但你心中一定要有座山,它会使你总往高处爬,它会使你总有个奋斗的方向,它会使你任何一刻抬起头,都能看到自己希望。

有了坚强的理由,一切顺风顺水,虚伪的懦弱,也会在真诚的诺言面前,显得苍白无力,无所适从。所以,坚强也就成了你人生中一道靓丽的风景!

热爱工作,投身事业,在这一过程中,抑制私心,陶冶人格,同时积累经验,提高能力。这样,才能获得周围人们的信任和尊敬。

你可能感兴趣的:(自动化测试,软件测试,测试开发,pytest,自动化测试,软件测试,python自动化测试,测试开发)