六、Allure测试报告定制

Allure介绍

allure是一个轻量级，灵活的,支持多语言的测试报告工具;多平台的,奢华的report框架;
可以为dev/qa提供详尽的的测试报告、测试步骤、log;也可以为管理理层提供high level统计报告;
Java语言开发的,支持pytest，JaveScriipt，PHP， ruby等
可以集成到Jenkins

Allure报表预览

预览网址：https://demo.qameta.io/allure/#

image.png

Allure安装

windows / mac通用安装方法
- https://github.com/allure-framework/allure2/releases下载allure2.7.zip包
- 解压->进入bin目录->运行allure.bat
- 把bin目录加入PATH环境变量
Mac可以使用brew安装：
brew install allure
官网：http://allure.qatools.ru/
文档：https://docs.qameta.io/allure/#
验证安装：allure --version
查看帮助文档：allure

针对 Pytest 测试框架安装

针对 Pytest 测试框架还需安装 allure-pytest 第三方库：pip install allure-pytest
用法：pytest --alluredir=/tmp/my_allure_results，将测试报告文件存放到/tmp/my_allure_results 目录下
查看报告：allure serve /tmp/my_allure_results

测试文件 test_pytest.py 文件如下：

import pytest

def test_success():
    """this test succeeds"""
    assert True


def test_failure():
    """this test fails"""
    assert False


def test_skip():
    """this test is skipped"""
    pytest.skip('for a reason!')


def test_broken():
    raise Exception('oops')

在pycharm的terminal中切换到当前路径，运行pytest test_allure.py --alluredir=./results/1，就能在目录中生成测试报告文件如下，一个测试用例对应一个 .json 文件：

image.png
在terminal中运行allure_practice>allre serve ./results/1 就能自动打开网页查看报告

image.png

使用 Allure2 生成精美报告

安装allure-pytest插件
- pip install allure-pytest
运行：
- 在测试执行期间收集结果
  - pytest [测试文件] -s -q --alluredir=./ result/(--alluredir 这个选项用于指定存储测试结果的路径)
查看测试报告
- 方式一：测试完成后查看实际报告，在线看报告，会直接打开默认浏览器展示当前报告
  - allure serve ./result/ (注意这里的serve书写)
- 方式二：从结果生成报告，这是一个启动 tomcat 的服务，可以永久打开，需要两个步骤：生成报告，打开报告
  - 生成报告
    - allure generate ./result/ -o ./report/ --clean（注意：覆盖路径加 --clean )
  - 打开报告
    - `alure open -h 127.0.0.1 -p 8883 ./report/
关闭报告：在terminal中使用ctrl+c

使用上面的例子

在pycharm的terminal中切换到当前路径，运行pytest test_allure.py --alluredir=./results/1
在terminal 中运行allure generate ./results/1 -o ./report/1 --clean，会在report目录下生成报告文件如下，包括了.json .txt .html .js .css .ico等文件：

image.png

Allure常用特性

场景:
- 希望在报告中看到测试功能，子功能或场景，测试步骤，包括测试附加信息
解决:
- @Feature，@story，@step，@attach
步骤:
- import allure
- 功能上加 @allure.feature('功能名称')
- 子功能上加@allure.story('子功能名称')
- 步骤上加@allure.step('步骤细节')
- @allure.attach('具体文本信息)，需要附加的信息，可以是数据，文本，图片，视频，网页
- 如果只测试登录功能运行的时候可以加限制过滤:
  - pytest [文件名] --allure_features '购物车功能' --allure-stories '加入购物车' (注意这里—allure_features中间是下划线)
实例test_feature_story.py代码如下

import pytest
import allure

# 标识整个模块都用来进行登录
@allure.feature('登录模块')
class TestLogin():

    @allure.story('登录成功')
    def test_login_success(self):
        print("这是登录：测试用例，登陆成功")
        pass

    @allure.story('登录失败')
    def test_login_fail(self):
        print("这是登录：测试用例，登陆失败")
        pass

    @allure.story('用户名缺失')
    def test_login_lostname(self):
        print("用户名缺失")
        pass

    @allure.story('密码缺失')
    def test_login_lostsec(self):

        # 对一些关键步骤进行标记
        with allure.step("点击用户名"):
            print("输入用户名")
        with allure.step("点击密码"):
            print("输入密码")
        print("点击登录")
        with allure.step("点击登录之后登录失败"):
            assert "1" == 1
            print("登录失败")
        pass

    @allure.story("登录失败")
    def test_login_failure(self):
        pass

Terminal中输入pytest test_feature_story.py --alluredir=./results/2，生成报告文件
Terminal中输入allure serve ./results/2，打开测试报告

image.png

image.png
指定 feature 运行，执行pytest -v test_feature_story.py --allure-features '登录模块'，-v 为打印详细信息
指定 story 运行，执行pytest -v test_feature_story.py --allure-stories '登录成功'

Allure特性-feature/story

注解@allure.feature 与@allure.store的关系
- feature相当于一个功能，一个大的模块，将case分类到某个feature中，报告中Behaviors 中显示，相当于testsuite
story相当于对应这个功能或者模块下的不同场景、分支功能，属于feature之下的结构，报告在
features中显示，相当于testcase
feature与story类似于父子关系

Allure特性-step

测试过程中每个步骤，一般放在具体逻辑方法中
可以放在关键步骤中，在报告中显示
在app, web自动测试当中，建议每切换到一个新的页面当做一个step用法:
- @allure.step() 只能以装饰器的形式放在类或者方法上面
- with allure.step() 可以放在测试用例方法里面，但测试步骤的代码需要被该语句包含

Allure特性-issue，testcase

关联测试用例（可以直接给测试用例的地址链接)
关联bug
- 执行的时候需要加个参数
  - `--allure-link-pattern=issue:http://www.mytesttracker.com/issue/{}

加入链接示例：@allure.link("www.baidu.com")

import allure

@allure.link("www.baidu.com")
def test_with_link():
    print("这是一条加了链接的测试")
    pass

执行结果报告

image.png

给链接取别名：@allure.link("www.baidu.com", name="百度一下")

import allure

@allure.link("www.baidu.com", name="百度一下")
def test_with_link():
    print("这是一条加了链接的测试")
    pass

执行结果报告

image.png

加入测试用例的链接：@allure.testcase(TST_CASE_LINK, '登录用例')

import allure

TST_CASE_LINK ='https://github.com/qameta/allure-integrations/issues/8#issuecomment-268313637'
@allure.testcase(TST_CASE_LINK, '登录用例')
def test_with_testcase_link():
    print("这是一条测试用例的链接，链接到测试用例里面")
    pass

执行结果报告

image.png

通过传入的bugID生成bug链接：@allure.issue('BugID', 链接名')，运行时指定链接地址

import allure

# 测试bug链接，前面为bugID
"""
在运行时加入bug链接： --allure-link-pattern=issue:http://www.mytesttracker.com/issue/{}
中括号里面就会传bugID
"""
@allure.issue('140', '这是一个issue')
def test_with_issue_link():
    pass

在terminal中运行时需要加入bug链接：pytest test_link_issue.py --allure-link-pattern=issue:http://www.mytesttracker.com/issue/{} --alluredir=./results/6，花括号内会自动传入BugID
报告运行结果

image.png

按重要性级别进行一定范围的测试

场景
- 通常测试有P0、冒烟测试、验证上线测试。按重要性级别来分别执行的，比如上线要把主流程和重要模块都跑一遍
解决:
- 通过附加py.test.mark标记
- 通过allure.feature，allure.story
- 也可以通过allure.severity来附加标记
  - 级别：Trivial不重要，Minor不太重要，Normal正常问题，Critical严重，Blocker阻塞
步骤:
- 在方法、函数和类上面加
  - @allure.severity(allure.severity_level.TRIVIAL)
- 执行时
  - py.test -s -v [文件名] --allure-severities norma,critical
缺陷等级

名称	描述
Blocker级别	中断缺陷（客户端程序无响应，无法执行下一步操作)
Critical级别	临界缺陷（功能点缺失)
Normal级别	普通缺陷（数值计算错误)
Minor级别	次要缺陷（界面错误与UI需求不符）
Trivial级别	轻微缺陷（必输项无提示，或者提示不规范）

执行严重级别为 normal和critical的测试用例：pytest -v test_severity.py --allure-severities normal,critical --alluredir=./results/7

import allure
def test_with_no_severity_label():
    pass

@allure.severity(allure.severity_level.TRIVIAL)
def test_with_trivial_severity():
    pass

@allure.severity(allure.severity_level.NORMAL)
def test_with_normal_severity():
    pass

@allure.severity(allure.severity_level.NORMAL)
class TestClassWithNormalSeverity(object):
    def test_inside_the_normal_severity_test_class(self):
        pass

    @allure.severity(allure.severity_level.CRITICAL)
    def test_inside_the_normal_severity_test_class_with_overriding_critical_severity(self):
        pass

执行结果报告

image.png

在pycharm中配置默认的allure参数

配置以后直接鼠标右键-> run 'pytest for ...' 即可

image.png

前端自动化测试-截图

场景:
- 前端自动化测试经常需要附加图片或html，在适当的地方，适当的时机截图
解决:
- @allure.attach显示许多不同类型的提供的附件，可以补充测试，步骤或测试结果。
步骤:
- 在测试报告里附加网页:
  - allure.attach(body(内容), name, attachment_type, extension)
  - allure.attach('首页，'这是错误页的结果信息',allure.attachment_type.HTML)
- 在测试报告里附加图片:
  - allure.attach.file(source, name, attachment_type, extension)
  - allure.attach.file("./ result/b.png" , attachment_type=allure.attachment_type.PNG)
代码示例

import allure
import pytest

def test_attach_text():
    allure.attach("这是一个纯文本", attachment_type=allure.attachment_type.TEXT)

def test_attach_htlm():
    allure.attach("这是一段html body块", 'html测试块', attachment_type=allure.attachment_type.HTML)

def test_attach_photo():
    allure.attach(r"D:\Programs\DevOps\Python_Practice\allure_practice\resource\1.png",
                  name="这是一个图片", attachment_type=allure.attachment_type.PNG)

运行结果报告

image.png
运行结果图片展示出来，是因为调用的方法allure.attach(r"D:\Programs\DevOps\Python_Practice\allure_practice\resource\1.png", name="这是一个图片", attachment_type=allure.attachment_type.PNG)有误，应该调用allure.attach.file() 方法
修改后的代码：

import allure
import pytest

def test_attach_text():
    allure.attach("这是一个纯文本", attachment_type=allure.attachment_type.TEXT)

def test_attach_htlm():
    allure.attach("这是一段html body块", 'html测试块', attachment_type=allure.attachment_type.HTML)

# 调用图片要使用file方法
def test_attach_photo():
    allure.attach.file(r"D:\Programs\DevOps\Python_Practice\allure_practice\resource\1.png",
                  name="这是一个图片", attachment_type=allure.attachment_type.PNG)

修改后的运行结果

image.png

实战：pytest+allure+selenium

代码

import time
import allure
import pytest
from selenium import webdriver

@allure.testcase("http://www/github.com", "测试用例地址")
@allure.feature("百度搜索")
@pytest.mark.parametrize('test_data', ['allure', 'pytest', 'unittest'])
def test_steps_demo(test_data):

    with allure.step("打开百度网页"):
        driver = webdriver.Chrome()
        driver.maximize_window() # 浏览器最大化
        driver.get("http://www.baidu.com")

    with allure.step("输入搜索词"):
        driver.find_element_by_id("kw").send_keys(test_data)
        time.sleep(2)
        driver.find_element_by_id("su").click()
        time.sleep(2)

    with allure.step("保存图片"):
        driver.save_screenshot("./resource/b.png")
        allure.attach.file("./resource/b.png", attachment_type=allure.attachment_type.PNG)
        allure.attach('首页','Attach with HTML type',allure.attachment_type.HTML)

    with allure.step("关闭浏览器"):
        driver.quit()

运行结果

image.png

六、Allure测试报告定制

Allure介绍

Allure报表预览

Allure安装

针对 Pytest 测试框架安装

使用 Allure2 生成精美报告

使用上面的例子

Allure常用特性

Allure特性-feature/story

Allure特性-step

Allure特性-issue，testcase

按重要性级别进行一定范围的测试

在pycharm中配置默认的allure参数

前端自动化测试-截图

实战：pytest+allure+selenium

你可能感兴趣的:(六、Allure测试报告定制)