高大上的测试报告-Allure开源框架探索

前言

《Rest Assured+TestNg实现数据驱动的接口测试》一文，笔者使用ReportNg默认的报告模板，虽说自定义模板后能满足基本诉求，但是仍显得不够档次，遂想用其他优秀的report框架替换之。久闻Allure大名，特抽时间做了一番探索。

Allure介绍

Allure框架是一种灵活的轻量级多语言测试报告工具，它不仅能够以简洁的web报告形式显示已测试的内容，而且允许参与开发过程的每个人从测试的日常执行中提取最大限度的有用信息。

多语言：

Java
Python
JavaScript
Ruby
Groovy
PHP
.Net
Scala

一睹Allure风采

在展开Allure详述前，先上一份测试报告，报告主要包含总览、类别、测试套件、图表、时间刻度、功能、包等7大部分，支持自定义诸多信息，包括附件添加、缺陷链接、案例链接、测试步骤、Epic、Feature、Story、Title、案例级别等，相当强大。

总览

类别

测试套

图表

时间刻度

功能

Allure安装

以windows为例，其他系统的可参考官网。

下载
运行bin目录下的allure.bat
添加安装路径\allure-2.7.0\bin至环境变量PATH
安装配置成功后，使用以下命令确保Allure可用。

D:\IntelliJ_IDEA_workspace\restassured>allure --version
2.7.0

案例

pom.xml配置



    4.0.0

    org.test.restassured
    restassured
    1.0-SNAPSHOT

    
        1.8.10
        
        UTF-8
    

    
    
        io.rest-assured
        rest-assured
        3.1.0
        test
    

    
        org.testng
        testng
        6.11
    

    
        net.sourceforge.jexcelapi
        jxl
        2.6.12
    

    
    
        org.uncommons
        reportng
        1.1.4
        test
        
            
                org.testng
                testng
            
        
    

    
        ru.yandex.qatools.allure
        allure-testng-adaptor
        1.3.6
        
            
                org.testng
                testng
            
        
    

    
    
        com.google.inject
        guice
        4.0
    

    
        io.qameta.allure
        allure-testng
        2.0-BETA14
        test
     

    

    
    
        
        
            org.apache.maven.plugins
            maven-surefire-plugin
            2.5
            
                
                    
                        usedefaultlisteners
                        false
                    
                    
                        listener
                        org.uncommons.reportng.HTMLReporter,org.uncommons.reportng.JUnitXMLReporter
                    
                
                target/
                always
            
        

        
            org.apache.maven.plugins
            maven-surefire-plugin
            2.20
            
                
                    -javaagent:"${settings.localRepository}/org/aspectj/aspectjweaver/${aspectj.version}/aspectjweaver-${aspectj.version}.jar"
                
                    
                    
                        
                            allure.results.directory
                            ./target/allure-results
                        
                    
            
            
                
                    org.aspectj
                    aspectjweaver
                    ${aspectj.version}
                
            
        
        
            org.apache.maven.plugins
            maven-compiler-plugin
            
                7
                7

案例详述

代码结构

示例代码

import com.demo.data.CasesDataProvider;
import io.qameta.allure.*;
import io.restassured.RestAssured;
import io.restassured.path.json.JsonPath;
import io.restassured.response.Response;
import org.testng.Assert;
import org.testng.annotations.BeforeClass;
import org.testng.annotations.Test;
import ru.yandex.qatools.allure.annotations.Title;

import java.io.IOException;
import java.net.URISyntaxException;
import java.net.URL;
import java.nio.file.Paths;

import static io.restassured.RestAssured.given;
import static java.lang.String.format;
import static java.nio.file.Files.readAllBytes;
import static org.testng.Assert.fail;

@Epic("Allure Epic")
@Feature("Allure Feature")
class RunTest {
    @BeforeClass(description = "测试环境参数")
    public void setUp() {
        RestAssured.baseURI = "http://10.232.138.107";
        RestAssured.basePath = "v1/gateway.do";
        RestAssured.port = 8187;
    }

    @Test
    @Story("failedTest")
    @Description("failedTest Description")
    public void failedTest(){
        Assert.assertEquals(2,3);
    }

    @Test(dependsOnMethods = {"failedTest"})
    @Story("skipTest")
    @Description("skipTest Description")
    public void skipTest(){
        Assert.assertEquals(2,2);
    }

    @Story("短信发送Story")
    @Description("描述发送短信接口")
    @Issue("123")
    @TmsLink("test-123")
    @Title("Tomandydddddd")
    @Severity(SeverityLevel.BLOCKER)
    @Test(dataProvider = "casesProvider", dataProviderClass = CasesDataProvider.class)
    public void runCases(String caseNo, String testPoit, String preResult, String YorN, String tableCheck, String appId, String merchantId, String api, String version,
                         String phone, String bizTransaction, String acctType) throws IOException, URISyntaxException {

        String bodyString = "{\n" +
                "\t\"appId\":\"" + appId + "\",\n" +
                "\t\"api\":\"" + api + "\",\n" +
                "\t\"data\":{\n" +
                "\t\t\"merchantId\":\"" + merchantId + "\",\n" +
                "\t\t\"bizTransaction\":\"" + bizTransaction + "\",\n" +
                "\t\t\"phone\":\"" + phone + "\",\n" +
                "\t\t\"acctType\":\"" + acctType + "\"\n" +
                "\t\t},\n" +
                "\t\"version\":\"" + version + "\"\n" +
                "}\n";

        //测试报告展现 请求报文
        requestBody(RestAssured.baseURI+":"+RestAssured.port+"/"+RestAssured.basePath,bodyString);

        Response response = given()
                .contentType("application/json;charset=UTF-8")
                .request()
                .body(bodyString)
                .post();

        response.prettyPrint();//格式化参数

        //断言
        String json = response.asString();
        JsonPath jp = new JsonPath(json);

        //测试报告展现 请求报文
        respondBody(json);

        //添加附件
        addAttachment();

        if (response.statusCode() == 200) { //请求成功
            Assert.assertEquals(jp.get("message").toString(), preResult);
        } else {
            Assert.assertEquals(jp.get("data.errMsg").toString(), preResult);
        }
    }

    @Attachment(value = "附件",type = "properties")
    public byte[] addAttachment() throws IOException, URISyntaxException {
        return getSampleFile("allure.properties");
    }

    private byte[] getSampleFile(String fileName) throws URISyntaxException, IOException {
        URL resource = getClass().getClassLoader().getResource(fileName);
        if(resource == null){
            fail(format("Couldn't find resource '%s'", fileName));
        }

        return readAllBytes(Paths.get(resource.toURI()));
    }

    @Step
    public void requestBody(String URL,String Body){
        //报告展现请求报文
    }

    @Step
    public void respondBody(String Respond){
        //报告展现响应报文
    }
}

Allure提供了以下常用注解（未列出部分请访问官网了解），具体用法如下。

@Epic
敏捷的术语，定义史诗，往下再分Feature和Story。
@Feature
敏捷的术语，定义功能模块，往下是Story。
@Story
敏捷的术语，定义用户故事。
@Title
定义用例名称。
@Description
定义用例描述。
@Issue
定义缺陷链接。可结合@Link使用，也可以结合配置文件使用。配置文件放到resource目录下，Allure 会替换{}为对应注解的值。

allureProperties

allure.results.directory=allure-results
allure.link.mylink.pattern=http://xxx/mylink/{}
allure.link.issue.pattern=http://xxx/issue/{}
allure.link.tms.pattern=http://xxx/tms/{}

@TmsLink
与@Issue类似用法，定义案例链接。
@Link
定义一个链接，在测试报告展现。
@Severity
定义用例的级别，主要有BLOCKER,CRITICAL,MINOR,NORMAL,TRIVIAL等几种类型，默认是NORMAL。使用方法如下。

@Severity(SeverityLevel.TRIVIAL)

@Attachment
添加已有附件或者新建附件后添加至测试报告。

//添加allure.properties附件至测试报告。
@Attachment(value = "附件",type = "properties")
    public byte[] addAttachment() throws IOException, URISyntaxException {
        return getSampleFile("allure.properties");
    }

    private byte[] getSampleFile(String fileName) throws URISyntaxException, IOException {
        URL resource = getClass().getClassLoader().getResource(fileName);
        if(resource == null){
            fail(format("Couldn't find resource '%s'", fileName));
        }

        return readAllBytes(Paths.get(resource.toURI()));
    }

//创建附件，附件内容为Tomandy
@Attachment
    public String makeAttach() {
        return "Tomandy";
    }

其他

前面报告“总览”展现的“环境”和“类别”中的分类可以通过以下方式实现。

“环境”展现：
创建environment.properties，放到target/allure-results目录下，然后再生成测试报告。
environment.properties内容：

URL=10.232.138.107
PORT=8187

“类别”展现：
默认的类别有Product defects (failed tests)和Test defects (broken tests)两种。可以自定义扩展，方法与第一点的“环境”类似，在生成测试报告前，将categories.json文件放到target/allure-results目录，然后再生成报告。

类别

[{
        "name": "Ignored tests",
        "matchedStatuses": ["skipped"]
    },
    {
        "name": "Infrastructure problems",
        "matchedStatuses": ["broken", "failed"],
        "messageRegex": ".*bye-bye.*"
    },
    {
        "name": "Outdated tests",
        "matchedStatuses": ["broken"],
        "traceRegex": ".*FileNotFoundException.*"
    },
    {
        "name": "Product defects",
        "matchedStatuses": ["failed"]
    },
    {
        "name": "Test defects",
        "matchedStatuses": ["broken"]
    }
]

官网对categories.json的解释如下：

name: (mandatory) category name
matchedStatuses:(optional) list of suitable test statuses. Default ["failed", "broken", "passed", "skipped", "unknown"]
messageRegex: (optional) regex pattern to check test error message. Default ".*"
traceRegex: (optional) regex pattern to check stack trace. Default ".*"

测试套件
通过xml方式运行案例的话，报告的“测试套件”会分类展现相应内容，如下图所示。

测试套件

testNG.xml

通过xml方式执行案例话，需在pom.xml文件加上以下内容。

        
            org.apache.maven.plugins
            maven-surefire-plugin
            2.19
            
                
                    
                    src/test/java/testNG.xml

报告生成命令

执行以下命令后，生成测试报告，并使用默认浏览器打开。

cd maven项目路径
mvn clean test
allure serve target/allure-results

Jenkins Allure集成

持续集成离不开Jenkins，Allure支持与Jenkins的集成，详情访问Allure官网了解。

jenkins配置

jenkins配置

jenkins配置

参考资料

Allure官网
allure-examples

高大上的测试报告-Allure开源框架探索

前言

Allure介绍

一睹Allure风采

Allure安装

案例

pom.xml配置

案例详述

其他

报告生成命令

Jenkins Allure集成

参考资料

你可能感兴趣的:(高大上的测试报告-Allure开源框架探索)