PS.本系列的内容主要来自HttpRunner官方文档,因为个人习惯,在学习的时候会写笔记用以加深记忆(cv大法),所以有本系列的笔记。
https://cn.httprunner.org/
测试用例结构
一、概念
- 测试用例集/
testsuite
:对应一个包含单个或多个测试用例文件的文件夹(测试用例可以是json、yaml) - 测试用例/
testcase
:对应一个包含单个或多个测试步骤的文件(文件可以是json、yaml) - 测试步骤/
teststep
:对应测试用例文件中的一个test
,其中描述单个接口测试的全部内容:包括请求内容、解析响应结果、校验结果等
PS.在单个测试用例,它的数据存储结构是list of dict
的形式,里面可能包含一个全局配置项config
和若干个测试步骤test
二、变量空间作用域/context作用域
在一个测试用例中,划分了两层变量空间作用域:
-
config
:整个测试用例的全局配置项,作用域为所在的测试用例 -
test
:对应的是测试步骤,运行时从前到后,依次执行各个测试步骤
1.测试步骤中的变量空间,会继承或覆盖config
中定义的内容
2.如果变量在config
定义了,在test
中却没有定义,那么该test
会继承config
所定义的变量值
3.如果变量在config
和test
中都定义了,那么当前test
会使用自己所定义的变量值 - 各个
test
的变量空间是相互独立,互不影响的 - 如果需要在多个
test
中传递参数值,就需要用到extract
关键字,并且只能从前往后进行传递(解决了数据依赖问题)
三、全局变量config
的字段介绍
key | 必需? | 类型 | 介绍 |
---|---|---|---|
name | 是 | string | 测试用例的名称,会在测试报告中作为标题显示 |
variables | 否 | list / dict | 定义的全局变量,作用域是当前测试用例 |
parameters | 否 | list / dict | q全局参数,作用域是当前测试用例,用于实现数据化驱动 |
request | 否 | dict | request的公共参数,作用域是当前测试用例,常用参数有base_url、headers |
官方例子(json):
"config": {
"name": "testcase description",
"parameters": [
{"user_agent": ["iOS/10.1", "iOS/10.2", "iOS/10.3"]},
{"app_version": "${P(app_version.csv)}"},
{"os_platform": "${get_os_platform()}"}
],
"variables": [
{"user_agent": "iOS/10.3"},
{"device_sn": "${gen_random_string(15)}"},
{"os_platform": "ios"}
],
"request": {
"base_url": "http://127.0.0.1:5000",
"headers": {
"Content-Type": "application/json",
"device_sn": "$device_sn"
}
},
"output": [
"token"
]
}
四、测试步骤test
的字段介绍
Key | 必需? | 类型 | 备注 |
---|---|---|---|
name | 是 | string | 测试步骤的名称,会在测试报告中座位测试步骤的名称显示 |
request | 是 | dict | http请求的详细内容,具体参数可见python.request |
variables | 否 | list / dict | 变量,作用域为所在test |
extract | 否 | list | 从当前请求的响应结果中提取参数,并保存在参数变量中(比如token ),在后续测试用例就可以通$变量 (比如$token )进行引用 |
validate | 否 | list | 结果校验项,对当前请求的响应结果进行判断,作为当前测试用例是否通过的依据 |
setup_hooks | 否 | list | 在发送请求之前先执行hook 函数,主要用于准备工作 |
teardown_hooks | 否 | list | 在发送请求值后执行hook 函数,主要用于测试完毕后的清理工作 |
api | 否 | str | 引用接口定义,填写对应接口定义文件的绝对路径或相对路径,推荐使用相对路径,根路径是 debugtalk.py 所在的目录路径。 |
testcase | 否 | str | 引用其它测试用例,填写测试用例的绝对路径或相对路径,推荐使用相对路径,根路径是debugtalk.py 所在的目录路径。 |
output | 否 | str / 其他? | 当前测试步骤输出的值,比如输出token:output: - session_token |
1.extract
根据响应结果的数据结果,再采用不同的提取方式:
- 响应结果为
json
结构,则采用.
来表示层级关系,比如说headers.Content-Type
- 响应结果为
text/html
结构,则采用正则表达式来提取 - 详情见:ApiTestEngine
2.validate
支持下面两种格式(yaml
):
# 1
- 判断规则:"需判断的属性key","预期中的属性value"
# 2
-{check:"需判断的属性key", comparator:"判断规则", expect:"预期中的属性value"}
- 判断规则/
compatator
1.eq
/equals
/==
/is
:等于
2.lt
/less_than
:小于
3.le
/less_than_or_equals
:小于等于
4.gt
/greater_than
:大于
5.ge
/greater_than_or_equals
:大于等于
6.str_eq
/string_equals
:字符串相等
7.len_eq
/count_eq
/length_equals
:长度等于
8.len_gt
/length_greater_than
:长度大于
9.len_ge
/length_greater_than_or_equals
:长度大于等于
10.len_lt
:长度小于
11.len_le
:长度小于等于
12.contains
:包含
13.ne
/not_equals
:结果不相同
14.type_match
:类型不相等
15.startswith
:以xx开头
16endswith
:以xx结尾
3.预期结果/expect
顾名思义,填写预期结果即可。是json层级关系,比如说请求的响应内容中code
的值是0,那么“需判断的属性key是”content.code
,“预期中的属性value”是:0
五、hooks
/钩子
HttpRunner
的钩子机制分为两个层面:
- 测试用例层面/
testcase
- 测试步骤层面/
teststep
1.测试用例层面/testcase
在测试用例的config
中提供了setup_hooks
和teardown_hooks
这两个关键字
-
setup_hooks
:在整个测试用例开始执行前,先执行setup_hooks
所指定的函数,用于测试开始前的准备工作 -
teardown_hooks
:在整个测试用例结束之后,再执行teardown_hooks
所指定的函数,用于测试结束后的清理工作
- config:
name: basic test with httpbin
request:
base_url: http://127.0.0.1:3458/
setup_hooks:
- ${hook_print(setup)}
teardown_hooks:
- ${hook_print(teardown)}
2.测试步骤层面/teststep
同样的,在测试步骤的test
中提供了setup_hooks
和teardown_hooks
这两个关键字
-
setup_hooks
:在当前测试步骤开始执行前,先执行setup_hooks
所指定的函数,用于准备工作;也可以实现对请求的request
内容进行预处理(比如添加一些请求头之类的) -
teardown_hooks
:在当前测试步骤结束之后,再执行teardown_hooks
所指定的函数,用于清理工作;也可以实现对响应的response
进行修改(比如进行解密处理)
"test": {
"name": "get token with $user_agent, $os_platform, $app_version",
"request": {
"url": "/api/get-token",
"method": "POST",
"headers": {
"app_version": "$app_version",
"os_platform": "$os_platform",
"user_agent": "$user_agent"
},
"json": {
"sign": "${get_sign($user_agent, $device_sn, $os_platform, $app_version)}"
}
},
"validate": [
{"eq": ["status_code", 200]}
],
"setup_hooks": [
"${setup_hook_prepare_kwargs($request)}",
"${setup_hook_httpntlmauth($request)}"
],
"teardown_hooks": [
"${teardown_hook_sleep_N_secs($response, 2)}"
]
}
3.hook
函数/勾子函数的编写
hook
函数需要在debugtalk.py
文件中,依旧是采用$(func($a, $b))
的形式去调用hook
函数
- 测试用例层面/
testcase
的hook
函数
在这层面的自定义钩子函数,可以通过自定义参数的方式来实现(就是和普通函数一样,无要求) - 测试步骤层面/
teststep
的hook
函数
在这层面的自定义钩子函数,除了可以传入自定义参数以外,还可以传入请求$request
和响应$response
def hook_print(msg):
print(msg)
4.测试步骤层面的setup_hooks
除了可以传入自定义参数以外,还可以传入$request
,对应着当前测试步骤$request
的所有内容。并且因为$request
是可变参数类型/dict
,所以可以通过request["key"]
的方式,灵活获取request
的信息。这让在对请求参数进行预处理时更加方便。
- 官网例子:(疑问:无需返回处理后的请求么?)
def setup_hook_prepare_kwargs(request):
"""
根据请求的Content-Type来对请求的data进行加工处理
"""
if request["method"] == "POST":
content_type = request.get("headers", {}).get("content-type")
if content_type and "data" in request:
# if request content-type is application/json, request data should be dumped
if content_type.startswith("application/json") and isinstance(request["data"], (dict, list)):
request["data"] = json.dumps(request["data"])
if isinstance(request["data"], str):
request["data"] = request["data"].encode('utf-8')
def setup_hook_httpntlmauth(request):
"""
HttpNtlmAuth权限授权。
"""
if "httpntlmauth" in request:
from requests_ntlm import HttpNtlmAuth
auth_account = request.pop("httpntlmauth")
request["auth"] = HttpNtlmAuth(
auth_account["username"], auth_account["password"])
5.测试步骤层面的teardown_hooks
同样的,在测试步骤层面的teardown_hooks
函数中,除了可以传入自定义参数以外,还可以传入response
,这个参数对应当前测试步骤的请求的响应,也就是requests.resposne
。
经常用于对响应内容进行处理,比如说解密、参数运算等,然后再进行参数提取extract
和参数校验validate
- 比如:首先通过下面这个函数,把响应结果的状态码和头部信息进行修改;然后再进行校验
def alter_response(response):
response.status_code = 500
response.headers["Content-Type"] = "html/text"
- test:
name: alter response
request:
url: /headers
method: GET
teardown_hooks:
- ${alter_response($response)}
validate:
- eq: ["status_code", 500]
- eq: ["headers.content-type", "html/text"]