目录
服务端测试思想
经济学⻆度
⾦字塔模型
技术⻆度
HTTP协议
三次握⼿
HTTP完整请求
通信模式
URI信息
请求⽅法
请求状态码
请求/响应头
常⽤请求数据格式
COOKIE请求流程
SESSION请求流程
TOKEN请求流程
API测试维度
单接⼝测试
多个接⼝测试
开放平台API
Requests实战
Requests概述
GET⽅法实战
POST⽅法实战
SESSION处理
token实战
Requests封装
轻量级测试框架-Tavern框架
Tavern基本使⽤
MockServer
moco
mock
在软件测试中,⼀般性的我们建议测试越早投⼊进去,最后它的成本⽐较低,这是因为越早期的投⼊进去进⾏整个测试,能够发现底层架构的设计是否合理,以及能够尽早的发现问题,从⽽更快的解决问题,这样修复问题它的成本⽐较低。如发现的问题可能需要颠覆⽬前的架构设计和MQ中间件的交互,那么这个时候,这个问题在早期发现的时候,修复它的成本是很低的,如果到后⾯产品集成到⼀起发现了该问题,修复它的成本是⾮常⾼的。
⾦字塔的模型是软件测试⾥⾯最具有指导思想的模型之⼀,在这个模型⾥⾯,它通过更加直观的⽅式把软件测试从宏观的思维分为三层,最底层的是单元测试,中间层是API测试,最上层是UI⾃动化测试,如下所示:
在⾦字塔的模型中,在测试分为三个维度来进⾏思考,分别是单元,服务和UI三个层级。这地⽅主要的说下 服务层的测试,在服务层的测试维度中,主要针对的是业务接⼝的测试,来验证接⼝功能是否完整,如内部逻辑, 异常处理。这样的⽬的是验证接⼝它是否稳定,所以接⼝的测试相对⽽⾔⽐较容易⽽且更加⾼效,测试⽤例的维护成 本也低。有很多主流的测试⼯具都可以做接⼝测试,如PostMan,JMeter,SoupUi等,除了⼯具还有在Python语⾔中 很多的第三⽅的库都是可以来做接⼝测试的,如:urllib,requests,aiohttp等。在新的基于微服务的架构模型中,我们会针对⾦字塔的测试模型做⼀个微型的调整,具体调整为如下:
在如上这个测试模型中,在⾦字塔的底部从下往上移动,应该投⼊的测试越来越少,这也符合软件测试经济学的成本思想。应该更多精⼒的投⼊更多底层的测试。底层的测试将主要就包含了在微服务的架构模型中,针对单个服务的测试,多个服务多实例的测试,以及服务与服务之间的调⽤和测试,以及服务之间的数据⼀致性,和服务 与MQ中间件之间的交互,以及服务与DB层⾯的交互。
在ISO的模型中(7层⽹络协议分别是:物理层,数据链路层,⽹络层,传输层,会话层,表示层,应⽤层)上下层之间进⾏交互时需要互相遵守的约定叫“接⼝”,同⼀层之间的交互所遵守的约定叫“协议”。所谓协议就是客户端与服务端交互的语⾔是⼀致的,下⾯演示交互不⼀致的情况,具体如下:
协议⼀致的时候,沟通是没有任何的障碍的,如下所示:
当然在这个过程中,我们还需要关注三次握⼿之间的⽹络交互,它的具体信息为Client端发送连接请求报⽂,Server端接受连接后回复ACK报⽂,并为这次连接分配资源。Client端接收到ACK报⽂后也向Server段发送ACK报⽂,并分配资源,这样TCP连接就建⽴了。总结三次握⼿具体为:
HTTP是应⽤层的协议,它不需要刻意的去关注底层⽹络传输层协议的东⻄。在整体应⽤层的协议中,通俗的说在整个API的测试维度上,需要关注的是⼀个完整的HTTP请求流程,请求⽅法,请求头响应头,COOKIE请求流程,SESSION的请求流程和TOKEN的请求流程,以及HTTPS的请求流程。在微服务的架构模式下,使⽤的也是轻量级的通信模式(REST API),在微服务的架构模式中,需要清楚的是它的通信可以分为同步通信模式和异步通信模式,或者更加具体本质的说就是请求/响应和异步请求/响应(发布/订阅模式)。在API的⾃动化测试中,我们更多关注的是HTTP应⽤层的交互,因为即使主流的架构如微服务架构,它的通信模式也是基于REST API轻量级的通信模式。在HTTP的协议中,⼀个完整的HTTP请求流程具体为:
更多关于http请求可以关注 : HTTP协议_菜鸟学识的博客-CSDN博客
同步通信
在客户端与服务端在进⾏交互的时候,通信模式主要分为同步通信和异步通信。同步通信简单的可以理解为客户端发送请求给服务端,服务端必须得回应客户端的请求。所以同步通信它存在如下的缺点,具体为:
异步通信
由于同步交互存在超时以及堵塞的情况,所以也就有了异步的交互。在异步的交互中,客户端和服务端互相不需要关注对⽅的存在,只需要关注对应的MQ的消息,客户端与服务端的交互主要是会通过MQ的消息中间件作为消息的传递来进⾏交互
URI是英⽂单词Uniform Resource Identifier的简写,主要是⽤来识别被⽤于互联⽹主⻚地址(邮箱地址)等。URL的英⽂单词是Uniform Resource Locator,URL主要⽤来表示互联⽹中资源的具体地址。URL与URI中,URL是⼀个狭义的概念,⽽URI它更加具备深度和⼴度,⽐如URI可以⽤于除WWW之外的其他应⽤层协议中。针对该地址,可以分解为如下的信息:
在HTTP的应⽤层协议中,常⽤的请求⽅法具体为GET,POST,PUT,DELETE的请求⽅法,具体如下所示:
当客户端向服务端发送⼀个请求后,服务端响应回复返回给客户端,在返回的信息中会包含⼀个HTTP请求头的状态码信息⽤以响应客户端的请求。在⽹站https://http.cat中可以看⻅各个不同表情的状态码的显示,如调⽤https://http.cat/504就会显示如下对应的信息。常⽤的状态码具体为:
HTTP状态是⽆状态的协议,所以也就导致了COOKIE技术的发展,早期的产品基本对于产品认证体系使⽤的都是COOKIE的技术,COOKIE它是存储在客户端,在安全⻆度上不怎么友好
cookie是存储在客户端记录客户信息的一小段文本,由服务器生成发送给浏览器,下一次请求时会把该cookie发送给服务器(组成:key value,有效域,失效时间,安全标志(https))
session是存储在服务器上,客户第一次发送请求,服务器生成一个sessionId,并返回给客户端通过cookie,客户端再次发送请求给服务器的时候带着cookie(有sessionId),服务器就知道发请求的是谁了
具体我们以⼀个登录为案例,login的请求⽅法是登录,index是访问主⻚,具体如下:
token是产生的过程也是服务端返回一个带签名的token,存储在客户端,再次请求的时候header里带上token,服务器以同样的算法对数据进行计算比较,和session相比,以token的形式,服务端不用存储sessionId了
接⼝维度总结如下⼏点:
对单个API的测试,如果测试的API涉及到⽀付以及与⾦钱有关系的接⼝,都需要考虑API的安全测试,可以从下⾯⼏个维度来思考,分别是:
是否增加了反爬⾍的机制
是否增加了请求次数的限制
是否增加了对应的请求头信息
是否增加了鉴权的认证信息(基本认证,常规认证,⾃定义认证)
是否对请求进⾏了加密
是否在被请求的服务端增加了IP的限制(⽩名单设置和IP的限制请求)
API的性能测试主要是基于服务的测试,可以使⽤常规的测试⼯具如JMeter测试⼯具来进⾏这部分的测试。
单个接⼝测试是必要的,但是⽆法保障到全链路的产品质量保障,所以需要基于产品全链路的质量保障,也就是业务场景的测试,简单的说就是通过API的测试技术,模拟⼈的操作⾏为,实现产品业务场景的覆盖,这种覆盖包含了产品正常的业务逻辑以及异常的程序逻辑判断。在基于业务场景的测试中,需要考虑的是参数上下关联的解决⽅案和思路,如有⼀个图书管理系统,可以增加书籍,查看增加书籍的信息,修改书籍的信息以及删除数据的信息,那么在链路的测试场景设计中,需要考虑的是添加书籍信息成功后,需要拿到书籍的ID,这样在后⾯的业务测试中才能够对添加的书籍信息进⾏信息的查询,信息的修改和信息的删除。这地⽅就会涉及使⽤到函数的返回值,把添
加书籍成功后书籍ID通过函数返回值返回后,在下个请求中调⽤这个变量。如编写⼀个函数返回值的代码具体如下:
def login(username,password):
if username=='wuya' and password=='admin':
return 'dfhj378dfghjw6dfh'
else:
return False
def profile(token):
if token=='dfhj378dfghjw6dfh':
print('欢迎您购买《Python⾃动化测试实战》视频课程')
else:
return '请先登录系统,谢谢!'
if __name__ == '__main__':
profile(login('wuya','admin'))
在实际的⼯作场景中,经常涉及到对应和第三⽅公司的对接,或者说公司提供给第三⽅公司的API,这样的API我们称呼为开放平台,也就是open api。针对开放平台,本质上我们可以理解为“赋能”。open api都是有加密的⽅式的,⼀般业界都是有统⼀的标准来进⾏加密,以及进⾏很难破解的过程。
Requests在官⽅的⽂档中,有这么介绍的⼀句话,具体为:HTTP For Humans,翻译过来就是:“让HTTP服务⼈类”。Requests是⾮常优秀的⼀个Python的第三⽅库,它在HTTP的应⽤层的协议中,客户s端与服务端的交互请求⾮常的轻量级,交互⾮常的友好。下⾯还是通过具体的案例代码来演示下Requests的基本使⽤⽅法。
在处理GET请求⽅法的时候,我们通常需要处理url中的请求参数,如
https://www.xx.com/name=wuya&age=18,下⾯具体演示下这部分的应⽤,案例代码如下:
import requests,json
def getMethod():
r=requests.get(
url='http://httpbin.org/get')
print(json.dumps(r.json(),ensure_ascii=False,indent=True))
再次来看params的请求参数的应⽤,具体如下:
import requests,json
def getMethod():
params={'name':'wuya','age':18}
r=requests.get(
url='http://httpbin.org/get',
params=params)
print(r.url)
if __name__ == '__main__':
getMethod()
特别注意:不管是那个请求⽅法,凡事路径的参数,我们都是可以使⽤params的参数来进⾏解决的。
在POST的请求⽅法中,它的形式参数存在两种,⼀种是json,还有⼀个是data,具体源码为:
def post(url, data=None, json=None, **kwargs):
r"""Sends a POST request.
:param url: URL for the new :class:`Request` object.
:param data: (optional) Dictionary, list of tuples, bytes, or file-like
object to send in the body of the :class:`Request`.
:param json: (optional) json data to send in the body of the :class:`Request`.
⼀般性的,请求数据格式为application/json中,如果使⽤json的参数,数据是字典的数据类型,如果参数是data,数据类型是字符串的类型。针对登录的微服务来进⾏测试,具体测试代码如下:
import requests,json
dict1={
"password":"admin",
"sex":"男",
"age":18
}
def jsonRequest():
'''请求参数为json'''
r=requests.post(
url='http://localhost:5000/login',
data=json.dumps(dict1),
headers={'content-type':'application/json'})
print(r.json())
def dataRequest():
'''请求参数为data'''
r=requests.post(
url='http://localhost:5000/login',
data=dict1,
headers={'content-type':'application/json'})
print(r.json())
def dataStrRequest():
'''请求参数为data,但是进⾏了序列化的处理'''
r=requests.post(
url='http://localhost:5000/login',
data=json.dumps(dict1),
headers={'content-type':'application/json'})
print(r.json())
if __name__ == '__main__':
while True:
f=int(input('1、json 2、data 3、dataStr\n'))
if f==1:
jsonRequest()
elif f==2:
dataRequest()
elif f==3:
dataStrRequest()
else:break
执⾏结果信息如下:
1、json 2、data 3、dataStr
1
{'message': {'username': '⽤户名不能为空'}}
1、json 2、data 3、dataStr
2
{'message': 'Failed to decode JSON object: Expecting value: line 1 column 1 (char 0)'}
1、json 2、data 3、dataStr
3
{'message': {'username': '⽤户名不能为空'}}
1、json 2、data 3、dataStr
4
我们就以登录为案例,把登录成功后的token信息返回,然后再下次请求的时候带上它登录成功后的登录信息。
import requests
def login():
r = requests.post(
url='https://home.51cto.com/index?reback=https%3A%2F%2Fedu.51cto.com%2Fcenter%2Fuser%2Findex%2Flogin-success%3Fsign%3Da0c8BVMJUQNUBwQIVFFTAlABAQBQCAEGUFVRU1ZQTBVASwgaTFwFRkoCBVsQXR9QW10eAQReQwEUTQJZFkpLBB9UV1YXTBNWFhhXVxFAQlZVAFJa&iframe=0&is_go_to_user_set_mobile=1',
headers={
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.83 Safari/537.36",
"Content-Type": "application/x-www-form-urlencoded",
"Referer": "https://home.51cto.com/index?reback=https://edu.51cto.com/center/user/index/login-success?sign=a0c8BVMJUQNUBwQIVFFTAlABAQBQCAEGUFVRU1ZQTBVASwgaTFwFRkoCBVsQXR9QW10eAQReQwEUTQJZFkpLBB9UV1YXTBNWFhhXVxFAQlZVAFJa&relogin=1",
"Cookie": "_ssxmod_itna2=QqjxBDyDgG5eq4BPGKHnrIKPhxGr27bo4iKG8D8d6WeGXub4GaiQQIkvCr0Ix8gno5uYB2hqHVCW35+OtKAebtPirQPvqLtQm6Kn1d2ZwFHHzGSnuWcratOFCYTTNBfRb92Vu0zQT6PiexBNYnWOiaRWTQvOtBhH=rYF2151epK1EEoFO4PxAgK4ED07KDrbiFqaqQrTA9wdY2STUtE5qD08DYI54D==; acw_tc=2760779416489697187698597ef95319033b93239ae9f5b89268f81cb55c6c; _ourplusReturnCount=3; _ourplusReturnTime=122-4-3-15-8-39; login_from=edu.51cto.com; reg_from=edu.51cto.com; Hm_lpvt_844390da7774b6a92b34d40f8e16f5ac=1648969720"},
data=
{"_csrf": "dzRpQVd3emUHcjgGPARDVgViRCUcMRzPTA5X1wnAwFNEg==",
"LoginForm[username]": "13222245195",
"LoginForm[password]": "123",
"show_qr": "0"})
return r.cookies
#print(r.status_code)
#print(r.cookies)
#print(r.text)
def profile():
r = requests.get(
url='https://edu.51cto.com/center/course/lecturer/course',
cookies=login())
print(r.status_code)
print(r.text)
profile()
import requests
def login():
r = requests.post(
url='http://23.95.142.233:8000/login/auth/',
json={"username": "1322245195", "password": "168888"})
return r.json()['token']
def index():
r = requests.get(
url='http://23.95.142.233:8000/interface/index',
headers={'Authorization': 'JWT {0}'.format(login())})
print(r.status_code)
print(r.text)
import requests
class Requests:
def request(self,url,method='get',**kwargs):
if method=='get':
return requests.request(url=url,method=method,**kwargs)
elif method=='post':
return requests.request(url=url,method=method,**kwargs)
elif method=='put':
return requests.request(url=url,method='put',**kwargs)
elif method=='delete':
return requests.request(url=url,method='delete',**kwargs)
def get(self,url,**kwargs):
return self.request(url=url,**kwargs)
def post(self,url,**kwargs):
return self.request(url=url,method='post',**kwargs)
def put(self,url,**kwargs):
return self.request(url=url,method='put',**kwargs)
def delete(self,url,**kwargs):
return self.request(url=url,method='delete',**kwargs)
Tavern是⼀款轻量级的测试框架,集合Pytest的测试框架,可以把测试的描述信息(API的请求信息)以及测试断⾔都可以编写在Yaml的⽂件中,然后结合Pytest的测试框架直接解析Yaml就可以来批量的执⾏。在Tavern的测试框架中,它追求的是“Easier API testing”的设计理念,不过从⽬前实践的应⽤来看,它是符合这样的⼀种简单的模式的,Easy to Write, Easy to Read and Understand。下⾯我们⾸先来安装它,安装的命令为:
pip3 install tavern==1.12.2
下⾯我们把之前编写的登录服务的测试⽤例,整合到Yaml的⽂件中,Yaml⽂件的名称为:test_login.tavern.yaml,具体Yaml⽂件的内容为:
test_name: 登录微服务GET请求
stages:
- name: 登录微服务GET请求
request:
url: http://127.0.0.1:5000/login
method: GET
response:
status_code: 200
json:
status: 0
msg: ok
data: this is a login page
---
test_name: 用户名信息为空
stages:
- name: 用户名信息为空
request:
url: http://127.0.0.1:5000/login
method: POST
data:
password: admin
age: 18
sex: 男
response:
status_code: 400
json:
message:
username: 用户名不能为空
---
test_name: 密码信息不能为空
stages:
- name: 密码信息不能为空
request:
url: http://127.0.0.1:5000/login
method: POST
data:
username: admin
age: 18
sex: 男
response:
status_code: 400
json:
message:
password: 账户密码不能为空
---
test_name: 年龄不能为正整数
stages:
- name: 年龄不能为正整数
request:
url: http://127.0.0.1:5000/login
method: POST
data:
username: admin
password: admin
age: asd
sex: 男
response:
status_code: 400
json:
message:
age: 年龄必须为正正数
---
test_name: 验证性别只能是男或者女
stages:
- name: 验证性别只能是男或者女
request:
url: http://127.0.0.1:5000/login
method: POST
data:
username: admin
password: admin
age: 18
sex: asd
response:
status_code: 400
json:
message:
sex: 性别只能是男或者女
---
test_name: 验证性别只能是男或者女
stages:
- name: 验证性别只能是男或者女
request:
url: http://127.0.0.1:5000/login
method: POST
data:
username: admin
password: admin
age: 18
sex: 男
response:
status_code: 200
json:
username: admin
password: admin
age: 18
sex: 男
执⾏的命令具体为:
python3 -m pytest -v -s test_login.tavern.yaml
被测系统在运⾏时候会时常依赖另外⼀些系统,依赖会导致测试的复杂化,并减慢测试速度,基于这样的现实考虑,就需要⼀种单独测试被测系统的⽅法,解决⽅案是测试替身(Test double)来消除被测系统的依赖性,测试替身是⼀个测试对象,该对象负责模拟依赖项的⾏为。什么是mock?mock简单的理解就是开发在开发的过程中,需要依赖⼀部分的接⼝,但是对⽅没有提供或者环境等等情况,总之是没有,那么开发使⽤mock server⾃⼰来mock数据,⽅便⾃⼰正常的进⾏开发和对编写的功能进⾏⾃测。
在https://github.com/dreamhead/moco中下载moco-runner-0.11.0-standalone.jar,启动它的前提是需要搭建好Java的开发环境,下来我们简单的编写⼀个登录的,⻅编写的login.json字符串:
[
{
"request":
{
"method":"post",
"uri":"/login",
"json":
{
"username":"admin",
"password":"admin",
"roleID":22
}
},
"response":
{
"json":
{
"username":"wuya",
"userID":22,
"token":"asdgfhh32456asfgrsfss"
}
}
}
]
下来来启动具体的moco的服务信息,启动的命令为:
java -jar moco-runner-0.11.0-standalone.jar http -p 12306 -c login.json
#启动后输出的信息为:
16 ⼗⽉ 2021 18:36:51 [main] INFO Server is started at 12306
16 ⼗⽉ 2021 18:36:51 [main] INFO Shutdown port is 53659
下来我们调⽤下该模拟的请求信息,使⽤的⼯具是PostMan,具体发送请求后就会返回我们模拟的信息,具体如下;
⼀般⽽⾔,如果响应数据是很多的情况下,其实也是可以分离到JSON⽂件的,⽐如针对上⾯的案例,可以把响应数据分离到其他的JSON⽂件的,那么具体调整后的login.json⽂件信息为:
[
{
"request":
{
"method":"post",
"uri":"/login",
"json":
{
"username":"admin",
"password":"admin",
"roleID":22
}
},
"response":
{
"file": "login_response.json"
}
}
]
⽽login_response.json⽂件的内容就为:
{
"username":"wuya",
"userID":22,
"token":"asdgfhh32456asfgrsfss"
}
moco-runner-0.11.0-standalone.jar中,通过编写json的⽂件来实现,那么我们现在来看Python之中的mock,那么怎么理解mock了,mock翻译过来就是模拟的意思,也就是说,它是将测试对象所依存的对象替换为虚构对象的库,该虚构对象的调⽤允许事后查看。在python的2.x版本中,它是属于第三⽅的库,需要单独的安装,在python3.3的版本以后,不需要单独的安装,直接导⼊就可以了。在mock中,使⽤return_value来模拟⼀个对象,来验证被测试的程序。
import pytest
import mock
class MockPay(object):
def pay(self):
'''⽀付接⼝'''
pass
def pay_result(self):
'''模拟⽀付接⼝'''
result=self.pay()
if result['payType']=='aliPay' and result['status']:
return 'aliPay'
elif result['payType']=='CMB' and result['status']==False:
return 'China Merchants Bank welcomes your use'
else:
return 'An unknown error is required'
return result['msg']
def test_aliPay():
'''模拟⽀付宝⽀付⽅式'''
objPay=MockPay()
mockValue={'payType':'aliPay','msg':'⽀付宝','status':True}
#依据object的⽅式查找需要的mock对象
objPay.pay=mock.Mock(return_value=mockValue)
assert objPay.pay_result()=='aliPay'
def test_cmb():
'''模拟招商银⾏⽀付⽅式'''
objPay=MockPay()
mockValue={'payType':'CMB','msg':'China Merchants Bank welcomes your use','status':False}
#依据object的⽅式查找需要的mock对象
objPay.pay=mock.Mock(return_value=mockValue)
assert objPay.pay_result()=='China Merchants Bank welcomes your use'
def test_unknown(mocker):
'''模拟未知错误信息'''
objPay=MockPay()
mockValue={'payType':'wuya','msg':'An unknown error is required'}
#依据object的⽅式查找需要的mock对象
objPay.pay=mock.Mock(return_value=mockValue)
assert objPay.pay_result()=='An unknown error is required'
if __name__ == '__main__':
pytest.main(["-s","-v","test_moco.py"])