自动化始终只是辅助测试工作的一个手段,对于测试人员而言,测试基础和测试用例的设计才是核心。如果测试用例的覆盖率或者质量不高,那将这部分用例实现为自动化用例的意义也就不大了。
那么,接口测试用例应该怎么编写呢?
接口: 主要是子模块或者子系统间交互并相互作用的部分。
这里说的接口是广义的,客户端与后台服务间的协议;插件间通信的接口;模块间的接口;再小到一个类提供的方法;都可以理解为接口。因此,可以分析,系统间的接口包含三部分:输入、处理逻辑、输出。
接口测试: 是指针对模块或系统间接口进行的测试。
获取接口文档: 和黑盒测试一样,我们是从需求文档中去挖掘测试点,设计测试用例。对于接口测试,同样是有对应的接口文档的。
分析接口文档,提取测试点:
1)输入: 接受哪些参数、参数的类型、可选参数和必选参数等;根据输入参数采用等价类、边界值分析法等进行设计;
2)业务逻辑:对于一个接口,不同的输入参数或组合,流程或状态的转移是不同,可以根据业务逻辑画出流程图或状态转移图,确保每种状态至少被访问了一次;
3)输出:根据文档规定的输出,反向设计测试数据,使所有的输出状态都被包含了;
测试用例: 同时对输入、业务逻辑、输出进行考虑时,肯定会存在用例的冗余,在最大限度覆盖业务功能和规则下,选取最优用例集合。同时,需要考虑异常数据和场景。
在没有特殊要求的情况下,至少需要考虑以下内容:
1)业务功能覆盖是否完整
2)业务规则覆盖是否完整
3)参数验证是否达到要求(边界、业务规则)
4)接口异常场景覆盖是否完整
如果接口需求还包含性能或者安全要求,还要对接口进行性能测试和安全测试,就需要考虑:性能指标是否满足要求、安全指标是否满足要求。
接口测试经常遇到的bug和问题,如下:
(1)传入参数处理不当,导致程序crash;
(2)类型溢出,导致数据读出和写入不一致;
(3)因对象权限未进行校验,可以访问其他用户敏感信息;
(4)状态处理不当,导致逻辑出现错乱;
(5)逻辑校验不完善,可利用漏洞获取非正当利益等。
创建接口测试用例:
http:///home/csg/pyrequest-master/interface/add_event_test.py
对上述代码进行分析:
1、在接口测试之前,调用test_data.py文件中的init_data()方法,初始化数据库中的测试数据;
2、创建AddEventTest测试类,继承unittest.TestCase类;
3、创建测试用例,调用添加发布会接口,并验证接口返回的数据;
注意:
1、把JSON格式的结果转化为字典赋值给self.result变量,加self的目的是在tearDown()方法中打印self.result变量,打印的结果可以在测试报告中显示,即将接口返回数据打印出来;
2、如果不使用self,又想在报告中显示每个接口返回数据,就只能是在每个用例中print出result,相比来说,还是第一种方法比较方便。
集成测试报告
当用例数量较多,就需要分类管理和执行,为解决这个问题,unittest单元测试框架提供了discover()方法,然后再适用HTMLTestRunner生成HTML格式的测试报告。
创建/home/csg/pyrequest-master/interface/run_tests.py文件:
对上述代码进行分析:
1、还是先调用test_data.py文件中的init_data()函数来初始化测试数据;
2、unittest框架提供的discover()方法查找interface目录下,匹配到文件名*_test.py结尾的测试文件;
3、now按一定格式生成当前时间;
4、将文件名命名为now当前时间_result.html并且保存report目录下;
5、HTMLTestRunner为unittest单元测试框架的扩展,利用它提供的HTMLTestRunner()类来代替unittest单元测试框架的TextTestRunner()类,运行discover中匹配到的测试用例,生成HTML格式的测试报告;
运行测试脚本:python run_tests.py:
1、可能需要安装configparser库,pip install configparser;
2、在运行过程中,出现了错误:
应该是数据表里create_time字段需要一个默认值,于是修改test_data.py文件,给每个测试数据都增加create_time默认值为当前时间,再次运行就没有这个错误了;
3、但是继续执行又出现了错误:
问了下度娘,应该是读取文件的时候使用的是ASCII编码,而不是utf-8,自己多余,在每个测试用例的开头都增加了-*- coding:utf-8 -*-,画蛇添足了,去掉后再次运行就没这个错误了;
4. 但是运行结果全部是failed的,查看具体的error信息:
原来还是要在每个测试数据前加上utf-8编码的声明,但是每个用例的注释信息不能是中文,奇怪了,没深入研究,反正都修改为英文后,再次运行成功了。
完整的自动化测试报告如下图所示:
其实,作者自己完全的封装了一个类似Robot的工具,这个好处是抛开了框架的束缚,可以自由的编写测试用例的内容,只要是python的代码,就可以采用这个工具,自由发挥测试内容,并且结果的展示也比较丰富和友好,如果不打算研究Robot的,其实可以用这个工具。
正在做测试的朋友可以进来交流,群里给大家整理了大量学习资料和面试题项目简历等等....