一、安全测试
1.软件权限
1)扣费风险:包括短信、拨打电话、连接网络等
2)隐私泄露风险:包括访问手机信息、访问联系人信息等
3)对App的输入有效性校验、认证、授权、数据加密等方面进行检测
4)限制/允许使用手机功能接入互联网
5)限制/允许使用手机发送接收信息功能
6)限制或使用本地连接
7)限制/允许使用手机拍照或录音
8)限制/允许使用手机读取用户数据
9)限制/允许使用手机写入用户数据
10)限制/允许应用程序来注册自动启动应用程序
2.安装与卸载安全性
1)应用程序应能正确安装到设备驱动程序上
2)能够在安装设备驱动程序上找到应用程序的相应图标
3)安装路径应能指定
4)没有用户的允许,应用程序不能预先设定自动启动
5)卸载是否安全,其安装进去的文件是否全部卸载
6)卸载用户使用过程中产生的文件是否有提示
7)其修改的配置信息是否复原
8)卸载是否影响其他软件的功能
9)卸载应该移除所有的文件
3.数据安全性
1)当将密码或其它的敏感数据输入到应用程序时,其不会被存储在设备中,同时密码也不会被解码
2)输入的密码将不以明文形式进行显示
3)密码、信用卡明细或其他的敏感数据将不被存储在它们预输入的位置上
4)不同的应用程序的个人身份证或密码长度必须至少在4-8个数字长度之间
5)当应用程序处理信用卡明细或其它的敏感数据时,不以明文形式将数据写到其他单独的文件或者临时文件中。以防止应用程序异常终止而又没有删除它的临时文件,文件可能遭受入侵者的袭击,然后读取这些数据信息
6)党建敏感数据输入到应用程序时,其不会被存储在设备中
7)应用程序应考虑虚拟机器产生的用户提示信息或安全警告
8)应用程序不能忽略系统或者虚拟机器产生的用户提示信息或安全警告,更不能在安全警告显示前,利用显示误导信息欺骗用户,应用程序不应该模拟进行安全警告误导用户
9)在数据删除之前,应用程序应当通知用户或者应用程序提供一个“取消”命令的操作
10)应用程序应当能够处理当不允许应用软件连接到个人信息管理的情况
11)当进行读或写用户信息操作时,应用程序将会向用户发送一个操作错误的提示信息
12)在没有用户明确许可的前提下不损坏删除个人信息管理应用程序中的任何内容
13)如果数据库中重要的数据正要被重写,应及时告知用户
14)能合理的处理出现的错误
15)意外情况下应提示用户
4.通讯安全性
1)在运行软件过程中,如果有来电、SMS、蓝牙等通讯或充电时,是否能暂停程序,优先处理通信,并在处理完毕后能正常恢复软件,继续其原来的功能
2)当创立连接时,应用程序能够处理因为网络连接中断,进而告诉用户连接中断的情况
3)应能处理通讯延时或中断
4)应用程序将保持工作到通讯超时,进而给用户一个错误信息指示有链接错误
5)应能处理网络异常和及时将异常情况通报用户
6)应用程序关闭网络连接不再使用时应及时关闭,断开
5.人机接口安全测试
1)返回菜单应总保持可用
2)命令有优先权顺序
3)声音的设置不影响使用程序的功能
4)声音的设置不影响应用程序的功能
5)应用程序必须能够处理不可预知的用户操作,例如错误的操作和同时按下多个键
二、安装、卸载测试
验证App是否能正确安装、运行、卸载、以及操作过程和操作前后对系统资源的使用情况
1.安装
1)软件安装后是否能够正常运行,安装后的文件夹以及文件是否写到了指定的目录里
2)软件安装各个选项的组合是否符合概要设计说明
3)软件安装向导的UI测试
4)安装后没有生成多余的目录结构和文件
2.卸载
1)测试系统直接卸载程序是否有提示信息
2)测试卸载后文件是否全部删除所有的安装文件夹
3)卸载是否支持取消功能,单击取消后软件卸载的情况
4)系统直接卸载UI测试,是否有卸载状态进度条提示
三、UI测试
1)测试用户界面(如菜单、对话框、窗口和其他控件)布局、风格是否满足要求、文字是否正确、页面是否美观、文字、图片组合是否完美、操作是否友好等
2)UI测试的目标是确保用户界面会通过测试对象的功能来为用户提供相应的访问或浏览功能。确保用户界面符合公司或行业的标准。包括用户友好性、人性化、易操作性测试
1.导航测试
1)按钮、对话框、列表和窗口等;或在不同的连接页面之间需要导航
2)是否易于导航,导航是否直观
3)是否需要搜索引擎
4)导航帮助是否准确直观
5)导航与页面结构、菜单、连接页面的风格是否一致
2.图形测试
1)横向比较,各控件操作方式统一
2)自适应界面设计,内容根据窗口大小自适应
3)页面标签风格是否统一
4)页面是否美观
5)页面的图片应有其实际意义而要求整体有序美观
3.内容测试
1)输入框说明文字的内容与系统功能是否一致
2)文字长度是否加以限制
3)文字内容是否表意不明
4)是否有错别字
5)信息是否为中文显示
四、功能测试
根据软件说明或用户需求验证App的各个功能实现,采用如下方法实现并评估功能测试过程:
1)采用时间、地点、对象、行为和背景五元素或业务分析等方法分析、提炼App的用户使用场景,对比说明或需求,整理出内在、外在及非功能直接相关的需求,构建测试点,并明确测试标准
2)根据被测功能点的特性列出相应类型的测试用例对其进行覆盖,如:设计输入的地方需要考虑等价、边界、负面、异常、非法、场景回滚、关联测试等测试类型对其进行覆盖
3)在测试实现的各个阶段跟踪测试实现与需求输入的覆盖情况,及时修正业务或需求理解错误
1.运行
1)App安装完成后的试运行,可正常打开软件
2)App打开测试,是否有加载状态进度提示
3)App页面间的切换是否流畅,逻辑是否正确
4)注册
同表单编辑页面
用户名密码长度
注册后的提示页面
前台注册页面和后台的管理页面数据是否一致
注册后,在后台管理中页面提示
5)登录
使用合法的用户登录系统
系统是否允许多次非法的登录,是否有次数限制
使用已经登录的账号登录系统是否正确处理
用户名、口令(密码)错误或漏填时能否登陆
删除或修改后的用户,原用户名登陆
不输入用户口令和重复点“确定/取消”按钮,是否允许登录
登陆后,页面中登录信息
页面中有注销按钮
登录超时的处理
2.应用的前后台切换
1)App切换到后台,再回到App,检查是否停留在上一次操作界面
2)App切换到后台,再回到App,检查功能及应用状态是否正常
3)App切换到后台,再回到前台时,注意程序是否崩溃,功能状态是否正常,尤其是对于从后台切换回前台数据有自动更新的时候
4)手机锁屏解锁后进入App注意是否会崩溃,功能状态是否正常,尤其是对于从后台切换回前台数据有自动更新的时候
5)当App使用过程中有电话进来中断后再切换到App,功能状态是否正常
6)当杀掉App进城后,再开启App,App能否正常启动
7)出现必须处理的提示框后,切换到后台,再切换回来,检查提示框是否还存在,有时候会出现应用自动跳过提示框的缺陷
8)对于有数据交换的页面,每个页面都必须要进行前后台切换、锁屏的测试,这种页面最容易出现崩溃
3.免登陆
很多应用提供免登陆功能,当应用开启时自动以上一次登录的用户身份来使用App
1)考虑无网络情况时能否正常进入免登录状态
2)切换用户登陆后,要校验用户登录信息以及数据内容是否相应更新,确保原用户退出
3)根据Mtop的现有规则,一个账户只允许登陆一台机器。所以,需要检查一个账户登录多台手机的情况。原手机里的用户需要被退出,给出友好提示
4)App切换到后台,在切换回前台的校验
5)切换到后台,再切换回到前台的测试
6)密码更换后,检查有数据交换时是否进行了有效身份的校验
7)支持自动登录的应用在进行数据校验时,检查系统是否能自动登录成功并且数据操作无误
8)检查用户主动退出登录后,下次启动App,应停留在登录界面
4.离线浏览
很多应用会支持离线浏览,即在本地客户端会缓存一部分数据供用户查看
1)在无线网络情况可以浏览本地数据
2)退出App再开启App时能正常浏览
3)切换到后台再回到前台可以正常浏览
4)锁屏后再解锁回到应用前台可以正常浏览
5)在对服务器段的数据有更新时回给予离线的相应提示
5.App更新
1)当客户端有新版本时,有更新提示
2)当版本为非强制升级版时,用户可以取消更新,老版本能正常使用。用户在下次启动App时,仍出现更新提示
3)当版本为强制升级版时,但给出强制更新后用户没有做更新时,退出客户端。下次启动App时,仍出现强制升级提示
4)当客户端有新版本时,在本地不删除客户端的情况下,直接更新检查是否能正常更新
5)当客户端有新版本时,在本地不删除客户端的情况下,检查更新后的客户端功能是否是新版本
6)当客户端有新版本时,在本地不删除客户端的情况下,检查资源同名文件如图片是否能正常更新成最新版本。如果以上无法更新成功的,也都属于缺陷
6.定位、照相机服务
1)App有用到相机,定位服务时,需要注意系统版本差异
2)有用到照相机服务的地方,需要进行前后台的切换测试,检查应用是否正常
3)测试照相机服务时,需要采用真机进行测试
7.PUSH测试
1)检查Push消息是否按照指定的业务规则发送
2)检查不接收推送消息时,用户不会在接收到Push消息
3)如果用户设置了免打扰的时间段,检查在免打扰时间段内,用户接收不到Push。在非免打扰时间段内,用户能正常收到Push
4)当Push消息是针对登录用户的时候,需要检查收到的Push与用户身份是否相符,没有错误的将其他人的消息推送过来。一般情况下,只对手机上最后一个登录用户进行消息推送
5)测试Push时,需要采用真机进行测试