一、 手机测试概念
传统手机测试 VS 手机应用软件测试
- 传统手机测试:指测试手机本身比如抗压,抗摔,抗疲劳,抗低温高温等。也包括手机本身功能、性能等测试。
- 手机应用软件测试 C/S Client/Server
手机应用软件是基于手机操作系统之上开发出来的软件,做这样的测试就叫做手机应用软件测试。
二、手机端常规测试
2.1.What
2.1.1.介绍手机测试的概念架构
对于手机端测试,按照平台来分,分为Android和IOS两大主流系统
- Android后缀apk,ios后缀是IPA(iPhoneApplication)
- Android开源导致碎片化比较严重,(手机品牌众多,系统版本各异,分辨率不统一,主流手机型号上千。无法保证应用、游戏对于所有手机的适配兼容。)bug比较多,而IOS通常bug会少一些。
- Android手机长按home键,会呼出应用列表和切换应用,右滑择会终止应用。
还有分辨率测试,Android手机分辨率有20多种,IOS较少一些 - 再就是手机操作系统,Android系统太多了,IOS较少,但是升级之后不能够降级,不过呢,发现了最近ios中boss直聘的一个bug,是有关于Boss直聘强更的一个bug,当我们点击手机APP端 Boss直聘 进入主页面弹出提示框“新增邮箱上传附件简历功能” 弹窗中有立即升级的链接,点击别的区域没有反应;必须点击“立即升级”才会跳转到“App Store”若不升级,重新切换回Boss直聘界面,依旧提示“立即升级”全部退出依然如此。
- 按照目前技术架构的话,现在有一些原生的app架构,类似于Client Server架构,也有基于Html5的app,类似于pc机的BS(Broswer server)架构。手机测试和pc机类似,又有一些不同的地方。
- 当然除了手机,现在还有好多使用Android系统,比如酒店点餐的平板,银行对公或者对个人业务的业务平台,还有一些智能的穿戴设备,小米的手环,google 联想的智能眼镜,智能家居,电视盒子,这些都是在使用android系统,我之前最早的时候,就要测试过一个智能家居设备,测试的时候需要考虑蓝牙,wifi连接传输这块,也有好多要测试的内容。
2.2.How
1.1.2. 功能测试
对于手机app来说,和我们测试web项目差不太多,也是各种测试方式需要考虑进来,比如说逻辑功能测试,现在移动端越来越火爆,大家用的软件也越来越多,对软件也越来越挑剔,现在公司在开发移动端的时候,肯定是有相应的需求文档和UI所设计的产品效果图,我们做逻辑功能测试,就是根据这些资料,当然也根据我们正常人的逻辑思维进行逻辑功能测试,在做逻辑功能测试的时候,我们要测试主页面,我的页面,商城页面这些功能是否合理。
1.1.3.安装与卸载测试
软件安装后是否可以正常运行,安装过程中是否可以取消,安装空间不足时,是否有相应提示,是否可以卸载应用(可通过桌面卸载,也可以通过软件卸载。曾发现在IOS手机上有个应用安装时未完全安装,终止安装后,未完成安装的应用图标一直显示在手机上,并且无法成功删除),卸载是否支持取消功能,单击取消后软件卸载功能是否正常,卸载后文件是否全部删除所有的安装文件夹,从不同的应用市场下载进行安装测试,比如测试小米市场,华为市场,应用宝,安卓市场,安智市场的安装测试。
1.1.4. 软件升级测试
当客户端有新版本时,是否有更新提示,当版本为非强制升级版时,用户可以取消更新,老版本能正常使用,用户在下次启动app时,仍能出现更新提示;当版本为强制升级版时,当给出强制更新后用户没有做更新时,退出客户端,下次启动app时,仍出现强制升级提示,当然现在强更已经很少出现了。检查更新后各个功能是否能正常使用;在线跨版本升级后能否正常使用,当然现在主流的安装更新方式开始向热更新热部署方式转变,就是在用户不需要手动更新的情况下,完成版本的静默更新,这个技术是有难度的,需要看公司中程序员的技术能力还有就是是否有这样的产品需求。
1.1.5. 登录测试
对于登录测试,基本上每一款app都有登录注册功能,所以在测试App的时候,登录测试是必不可少的一项。
我们做登录测试的时候,往往包含这么些项:
- 登录用户名和密码错误时,界面有提示信息;
- 用户主动退出登陆后,下次进入app时,应该进入登陆界面;
- 密码更改后,登录时是否做到了有效数据的校验,对于未登录状态时,一些页面的操作,是否做了控制;
- 切换账号登录,检验登录的信息是否做到及时更新,对于多个端(web、iso、android等)进行操作时,确保数据库操作无误,且每个端可以及时看到数据的更新,一个账号只允许一台机器登陆的软件,需要账号登录多个手机时,是否将原用户踢下线,且能够给出提示信息,用户登录状态太久,session会过期,会出现“虽然是登录状态,系统会提示用户没有登陆”
1.1.6.安全性测试 - 权限测试
对于手机权限,如果我们是刚开发不知名的app,权限这块尽量少一些,这些权限在安装的时候都必须用户同意。在Android 6.0之后,权限需要动态的申请,我们测试的时候,需要测试在使用到这些权限的时候,程序员是否做逻辑判断,用户同意权限应该怎么操作,不同意权限又应该怎么操作。
1.1.7.消息推送测试
消息推送,是移动端的一大特色。我就说一下消息推送我们所做的这些方面吧,
未锁屏时,应用后台运行,消息推送是否可正常接收,未锁屏时,APP客户端使用过程中,可以收到消息提醒,且点击可查看。
锁屏时,手机消息栏是否可以接收到消息提醒。且点击可查看。点击后消息栏中消失。
精准推送
当推送消息是针对登录用户的时候,需要检查收到的push与用户身份是否相符,没有错误的将其他人的消息推送过来
push推送消息是是否能有针对性的推送,如相应内容推送给相应用户(精准推送)
退出登录后,是否接受push推送(根据需求来)
1.1.8.前后台切换测试(锁屏)
APP切换到后台,再回到APP,检查是否停留在上一次操作界面;检查功能及应用状态是否正常;程序是否崩溃,功能状态是否正常,尤其是对于从后台切换回前台数据有自动更新的时候
手机锁屏解屏后进入app注意是否会崩溃,功能状态是否正常
当APP使用过程中有电话进来中断后再切换到APP,功能状态是否正常
当关闭APP进程后,在开启APP,APP能否正常启动
对于有数据交换的页面,尤其是有视频图片之类的页面,每个页面都必须要进行前后台切换、锁屏的测试,这种页面最容易出现崩溃
1.1.9.UI测试(界面测试)
确保产品UI符合产品经理制定的原型图与效果图
一般涉及界面(如菜单、对话框、窗口和其他可视控件)布局、风格、文字是否正确,页面是否美观,操作是否友好。
如:安装app后的加载页显示,分享页面的产品logo显示
1.1.10.兼容性测试
我再说一下兼容性测试吧,兼容性测试主要考虑手机的版本,型号,分辨率,就像我说的,现在手机碎片化比较严重,各个版本,比如Android,从Android4.0到Android8.0的版本它是不一样的,然后现在各大手机厂商像华为,三星,小米,锤子,魅族,vivo这些厂商都修改android源代码,也是给我们增加和好多工作量,好多时候开发的软件在三星上没问题,但是华为,小米就不行。还有手机分辨率,现在主流的可能是19201080,但是还有好多其他分辨率,比如7201280,还有一些更大分辨率的手机,都要考虑这些分辨率的兼容,不然用户视觉体验就不好。
兼容测试,公司中会买好多测试机来太让我们进行测试,一般是不同厂商的手机,当然还有第三方云测平台,比如testin还有腾讯wetest,就可以做兼容性测试。可以一次性测试100台测试机,同时会有相应的兼容报告,bug报告。
对于IOS,ISO版本有7.1.2、8.3、9.1等;能否适配各种屏幕尺寸。
1.1.11.网络环境测试
测试2G、3G、4G、wifi、有网、无网、弱网情况下应用的运行
网络不好时,提交数据是否一直处理提交中,是否会有延迟,数据交换失败是否会有提醒
有网到无网再到有网环境时,数据是否可以自动恢复,正常加载
无网络时,各种提示信息是否友好,数据本地化是否正确(比如提示当前已断开网络,请检查网络设置;还有从wifi环境切换到4G环境提示是否启用4G网络,会产生扣费。
1.1.12.mokey测试 (monkey压力测试 测试为1000-2000)
对于手机测试,除了我们一些常规的功能测试,我们还会做压力测试,比如对于Android手机,我会使用adb指令进行一些相应的操作,比如通过adb查看设置,进入设备,抓取log,我们测试的时候,会使用adb logcat所抓出来的log日志存到电脑,发给开发,方便他们快速解决bug。
另外,我还会使用monkey对app进行测试,可以使用monkey对app做压力测试,主要就是测试操作app的时候,程序是否会崩溃。
我们使用adb shell monkey 指定对应的app,执行要测试的次数,指定要触摸的比率,超时时间和忽略崩溃信息,就可以执行测试,将测试log存到某个位置,然后把测试出的bug 日志发送给开发。300000
我就简单的说一下测试的指令吧,比如我上边所说的逻辑,我们用 adb shell mokey -p 指定要测试的包名 --ignore-crashs 忽略崩溃 --ignore-timeout 忽略超时 --throttle 38指定延迟时间毫秒 -s 指定测试种子 指定测试次数,然后将文件 >输出到磁盘中。
1.1.13.性能测试
对于性能测试,(eclipse和Android studio中本身有检测cpu和内存的工具,也有检测手机内存泄漏的工具)靠工具来测试手机cpu占用,内存占用,电池温度等,以及测试我们的app在后台持续运行的流量消耗和电量消耗问题。
1.1.14 异常测试
- 热启动应用:应用由后台转换为前台的过程
考虑:1.仍然展示退到后台时的页面2.希望初始化为首页 - 网络切换和中断恢复
①网络切换:wifi->2g 4g->3g应用正常可用状态
②中断恢复:4g-→断网-→4g(下载2M的应用,1%断网,恢复网络(断点续传,重新下载)) - 电话和信息中断恢复
①电话:看视频->电话接18分钟->返回视频app
②信息:玩游戏一>通知栏一个消息->不影响游戏体验
三、Android介绍
Android是一种基于Linux的自由及开放源代码的操作系统,主要使用于移动设备,如智能手机和平板电脑,由Google公司和开放手机联盟领导及开发。尚未有统一中文名称,中国大陆地区较多人使用“安卓”或“安致”。
Android操作系统最初由Andy Rubin开发,主要支持手机。2005年8月由Google收购注资。2007年11月,Google与84家硬件制造商、软件开发商及电信营运商组建开放手机联盟共同研发改良Android系统。随后Google以Apache开源许可证的授权方式,发布了Android的源代码。第一部Android智能手机发布于2008年10月。Android逐渐扩展到平板电脑及其他领域上,如电视、数码相机、游戏机等。2011年第一季度,Android在全球的市场份额首次超过塞班系统,跃居全球第一。 2013年的第四季度,Android平台手机的全球市场份额已经达到78.1%。 [1] 2013年09月24日谷歌开发的操作系统Android在迎来了5岁生日,全世界采用这款系统的设备数量已经达到10亿台。
安卓版本:
Android在正式发行之前,最开始拥有两个内部测试版本,并且以著名的机器人名称来对其进行命名,它们分别是:阿童木(AndroidBeta),发条机器人(Android 1.0)。后来由于涉及到版权问题,谷歌将其命名规则变更为用甜点作为它们系统版本的代号的命名方法。甜点命名法开始于Android 1.5发布的时候。
作为每个版本代表的甜点的尺寸越变越大,然后按照26个字母数序:纸杯蛋糕(Android 1.5),甜甜圈(Android 1.6),松饼(Android 2.0/2.1),冻酸奶(Android 2.2),姜饼(Android 2.3),蜂巢(Android 3.0),冰激凌三明治(Android 4.0),果冻豆(Jelly Bean,Android4.1和Android 4.2),奇巧(KitKat,Android 4.4),棒棒糖(Lollipop,Android 5.0),棉花糖(Marshmallow,Android 6.0),牛轧糖(Nougat,Android 7.0),奥利奥(Oreo,Android 8.0),馅饼(Pie,Android 9.0),Q(未命名,Android10.0),R(未命名,Android11.0)
Android的系统架构和其操作系统一样,采用了分层的架构。
从架构图看,Android分为四个层,从高层到低层分别是应用程序层、应用程序框架层、系统运行库层和Linux内核层
3.1. Android SDK(Software Development Kit)的安装和配置
Android SDK,即Android Software Development Kit,软件开发工具包。
它提供了在Windows/Linux/Mac平台上开发Android应用的开发组件。包含了在Android平台上开发移动应用程序的各种工具集。
3.2.安装java环境
3.3.启动配置好SDK的Android版本eclipse Android Studio(类似Idea)
3.3.1. 检查是否成功:
cmd → java -version
3.3.2. Android studio安装
3.3.3. 创建虚拟机
Android App开发一般需要模拟器来测试程序的正确性
Android Virtual Device,就是Android运行的虚拟设备,是Android的模拟器识别。建立的Android App要运行,必须创建AVD,每个AVD上可以配置很多的运行项目。
简而言之:AVD即用于Android开发调试的模拟机。
AVD name:填写的虚拟机名称,纯英文和数字组成。
- Device:设定模拟的设备,一般选择手机型号:3.2QVGA(ADP2)(320480: mdpi)。
- Target:安装Android的版本,目前4.0是主流,即可选Android4.0.3 API 15。
- CPI/ABi:模拟的CPU型号,这里的ARM是手机的CPU型号。
- Keyboard:务必勾选“Hardware keyboard present”。
- Skin:务必勾选“Display a skin with hardware controls”。
- Front camera/Back camera:是否模拟前置和后置摄像头,装有Cam的读者可以考虑。
- RAM:设置模拟器内存,一般在512~1024M。 VM Heap:每一个应用的最大内存空间分配,默认即可。
- SD Card:选在size上,这个就是在默认目录里自动建立一个模拟SD卡的文件,SD卡的大小随意,也可以不填,不填代表不适用SD卡。
3.3.4. 启动虚拟机
四、ADB
4.1.ADB介绍
ADB全称Android Debug Bridge, 是android sdk里的一个工具, 用这个工具可以直接操作管理android模拟器或者真实的andriod设备(如G1手机)
它的主要功能有:
- 运行设备的shell(命令行)
- 管理模拟器或设备的端口映射
- 计算机和设备之间上传/下载文件
- 将本地apk软件安装至模拟器或android设备
4.2.配置ADB环境变量
打开:adt-bundle-windows-x86_64_20140101文件
找到adb.exe所在路径
配置ADB_HOME环境变量
参考java环境变量配置
显示成功:
4.3.ADB常用指令
- 查看设备:adb devices
这个命令是查看当前连接的设备, 连接到计算机的android设备或者模拟器将会列出显示 - 安装软件:adb install -r (APK路径)
-r 代表如果apk已安装,重新安装apk并保留数据和缓存文件。apk路径则可以直接将apk文件拖进cmd窗口,记得加空格。 - 卸载软件
adb uninstall <软件名>
adb uninstall -k <软件名>
如果加 -k 参数,为卸载软件但是保留配置和缓存文件
问程序员--com.example.test -
登录设备shell
adb shell
adb shell
这个命令将登录设备的shell.
后面加将是直接运行设备命令, 相当于执行远程命令 -
查看手机内存情况
adb shell dumpsys cpuinfo
-
查看内存情况
adb shell getprop | findstr dalvik 本机内存的使用情况
-
查看应用内存使用情况
adb shell dumpsys meminfo +包名:应用的内存使用情况
-
列出手机装的所有app的包名:
adb shell pm list packages
-
列出系统应用的所有包名:
adb shell pm list packages -s
-
列出除了系统应用的第三方应用包名:
adb shell pm list packages -3
4.4.adb logcat 查看手机日志
- adb logcat 命令格式 : adb logcat [选项] [过滤项], 其中 选项 和 过滤项 在 中括号 [] 中, 说明这是可选的;
- 在命令行中输入 adb logcat --help 命令, 就可以显示该命令的帮助信息;
- ">"输出 : ">" 后面跟着要输出的日志文件, 可以将 logcat 日志输出到文件中, 使用adb logcat > log 命令
- 指定 logcat 的日志输出格式 :
-- "-v"选项 : 使用adb logcat -v time 命令, 可以查看日志的输出时间; - "process"格式 : " 优先级 (进程ID) : 日志信息 ", 使用adb logcat -v process 命令;
- 将手机日志输出到本地文件中
adb logcat -v time process > C:/log/aa.txt - 有多台设备是adb选择设备
adb -s 设备名称 logcat -v time process >C:/log/aa.txt - Android 的日志分为如下几个级别:
V —— Verbose(最低,输出得最多)
D —— Debug
I —— Info
W —— Warning
E —— Error
F —— Fatal
S —— Silent(最高,啥也不输出)
按某级别过滤日志则会将该级别及以上的日志输出。
比如,命令:adb logcat *:W 将 Warning、Error、Fatal 和 Silent 日志输出
显示所有优先级大于等于“warning”的日志
五、APK牢固性(加密)
应用加固
防篡改:通过完整性保护和签名校验保护,能有效避免应用被二次打包,杜绝盗版应用的产生;
防逆向:通过对代码进行隐藏以及加密处理,使攻击者无法对二进制代码进行反编译,获得源代码或代码运行逻辑;
防调试:通过反调试技术,使攻击者无法调试原生代码或Java代码,阻止攻击者获取代码里的敏感数据。
网上有很多Apk加固的第三方平台,最有名的应当属于:爱加密和梆梆加固了。其实加固说的简单点就是对源Apk进行加密,然后在套上一层壳即可
六、Monkey测试
6.1.参考资料
http://blog.csdn.net/jlminghui/article/details/38238443
6.2.Money介绍
顾名思义,Monkey就是猴子, Monkey测试,就像一只猴子, 在电脑面前,乱敲键盘在测试。
通过Monkey程序模拟用户触摸屏幕、滑动Trackball、 按键等操作来对设备上的程序进行压力测试,检测程序多久的时间会发生异常。
6.3.Monkey用来做什么
Monkey 主要用于Android 的压力测试自动的一个压力测试小工具, 主要目的就是为了测试app 是否会Crash(崩溃)。
6.4. Monkey 前提条件
- 环境配置:把adb加入系统环境,手机开启开发者模式
- 连接手机,获取测试的包名。获取包名的方法
- Monkey编写测试命令,并运行。monkey操作命令
如果要提前中结束测试,中断运行中的monkey
CTRL+C
adb shell ps | grep monkey 返回进程号
adb shell kill [刚才查到的进程号]
6.5Monkey程序介绍
- Monkey程序由Android系统自带,使用Java语言写成,在Android文件系统中的存放路径是: /system/framework/monkey.jar;
- Monkey.jar程序是由一个名为“monkey”的Shell脚本来启动执行,shell脚本在Android文件系统中 的存放路径是:/system/bin/monkey;
- Monkey 命令启动方式:
a)可以通过PC机CMD窗口中执行: adb shell monkey {+命令参数}来进行Monkey测试
b)在PC上adb shell 进入Android系统,通过执行 monkey {+命令参数} 来进行Monkey 测试
c ) 在Android机或者模拟器上直接执行monkey 命令,可以在Android机上安装Android终端模拟器
七、Monkey 命令 基本参数介绍
7.1.使用monkey测试手机所有程序
adb shell monkey 100 执行monkey测试100次 针对rom测试或者
使用adb指令,安装Login.apk
7.2.-p <允许的包名列表>
adb shell monkey -p com.example.login 100
用此参数指定一个或多个包。指定包之后,monkey将只允许系统启动指定的app。如果不指定包, monkey将允许系统启动设备中的所有app。
指定一个包:
7.3.显示日志详细程度
用于指定反馈信息级别(信息级别就是日志的详细程度),总共分3个级别,分别对应的参数如下 表所示:
Level 0 : adb shell monkey -p com.example.login -v 100 // 缺省值,仅提供启动提示、测试完成和最终结果等少量信息
Level 1 : adb shell monkey -p com.example.login -v -v 100 // 提供较为详细的日志,包括每个发送到Activity的事件信息
Level 2 : adb shell monkey -p com.example.login -v -v -v 100 // 最详细的日志,包括了测试中选中/未选中的Activity信息
7.4.Monkey日志分析
将log信息写到文档中
adb shell monkey 100 >c:/log/b.txt
正常情况, 如果Monkey测试顺利执行完成, 在log的最后, 会打印出当前执行事件的次数和所花费的时间; // Monkey finished 代表执行完成
随机数种子
用亍指定伪随机数生成器的seed值,如果seed相同,则两次Monkey测试所产生的事件序列也相同的。 示例:
monkey测试1:adb shell monkey -p com.shjt.map –s 10 100
monkey测试2:adb shell monkey -p com.shjt.map –s 10 100
7.5.--throttle <毫秒>
用亍指定用户操作(即事件)间的时延,单位是毫秒;如果不指定这个参数,monkey会尽可能快的 生成和发送消息。
例:adb shell monkey -p com.example.login --throttle 300 100
表示执行100个伪随机用户事件流,事件间隔为300毫秒。
注:一般设置为300毫秒,原因是实际用户操作的最快300毫秒左右一个动作事件。
7.6.--pct-touch
调整触摸事件的百分比。(触摸事件是指在屏幕中的一个down-up事件,即在屏幕某处按下并抬起的操作)
–pct-touch:触摸事件。即在某一位置的Down-Up(手指的放下和抬起)事件。Down(ACTION_DOWN)和Up(ACTION_UP)的坐标临近,但并非相同。
如:adb shell monkey -pct-touch 67 -v 10
表示执行10个伪随机用户事件流,并调整其中触摸事件的百分比为67%。
注:此参数设置要适应当前被测应用程序的操作,比如一个应用80%的操作都是触摸,那就可以将此参数的百分比设置成相应较高的百分比。
7.7.--pct-motion
调整motion事件百分比。(motion事件是由屏幕上某处一个down事件、一系列伪随机的移动事件和一个up事件组成)
–pct-motion:动作事件。以Down(ACTION_DOWN)开始,Up(ACTION_UP)结尾,中间至少有一次Move(ACTION_MOVE)。
如:adb shell monkey -pct-motion 67 -v 10
表示执行10个伪随机用户事件流,并调整其中动作事件的百分比为67%。
注:这里的移动是直线滑动
7.8.--ignore-crashes
作用:通常,应用发生崩溃或异常时Monkey会停止运行。如果设置此项,Monkey将继续发送事件给系统,直到事件计数完成。
正常操作,不忽略异常
忽略异常
7.9.--ignore-timeouts(ANR)
作用:通常,应用程序发生任何超时错误(如“Application Not responding”对话框)Monkey将停止运行,设置此项,Monkey将继续发送事件给系统,直到事件计数完成。
7.10.Monkey 实例
用monkey 命令 对登录apk进行 性能测试
monkey -p com.tencent.mtaexample -s 23 --throttle2000 --ignore-crashes --ignore-timeouts -v -v -v 100000>/data/local/tmp/log.txt 2>&1 &
- -p后面接着的对应的包名,如果是整机测试,就不需要 -p package_name
- -s后面是对应的种子数,好像就是操作步骤,根据她们测试的经验,一般种子数在23,同步她们测试的结果,一般种子的个数固定为23,和她们选择的操作步骤就是同步的。
- --ignore-crashes --ignore-timeouts 这里是在monkey测试的过程中遇到carash或者timeout的情况时忽略掉,一般不设置时,出现carash或者timeout时,Monkey测试会终止。这里是防止Monkey测试终止。
- -v 指的是Monkey测试时打印log级别。
- 100000 这里是指点击的次数,根据她们测试的经验,对于单个应用程序这个次数设置在100000次就可以了;如果是整机,一般设置在500000次。
/data/local/tmp/log.txt测试的log记录在手机上/data/local/tmp/ 下面的log.txt里面,这个名字可以自己写。- 2>&1 固定的写法,这个也很重要,代表的意思是中间忽略的东东的日志一并输入到指定的文件中。
- 最后单独的一个"&" 是一旦Monkey测试开始了,之后可以拔掉数据线,不会影响Monkey测试。
- 测试所有模块 monkey -s 23 --ignore-crashes --ignore-timeouts -v-v -v 100000> /data/local/tmp/log.txt 2>&1 &
adb shell monkey -p com.example.login --ignore-crashes --ignore-timeouts --throttle 100 --pct-touch 50 --pct-motion 50 -v -v 1000 >c:\login\c.txt
7.11.Monkey异常分析
一般我们可以一次发送5万次随机事件的请求,每个请求之间的间隔为150毫秒,测试大约会进行40min,完成以后就可以查看日志。
日志中可能的错误:
1.程序异常退出,uncausedexception (ctrl+f搜索‘Fatal’)
2.程序强制关闭,ForceClosed (简称FC) (同上)
3.程序无响应,ApplicationNo Response(ctrl+f搜索‘ANR ’,加空格是为了屏蔽掉一些无效信息)
4.手动生成。
Monkey 执行中断, 在log最后也能看到当前执行次数
7.12.monkey事件百分比
首先注意一点,这个Event percentages在不同版本的SDK版本中顺序可能会不一样。
下列中monkey源代码是从android4.4.2SDK中反编译出来的
由上图可以看出
Event percentages:
0:--pct-touch//touch
events percentage触摸事件百分比(触摸事件是一个在屏幕单一位置的按下-抬起事件)
1:--pct-motion//motion
events percentage手势事件百分比(手势事件是由一个在屏幕某处的按下事件、一系列的伪随机移动、一个抬起事件组成)即一个滑动操作,但是是直线的,不能拐弯
2:--pct-pinchzoom//pinch
zoom events percentage二指缩放百分比,即智能机上的放大缩小手势操作
3:--pct-trackball//trackball 即单纯的Move(ACTION_MOVE)
events percentage轨迹球事件百分比(轨迹球事件包括一个或多个随机移动,有时还伴有点击。轨迹球现在智能手机上已经没有了,就是类似手柄的方向键一样)
4:--pct-rotation//screen
rotation events percentage屏幕旋转百分比,横屏竖屏
5:--pct-nav//nav 基本导航事件。即来自于方向输入设备的上下左右操作。
events percentage”基本”导航事件百分比(导航事件包括上下左右,如方向输入设备的输入)老手机的上下左右键,智能机上没有
6:--pct-majornav//major 即Navigation Bar的确认,菜单,返回键等
nav events percentage”主要”导航事件百分比(这些导航事件通常会引发UI的事件,例如5-way pad的中间键、回退键、菜单键)
7:--pct-syskeys//system(key)
operations percentage”系统”按钮事件百分比(这些按钮一般专供系统使用,如Home, Back, Start Call, End Call,音量控制)
8:--pct-appswitch//app
switch events percentage启动activity事件百分比。在随机的间隔里,Monkey会执行一个startActivity()调用,作为最大程度覆盖包中全部Activity的一种方法
9:--pct-flip//keyboard
flip percentage键盘轻弹百分比,如点击输入框,键盘弹起,点击输入框以外区域,键盘收回
10:--pct-anyevent//anyevents 该事件可能包含其他上述事件。
percentage其他类型事件百分比。包括了其他所有的类型事件,如按键、其他不常用的设备上的按钮等等。
八、手机兼容性测试
Android App兼容性测试,是一个比较重要的App评价内容,
说到测试阶段,兼容性测试主要是对App在各类机型上的兼容、适配等情况进行测试。搞清楚这一阶段的测试重点后,因此,Android App在进行兼容性测试前,一定要做好其前序测试内容,否则兼容性测试效果将会较差。
8.1.机型配置问题。
Android兼容测试一定要做到宽范围覆盖,如果做不到这个,那么就违背了兼容性测试的目标——测试App在各类机型、系统上的运行是否兼容、适配。
因此,兼容性测试必须要在各个机型、系统上对App进行运行、测试,查看相关UI是否适配、功能是否正常。所以,必须要为兼容性测试配备尽可能多的机型。这是不是意味着,你的公司要去购置各类机型设备?当然不是。对于一般的公司或者开发者,这将会是一大笔开销,为了节约资金而造成进行覆盖率较低的话,则失去了兼容性测试的意义。另外,这也是没必要的,因为往往你就一个或两三个App,为了这少量App测试,而去购置如此大量的设备,无疑是一种资源浪费。除此,还有一个原因,将在兼容性测试如何展开里去说。除此,机型量的多少也是一个权衡的过程,目前,通用的兼容性测试一般覆盖Top100-300的机型,对于实在是小量机型或者老旧机型,用户量非常小,在一定程度上,是否需要覆盖则需要权衡,总的来说,Top排名的手机基本足够。
8.2.兼容性如何展开?
这是一个经验性的过程,可以去借鉴大型互联网公司的成熟App的测试方法。目前,无论是国际知名App,还是国内知名App,谷歌、Facebook,BAT等,他们都有大量的App对外推出,对于App兼容性要求非常高,因此,他们的做法是非常值得借鉴的。这些公司的兼容性测试,都有一个相同的解决方案,那就是自动化测试框架与平台的实现。通过浏览上述公司在各种大会公布的内容,或者通过论坛知识分享,都能看到,他们不仅有自己的测试实验室,拥有大量的手机,除此,还有一整套的自动化测试平台,来完成兼容性测试。
8.3.有哪些好用的App云测试平台?
目前对移动App的测试主要指的是下面几部分:
兼容性测试——App对不同手机、操作系统版本的兼容性测试,包括安装、启动、卸载等。
功能测试——遍历应用的每一个角落,查看应用的功能、逻辑是否正常,完整。
性能测试——应用的性能怎样,如启动时间、反应时间、CPU占用率,内存占用率等。
稳定性测试——在一定时间内对App进行持续地测试,测试App运行的稳定性。
网络场景测试——测试不同网络环境中App的运行状况,如2G&3G,弱网络等。
以下是国内几家主要的云测试平台:
Testin:Testin云测|全球领先的App及手游测试平台
Testin是国内较早涉足云测试领域的公司之一。Testin在云端部署了300多款1000多部测试终端,终端种类及数量都比较全面。支持Android与iOS系统。但目前仅少部分服务为免费,绝大多数服务为收费项目,故而使用成本较高,具体收费情况请查看官网的介绍。
腾讯优测:优测网-让测试更简单
腾讯优测是腾讯旗下的云测试服务平台,拥有超过1000款测试终端,机型数量庞大。但仅支持Android,暂不支持iOS系统。提供兼容性测试服务,不提供性能测试、功能测试及稳定性测试服务。另外,腾讯优测还提供“云手机”服务,开发者可以远程控制测试终端,实时查看App安装、运行效果。优测目前的功能为收费(新注册的用户可获得官方赠送的礼包),每天限制提交2次测试。
移动测试学习端口:https://wetest.qq.com/guide/learn-source
贯众云测试:贯众云测试
贯众云测试是中国移动旗下的云测试服务平台,目前拥有超过100款市面主流终端,支持Android及iOS系统。提供兼容性测试、功能测试、性能测试,稳定性测试(12小时)及网络场景测试服务(2G&3G&4G)。支持Appium脚本。缺点是终端数量较少,优点是功能较为全面,且基本功能都是免费,使用成本还是蛮低的。
百度MTC:百度移动云测试中心
百度MTC是百度开放平台旗下的移动云测试中心。提供超过500款热门机型,目前只支持Android系统,暂不支持iOS系统。提供的测试服务种类有兼容性测试、性能测试、功能测试。并且提供了脚本录制工具,类似Testin。但脚本录制工具更新速度较慢。百度MTC的服务目前为收费服务,具体收费情况请查看官网的介绍。
阿里MQC:MQC 阿里移动质量中心
阿里MQC是阿里巴巴旗下的移动测试平台。提供上百款测试终端,支持Android及iOS系统。提供兼容性测试、功能测试、性能测试以及稳定性测试(1小时)。测试脚本需使用Robotium或Appium测试框架编写,难度较高。MQC也提供了远程的真机调试,功能和腾讯优测类似,看来腾讯和阿里还真是一对儿冤家啊。
8.4.腾讯云测兼容性报告
8.5. 百度MTC-移动云测试中心
百度MTC是百度开放平台旗下的移动云测试中心。提供超过500款热门机型,目前只支持Android系统,暂不支持iOS系统。提供的测试服务种类有兼容性测试、性能测试、功能测试。并且提供了脚本录制工具,类似Testin。但脚本录制工具更新速度较慢。百度MTC的服务目前为收费服务。
1、移动app测试服务包含:自动化测试、人工测试、用户接受度评测、远程真机调试。点击创建测试任务即可
2、以功能回放测试为例:创建测试任务。步骤为上传app,上传用例,选择测试终端,截图,邮件。
3、测试报告包含:应用基本信息、结论总览、问题分布、问题列表、问题终端分布、性能结论、性能分析、内存占用分析、终端列表。
点击进入终端详细报告,包含内容:终端信息、测试结果、性能结果、测试截图、安装日志、logcat日志、脚本日志、性能详情、屏幕录像。
8.6.各款云测试平台对比
8.7.总体总结
1、真机租用:Testin云测和AWS Device Farm,均包含iOS和Android,型号全,优先推荐。
2、AWS Device Farm支持框架Appium Java JUnit、Appium Java TestNG、Appium Python、Calabash、Instrumentation 、UI Automation 和 XCTest,终端支持Android和iOS,web,优先推荐
AWS Device Farm支持网络场景选择,其他均不支持。但是它的性能指标比较少,只有三项,CPU,Memroy,Threads
3、百度MTC支持Appium、Robotium、Uiautomator框架,但是创建测试任务时,过于简单,具体测试内容展示不明确。
深度性能测试无亮点,与兼容性测试中的性能数据无明显优势。
4、阿里MQC支持在线录制脚本,自行编写脚本支持Appium、Robotium框架
测试服务类型分布清晰,按测试系统划分,支持Android,iOS,yunos。创建测试任务时,测试步骤类型表述清晰。
5、腾讯优测-Xtest工具,支持录制脚本。深度测试服务的报告很全面,但是价格稍贵。
6、Testin是国内较早涉足云测试领域的公司之一。Testin在云端部署了300多款1000多部测试终端,终端种类及数量都比较全面。支持Android与iOS系统,步骤简单,便于操作。
九、真机测试
注意:下载手机助手,换一根数据线,
9.1.第一步:让手机显示开发者选项
多次点击版本号,显示开发者选项
9.2.允许USB调试
若使用真机,用USB将手机和电脑连接,在手机端进行操作:
(1)选择USB连接方式为设备文件管理;
(2)设置->开启开发者选项->勾选‘USB调试’(真机和模拟器上皆需进行)。
9.3.检测连接设备
在终端中输入’adb devices‘,此时已连接设备列表下应存在设备序列号
9.4.执行相应的测试操作
9.5.同屏
10.作业:
adb devices
adb install xxx
adb uninstall 程序包名
adb shell 进入手机
adb shell dumpsys meminfo +包名:应用的内存使用情况
adb logcat -v time process > C:/log/aa.txt
adb logcat *:W
用monkey 命令 对登录apk进行 性能测试
adb shell monkey -p com.example.login --ignore-crashes --ignore-timeouts --throttle 100 --pct-touch 50 --pct-motion 50 -v -v 1000 >c:\login\c.txt