所谓的猴子测试(Money Test),也称搞怪测试,怪用测试,指在软件测试中﹐测试者可以进行各种稀奇古怪的操作模式,用以测试软件的稳定度。猴子测试,通俗来讲是一种系统对信号因子输入稳健性的测试方法。一般用于计算机软件程序这样的逻辑严密性要求高的系统。
猴子测试之所以会广泛用于软件BUG测试,是因为系统的“可重复性”以及系统输入因子“有限性”和“单纯性”。
通常情况下,复杂的测试会比简单的测试找到更多的bug。但是大部分的自动化测试都是简单的。我们期待一个输入后得到一个输出,然后程序回到一个已知的基本状态,然后我们再去执行另外一个简单的测试。我们设计测试用例一般都是按照一定的逻辑顺序,是经过深思熟虑的,但是这样的测试仍然是简单的测试。当我们回到程序的基本状态,则丢弃了前面测试的“历史”。而真正的用户不会这样操作,他们把一系列简单的动作串起来,形成一个复杂的动作流。
我们的简单测试不会模拟那些用户行为。因此如果一个简单的动作引起了另外一个动作的失败,我们的简单测试不会找到那个bug…因此,我们需要使用复杂序列的、以前未使用过的测试,在这方面猴子比人更有效。
猴子测试就是百般刁难,乱按一通,系統也不能宕机或者数据出现差错,这样才能称得上是经得起考验的程序。
简单易用,方便快捷,并且理论上可以测试到所有bug,因为理论上只要次数最够多,所有事件都会发生。
遍历界面有限。 在monkey测试中,由于事件的随机性,使得monkey容易卡在某些简单页面,比如登陆页面这种可操作内容很少的页面。导致测试效果不佳。测试有效性大打折扣。
无法得知Bug的复现步骤。由于Monkey的随机性,如果Bug是由于事件发生的特定序列产生的,往往很难复现Bug。
路径回环。由于monkey太过随机,最后根本无法控制,很容易陷于一个页面无法出来,或者陷入某个无关紧要的地方无法出来,导致测试结果并不具有很好的意义。这也是导致遍历界面有限的原因。
对monkey进行二次开发,例如maxin,可以通过一些黑白名单控制,或者输入指定事件流,或者指定不同的测试随机模式,深度优先或者控件识别等,同时加入一些熔断机制,在一个地方执行了太多次后可以自动触发熔断并拉起。但是这样还是会进入死循环,因为仍然不能解决路径回环的问题。
我们可以指定测试哪些页面,但是发现如果指定某几个Activity,虽然不会陷入路径回环,但随机的意义又不是那么大了,如果在几个页面进行随机,并且页面深度不是很深,那一直在这些页面测试也没有多大意义
我们可以根据应用的特点,适当调整各种事件的比例,adb也提供了这样的命令参数。
--pct-trackball
作用:调整滚动球事件百分比。(滚动球事件由一个或多个随机的移动事件组成,有时会伴随着点击事件)如不规则滑动解锁
--pct-nav 导航,现在手机基本没有导航了
---pct-syskeys 按键消息比例,主页、后退、音量增减
--pct-anyevent 其他不常用的按键比例的设置,不常用
Monkey测试产生以上问题的原因就是太随机了,所以我们如果降低甚至抑制这种随机性,就可以避免上述的问题,调整各种事件的比例虽然降低了随机性,但仍可能存在上述问题。基于这个原因,我们可以编写特定的脚本,让事件依据我们设定的顺序发生,这样就可以解决上述问题:由于我们可以设定事件发生顺序,自然可以到达任意深度的页面,也可以定位出Bug。
但这种方式只适用于我们已经有明确的思路,特别想测试APP中某些功能。
可以看出,测试的随机性和上述问题的解决是很难兼得的,我们必须根据我们应用的特性选择合适的方案。
对于页面功能不多,控件简单的应用,我们可以采用自定义脚本进行测试,因为在这种情况下测试所有功能也是可能的。
对于页面结构比较规律的应用,比如直播软件,每个页面结构相对固定(直播间都长一样),或者电商app(每种商品的页面大致相同)。由于随机性,所以点击不会一直在同一个地方进行点击,所以不容易一直卡在同一个页面。
每台android手机里都有Monkey工具,但是我们是看不到的,因为,Monkey不是一个可视化的工具。我们需要借助ADB才能与Monkey进行通讯。
ADB全名为Android Debug Bridge ,安卓调试桥,是实现电脑设备和手机沟通的桥梁。在开始Monkey测试之前,我们需要搭建环境。第一个前提条件就是安装Java JDK,第二个条件就是安装android SDK。
配置成功后,打开cmd,输入以下命令:
adb
表示配置成功。
配置成功后,打开手机的开发者模式,然后打开USB调试,并用数据线连接手机和电脑,然后在cmd中输入以下命令
adb devices
出现以下画面,表示连接成功
方法一:
在cmd中输入以下命令
adb shell pm list packages
可以查看手机所有的安装包(以下只显示部分)可以通过名称找出你要评测的包
方法二
输入
adb shell pm list packages -3
可以查看手机上所有的第三方安装包,可以通过名称找出你要评测的包
方法三
输入命令
adb shell logcat|findstr "Displayed
其中com.ss.android.article.news
表示包名之后是APPactivity,可用于自动化评测。
对整机进行测试
使用adb shell monkey -v 100
对整机进行测试
对指定应用进行测试
找到包名然后使用一个简单的命令进行monkey测试,
adb shell monkey -p com.ss.android.article.news -v -v -v 100
其中
-p
表示指定测试的程序
-v
表示查看monkey的执行日志,其中-v
越多,表示信息越详细。
其分别对应三个等级:
Level 0(缺省值)
除启动提示、测试完成和最终结果之外,提供较少信息。
Level 1
提供较为详细的测试信息,如逐个发送到Activity的事件。
Level 2
提供更加详细的设置信息,如测试中被选中的或未被选中的Activity
100
表示执行的测试事件为100个
执行后会出现详细的信息,同时会发现,手机App界面自动进行了100次随机操作。
Monkey运行时输出的日志一般包含四类信息,分别是测试命令信息、伪随机事件流信息、异常信息、Monkey执行结果信息。
测试命令信息
-----随机种子,执行事件的数目-----
:Monkey: seed=1639214805777 count=100
-----可运行的应用列表-----
:AllowPackage: com.ss.android.article.news
-----表示启动的活动-----
:IncludeCategory: android.intent.category.LAUNCHER
:IncludeCategory: android.intent.category.MONKEY
-----表示打开的活动-----
// Selecting main activities from category android.intent.category.LAUNCHER
// Seeded: 1639214805777
-----各事件的百分比-----
// Event percentages:
// 0: 15.0%
// 1: 10.0%
// 2: 2.0%
// 3: 15.0%
// 4: -0.0%
// 5: -0.0%
// 6: 25.0%
// 7: 15.0%
// 8: 2.0%
// 9: 2.0%
// 10: 1.0%
// 11: 13.0%
日志中会显示进行各种操作的百分比:其含义会随着Android版本的不同而不同,为了了解其含义,首先使用如下命令查看Android版本
adb shell getprop ro.build.version.release
我的查询结果为
通过阅读对应版本的money源码中的MonkeySourceRandom.java文件,可以看到其Event序列是
public static final int FACTOR_TOUCH = 0;
public static final int FACTOR_MOTION = 1;
public static final int FACTOR_PINCHZOOM = 2;
public static final int FACTOR_TRACKBALL = 3;
public static final int FACTOR_ROTATION = 4;
public static final int FACTOR_NAV = 5;
public static final int FACTOR_MAJORNAV = 6;
public static final int FACTOR_SYSOPS = 7;
public static final int FACTOR_APPSWITCH = 8;
public static final int FACTOR_FLIP = 9;
public static final int FACTOR_ANYTHING = 10;
public static final int FACTORZ_COUNT = 11; // should be last+1
所以对应的事件解释为
// 0: 15.0% 触摸事件TOUCH,--pct-touch
// 1: 10.0% 手势事件MOTION, --pct-motion
// 2: 2.0% 两指缩放事件PINCHZOOM,--pct-pinchzoom
// 3: 15.0% 轨迹球事件TRACKBALL,--pct-trackball
// 4: -0.0% 屏幕旋转事件ROTATION, --pct-rotation
// 5: 25.0% 基本导航事件nav, --pct-nav
// 6: 15.0% 主要导航事件majornav, --pct-majornav
// 7: 2.0% 系统按钮事件sysops, --pct-syskeys
// 8: 2.0% 启动activity事件appswitch, --pct-appswitch
// 9: 1.0% 键盘轻弹事件flip, --pct-flip
// 10: 13.0% 其它事件,包括按键和不常用的按键,--pct-anyevent
伪随机时间流信息
Monkey开始执行测试后,会顺序输出执行的事件流信息。
-----跳转到com.android.article.news里的activity.MainActivity这个活动-----
:Switch: #Intent;action=android.intent.action.MAIN;category=android.intent.category.LAUNCHER;launchFlags=0x10200000;component=com.ss.android.article.news/.activity.MainActivity;end
-----允许启动com.android.article.news里的activity.MainActivity这个活动-----
// Allowing start of Intent { act=android.intent.action.MAIN cat=[android.intent.category.LAUNCHER] cmp=com.ss.android.article.news/.activity.MainActivity } in package com.ss.android.article.news
-----延迟(可以在命令参数中设置延迟)-----
Sleeping for 0 milliseconds
-----触摸事件-----
:Sending Touch (ACTION_DOWN): 0:(842.0,1801.0)
-----基本导航事件-----
C:\Users\86156>adb shell monkey -p com.ss.android.article.news -v -v -v 100
异常信息
当Monkey执行过程中遇到错误时,会输出对应的异常信息。由于本次实验的软件没有遇到错误,所以没有输出信息。
执行结果信息
-----产生了100次事件-----Events injected: 100-----表示屏幕旋转信息-----:Sending rotation degree=0, persist=false-----表示丢弃的事件信息-----:Dropped: keys=1 pointers=0 trackballs=0 flips=0 rotations=0-----网络状态-----## Network stats: elapsed time=700ms (0ms mobile, 0ms wifi, 700ms not connected)----最终执行结果-----// Monkey finished
3.2中实现了使用monkey进行随机测试的过程,但有时候我们需要根据我们的需求进行测试,这时候就要设计特定的测试样例。
monkey提供了一系列脚本命令以便于我们根据需求设计测试样例,主要有
LaunchActivity(pkg_name, cl_name): 启动应用,第一个参数DispatchPress(keycode): 向系统发送一个固定的按键事件;例如home键,back键;参数是按键值 ,按键值可查看keycodeUserWait:让脚本的执行暂停一段时间,做一个等待操作RotateScreen(rotationDegree, persist): 翻转屏幕,第一个参数是旋转角度,第二个是旋转后是否停在当前位置Tap(x, y) :单击事件,点击屏幕,参数是点击坐标Drag(xStart, yStart, xEnd, yEnd) :在屏幕上滑动,坐标是从哪一点滑到哪一点DispatchString(input): 输入字符串RunCmd(cmd) :执行shell命令,比如截图 screencap -p /data/local/tmp/tmp.pngDispatchFlip(true/false) :打开或者关闭软键盘UserWait(sleepTime) :睡眠指定时间
本次实验中主要实现以下测试案例:
打开今日头条,点击搜索框,输入"abc",然后点击搜索。播放第一视频,并在播放过程中调整音量(增大和减小)。
通过资料中的脚本命令可知,输入字符串可以是使用DispatchString(input)
函数,但我们还要点击搜索框和搜索按键,所以要获取对应按键的坐标。最后可以使用RunCmd(Cmd)
进行截图。
在保持设备连接的情况下。执行以下命令获取当前事件,
adb shellgetevent
然后点击屏幕对应区域,可以看到如下信息
有四列信息,分别为:设备名称,Code,Type,Value.
Code是指:该事件是什么。
Type是指:事件的相关参数
Value是指:事件参数的值。
code值:
0003—>绝对坐标
0000—>同步事件。代表某一操作的完成。
0001—>key_broad。
0002—>相对坐标。
Type值,我们只关注两个值
0035—>绝对坐标X
0036—>绝对坐标Y
value:表示对应的值
例子中点击的坐标为(0x1d2=466,0xad=173)
根据需求已经获取的信息,编写以下脚本
# Start of Script type= user count= 10 speed= 1.0 start data >> #open the appLaunchActivity(com.ss.android.article.news, com.ss.android.article.news.activity.MainActivity) UserWait(8000)Tap(576, 239)UserWait(2000) DispatchString(abc)UserWait(2000) Tap(1298, 216)UserWait(2000) Tap(746,1277)UserWait(8000) #turn up and down the volumeDispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(3000) DispatchPress(25)UserWait(1000) DispatchPress(25)UserWait(1000) DispatchPress(25)UserWait(1000)
因为Monkey是运行在设备上的,所以需要将脚本先传到设备上,
通过adb push monkey.txt sdcard/monkey.txt
将文件推送到手机sd卡上
然后通过adb shell monkey -f sdcard/monkey.txt -v 1
执行脚本文件
执行日志如下:
可以看到,每个事件都成功执行了。