使用Monkey进行软件测试(随机测试+脚本测试)

文章目录

      • 一、基础概念
      • 二、monkey测试的优缺点
        • 2.1 优点
        • 2.2缺点
        • 2.3 解决方案
          • 2.3.1 二次开发
          • 2.3.2 指定测试页面
          • 2.3.3 调整各种事件的比例
          • 2.3.3 编写自定义测试脚本
          • 2.3.4 分析APP特性,选择合适的方案
      • 三、monkey测试的基本过程
        • 3.1 环境准备
          • 3.1.1环境
          • 3.1.2 配置过程
        • 3.2 测试adb程序
          • 3.2.1 连接设备
          • 3.2.2 获取包名
          • 3.2.3 使用monkey测试
          • 3.2.4 日志内容解析
        • 3.3脚本自动化测试
          • 3.3.1需求分析
          • 3.3.2 获取坐标
          • 3.3.3编写脚本
          • 3.3.4 执行脚本

一、基础概念

所谓的猴子测试(Money Test),也称搞怪测试,怪用测试,指在软件测试中﹐测试者可以进行各种稀奇古怪的操作模式,用以测试软件的稳定度。猴子测试,通俗来讲是一种系统对信号因子输入稳健性的测试方法。一般用于计算机软件程序这样的逻辑严密性要求高的系统。

猴子测试之所以会广泛用于软件BUG测试,是因为系统的“可重复性”以及系统输入因子“有限性”和“单纯性”。

通常情况下,复杂的测试会比简单的测试找到更多的bug。但是大部分的自动化测试都是简单的。我们期待一个输入后得到一个输出,然后程序回到一个已知的基本状态,然后我们再去执行另外一个简单的测试。我们设计测试用例一般都是按照一定的逻辑顺序,是经过深思熟虑的,但是这样的测试仍然是简单的测试。当我们回到程序的基本状态,则丢弃了前面测试的“历史”。而真正的用户不会这样操作,他们把一系列简单的动作串起来,形成一个复杂的动作流。

我们的简单测试不会模拟那些用户行为。因此如果一个简单的动作引起了另外一个动作的失败,我们的简单测试不会找到那个bug…因此,我们需要使用复杂序列的、以前未使用过的测试,在这方面猴子比人更有效。

猴子测试就是百般刁难,乱按一通,系統也不能宕机或者数据出现差错,这样才能称得上是经得起考验的程序。

二、monkey测试的优缺点

2.1 优点

简单易用,方便快捷,并且理论上可以测试到所有bug,因为理论上只要次数最够多,所有事件都会发生。

2.2缺点

  • 遍历界面有限。 在monkey测试中,由于事件的随机性,使得monkey容易卡在某些简单页面,比如登陆页面这种可操作内容很少的页面。导致测试效果不佳。测试有效性大打折扣。

  • 无法得知Bug的复现步骤。由于Monkey的随机性,如果Bug是由于事件发生的特定序列产生的,往往很难复现Bug。

  • 路径回环。由于monkey太过随机,最后根本无法控制,很容易陷于一个页面无法出来,或者陷入某个无关紧要的地方无法出来,导致测试结果并不具有很好的意义。这也是导致遍历界面有限的原因。

2.3 解决方案

2.3.1 二次开发

对monkey进行二次开发,例如maxin,可以通过一些黑白名单控制,或者输入指定事件流,或者指定不同的测试随机模式,深度优先或者控件识别等,同时加入一些熔断机制,在一个地方执行了太多次后可以自动触发熔断并拉起。但是这样还是会进入死循环,因为仍然不能解决路径回环的问题。

2.3.2 指定测试页面

我们可以指定测试哪些页面,但是发现如果指定某几个Activity,虽然不会陷入路径回环,但随机的意义又不是那么大了,如果在几个页面进行随机,并且页面深度不是很深,那一直在这些页面测试也没有多大意义

2.3.3 调整各种事件的比例

我们可以根据应用的特点,适当调整各种事件的比例,adb也提供了这样的命令参数。

--pct-trackball 

作用:调整滚动球事件百分比。(滚动球事件由一个或多个随机的移动事件组成,有时会伴随着点击事件)如不规则滑动解锁

--pct-nav 导航,现在手机基本没有导航了

---pct-syskeys 按键消息比例,主页、后退、音量增减

--pct-anyevent 其他不常用的按键比例的设置,不常用
2.3.3 编写自定义测试脚本

Monkey测试产生以上问题的原因就是太随机了,所以我们如果降低甚至抑制这种随机性,就可以避免上述的问题,调整各种事件的比例虽然降低了随机性,但仍可能存在上述问题。基于这个原因,我们可以编写特定的脚本,让事件依据我们设定的顺序发生,这样就可以解决上述问题:由于我们可以设定事件发生顺序,自然可以到达任意深度的页面,也可以定位出Bug。

但这种方式只适用于我们已经有明确的思路,特别想测试APP中某些功能。

2.3.4 分析APP特性,选择合适的方案

可以看出,测试的随机性和上述问题的解决是很难兼得的,我们必须根据我们应用的特性选择合适的方案。

对于页面功能不多,控件简单的应用,我们可以采用自定义脚本进行测试,因为在这种情况下测试所有功能也是可能的。

对于页面结构比较规律的应用,比如直播软件,每个页面结构相对固定(直播间都长一样),或者电商app(每种商品的页面大致相同)。由于随机性,所以点击不会一直在同一个地方进行点击,所以不容易一直卡在同一个页面。

三、monkey测试的基本过程

3.1 环境准备

3.1.1环境
  • 电脑系统:window10
  • 手机系统:Android 10
  • JDK版本:1.8
  • SDK版本:1.0.41
3.1.2 配置过程

每台android手机里都有Monkey工具,但是我们是看不到的,因为,Monkey不是一个可视化的工具。我们需要借助ADB才能与Monkey进行通讯。

ADB全名为Android Debug Bridge ,安卓调试桥,是实现电脑设备和手机沟通的桥梁。在开始Monkey测试之前,我们需要搭建环境。第一个前提条件就是安装Java JDK,第二个条件就是安装android SDK。

  • 下载jdk 具体安装流程参考:https://blog.csdn.net/write6/article/details/79136388
  • 再下载sdk 具体安装流程参考:https://blog.csdn.net/u011541946/article/details/77142045

配置成功后,打开cmd,输入以下命令:

adb

出现以下画面:
使用Monkey进行软件测试(随机测试+脚本测试)_第1张图片

表示配置成功。

3.2 测试adb程序

3.2.1 连接设备

配置成功后,打开手机的开发者模式,然后打开USB调试,并用数据线连接手机和电脑,然后在cmd中输入以下命令

adb devices

出现以下画面,表示连接成功

使用Monkey进行软件测试(随机测试+脚本测试)_第2张图片

3.2.2 获取包名

方法一:

在cmd中输入以下命令

adb shell pm list packages

可以查看手机所有的安装包(以下只显示部分)可以通过名称找出你要评测的包
使用Monkey进行软件测试(随机测试+脚本测试)_第3张图片

方法二

输入

adb shell pm list packages -3

可以查看手机上所有的第三方安装包,可以通过名称找出你要评测的包

使用Monkey进行软件测试(随机测试+脚本测试)_第4张图片

方法三

输入命令

adb shell logcat|findstr "Displayed

同时打开待测的APP,出现以下画面,这里以今日头条为例
在这里插入图片描述

其中com.ss.android.article.news表示包名之后是APPactivity,可用于自动化评测。

3.2.3 使用monkey测试

对整机进行测试

使用adb shell monkey -v 100对整机进行测试

使用Monkey进行软件测试(随机测试+脚本测试)_第5张图片

对指定应用进行测试

找到包名然后使用一个简单的命令进行monkey测试,

adb shell monkey -p com.ss.android.article.news -v -v -v 100

其中

-p表示指定测试的程序

-v表示查看monkey的执行日志,其中-v越多,表示信息越详细。

其分别对应三个等级:

Level 0(缺省值)
除启动提示、测试完成和最终结果之外,提供较少信息。
Level 1
提供较为详细的测试信息,如逐个发送到Activity的事件。
Level 2
提供更加详细的设置信息,如测试中被选中的或未被选中的Activity

100表示执行的测试事件为100个

执行后会出现详细的信息,同时会发现,手机App界面自动进行了100次随机操作。

使用Monkey进行软件测试(随机测试+脚本测试)_第6张图片

3.2.4 日志内容解析

Monkey运行时输出的日志一般包含四类信息,分别是测试命令信息、伪随机事件流信息、异常信息、Monkey执行结果信息。

测试命令信息

-----随机种子,执行事件的数目-----
:Monkey: seed=1639214805777 count=100

-----可运行的应用列表-----
:AllowPackage: com.ss.android.article.news

-----表示启动的活动-----
:IncludeCategory: android.intent.category.LAUNCHER
:IncludeCategory: android.intent.category.MONKEY

-----表示打开的活动-----
// Selecting main activities from category android.intent.category.LAUNCHER
// Seeded: 1639214805777

-----各事件的百分比-----
// Event percentages:
//   0: 15.0%
//   1: 10.0%
//   2: 2.0%
//   3: 15.0%
//   4: -0.0%
//   5: -0.0%
//   6: 25.0%
//   7: 15.0%
//   8: 2.0%
//   9: 2.0%
//   10: 1.0%
//   11: 13.0%

日志中会显示进行各种操作的百分比:其含义会随着Android版本的不同而不同,为了了解其含义,首先使用如下命令查看Android版本

adb shell getprop ro.build.version.release

我的查询结果为

在这里插入图片描述

通过阅读对应版本的money源码中的MonkeySourceRandom.java文件,可以看到其Event序列是

public static final int FACTOR_TOUCH        = 0;
public static final int FACTOR_MOTION       = 1;
public static final int FACTOR_PINCHZOOM    = 2;
public static final int FACTOR_TRACKBALL    = 3;
public static final int FACTOR_ROTATION     = 4;
public static final int FACTOR_NAV          = 5;
public static final int FACTOR_MAJORNAV     = 6;
public static final int FACTOR_SYSOPS       = 7;
public static final int FACTOR_APPSWITCH    = 8;
public static final int FACTOR_FLIP         = 9;
public static final int FACTOR_ANYTHING     = 10;
public static final int FACTORZ_COUNT       = 11;    // should be last+1

所以对应的事件解释为

//   0: 15.0%   触摸事件TOUCH,--pct-touch
//   1: 10.0%   手势事件MOTION, --pct-motion
//   2: 2.0%    两指缩放事件PINCHZOOM,--pct-pinchzoom
//   3: 15.0%   轨迹球事件TRACKBALL,--pct-trackball
//   4: -0.0%   屏幕旋转事件ROTATION, --pct-rotation
//   5: 25.0%   基本导航事件nav, --pct-nav
//   6: 15.0%   主要导航事件majornav, --pct-majornav
//   7: 2.0%    系统按钮事件sysops, --pct-syskeys
//   8: 2.0%    启动activity事件appswitch, --pct-appswitch
//   9: 1.0%    键盘轻弹事件flip, --pct-flip
//   10: 13.0%   其它事件,包括按键和不常用的按键,--pct-anyevent

伪随机时间流信息

Monkey开始执行测试后,会顺序输出执行的事件流信息。

-----跳转到com.android.article.news里的activity.MainActivity这个活动-----
:Switch: #Intent;action=android.intent.action.MAIN;category=android.intent.category.LAUNCHER;launchFlags=0x10200000;component=com.ss.android.article.news/.activity.MainActivity;end

-----允许启动com.android.article.news里的activity.MainActivity这个活动-----
    // Allowing start of Intent { act=android.intent.action.MAIN cat=[android.intent.category.LAUNCHER] cmp=com.ss.android.article.news/.activity.MainActivity } in package com.ss.android.article.news
    
-----延迟(可以在命令参数中设置延迟)-----
Sleeping for 0 milliseconds

-----触摸事件-----
:Sending Touch (ACTION_DOWN): 0:(842.0,1801.0)

-----基本导航事件-----
C:\Users\86156>adb shell monkey -p com.ss.android.article.news -v -v -v 100

异常信息

当Monkey执行过程中遇到错误时,会输出对应的异常信息。由于本次实验的软件没有遇到错误,所以没有输出信息。

执行结果信息

-----产生了100次事件-----Events injected: 100-----表示屏幕旋转信息-----:Sending rotation degree=0, persist=false-----表示丢弃的事件信息-----:Dropped: keys=1 pointers=0 trackballs=0 flips=0 rotations=0-----网络状态-----## Network stats: elapsed time=700ms (0ms mobile, 0ms wifi, 700ms not connected)----最终执行结果-----// Monkey finished

3.3脚本自动化测试

3.2中实现了使用monkey进行随机测试的过程,但有时候我们需要根据我们的需求进行测试,这时候就要设计特定的测试样例。

monkey提供了一系列脚本命令以便于我们根据需求设计测试样例,主要有

LaunchActivity(pkg_name, cl_name): 启动应用,第一个参数DispatchPress(keycode): 向系统发送一个固定的按键事件;例如home键,back键;参数是按键值 ,按键值可查看keycodeUserWait:让脚本的执行暂停一段时间,做一个等待操作RotateScreen(rotationDegree, persist): 翻转屏幕,第一个参数是旋转角度,第二个是旋转后是否停在当前位置Tap(x, y) :单击事件,点击屏幕,参数是点击坐标Drag(xStart, yStart, xEnd, yEnd) :在屏幕上滑动,坐标是从哪一点滑到哪一点DispatchString(input): 输入字符串RunCmd(cmd) :执行shell命令,比如截图 screencap -p /data/local/tmp/tmp.pngDispatchFlip(true/false) :打开或者关闭软键盘UserWait(sleepTime) :睡眠指定时间
3.3.1需求分析

本次实验中主要实现以下测试案例:

打开今日头条,点击搜索框,输入"abc",然后点击搜索。播放第一视频,并在播放过程中调整音量(增大和减小)。

通过资料中的脚本命令可知,输入字符串可以是使用DispatchString(input)函数,但我们还要点击搜索框和搜索按键,所以要获取对应按键的坐标。最后可以使用RunCmd(Cmd)进行截图。

3.3.2 获取坐标

在保持设备连接的情况下。执行以下命令获取当前事件,

adb shellgetevent

使用Monkey进行软件测试(随机测试+脚本测试)_第7张图片

然后点击屏幕对应区域,可以看到如下信息

使用Monkey进行软件测试(随机测试+脚本测试)_第8张图片

有四列信息,分别为:设备名称,Code,Type,Value.
Code是指:该事件是什么。
Type是指:事件的相关参数
Value是指:事件参数的值。

code值:

0003—>绝对坐标

0000—>同步事件。代表某一操作的完成。

0001—>key_broad。

0002—>相对坐标。

Type值,我们只关注两个值

0035—>绝对坐标X
0036—>绝对坐标Y

value:表示对应的值

例子中点击的坐标为(0x1d2=466,0xad=173)

3.3.3编写脚本

根据需求已经获取的信息,编写以下脚本

# Start of Script   type= user   count= 10   speed= 1.0   start data >>   #open the appLaunchActivity(com.ss.android.article.news, com.ss.android.article.news.activity.MainActivity)   UserWait(8000)Tap(576, 239)UserWait(2000) DispatchString(abc)UserWait(2000) Tap(1298, 216)UserWait(2000) Tap(746,1277)UserWait(8000) #turn up and down the volumeDispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(1000) DispatchPress(24)UserWait(3000) DispatchPress(25)UserWait(1000) DispatchPress(25)UserWait(1000) DispatchPress(25)UserWait(1000) 
3.3.4 执行脚本

因为Monkey是运行在设备上的,所以需要将脚本先传到设备上,

通过adb push monkey.txt sdcard/monkey.txt将文件推送到手机sd卡上

然后通过adb shell monkey -f sdcard/monkey.txt -v 1 执行脚本文件
执行日志如下:

使用Monkey进行软件测试(随机测试+脚本测试)_第9张图片

可以看到,每个事件都成功执行了。

你可能感兴趣的:(配置,小程序,android,studio,测试工具,可用性测试,单元测试)