APP性能测试的6项关键指标及测试获取手段


一、APP性能维度分析

APP类型众多,根据具体类型划分,性能指标的维度和优先级各不相同。视频类APP归属于娱乐游戏型的APP,因此性能测试维度优先级排序为:流畅度、crash、内存、流量、响应时长、功耗、CPU。

表征不同维度指标的量化单位如图1所示。比如流畅度是FPS(帧率),内存是兆比等等。

图1 不同维度指标的量化单位

因为Android平台底层是由linux系统改良而来,不同维度的指标绝大部分都可以通过命令获取不同的指标(具体方法可以考加后面工具)。

在iOS平台上,性能的获取必须使用Xcode里面instruments下的相应组件,不像开源的Android那样灵活,但技术上是可以做到各平台的性能指标获取测试。

二、APP性能测试平台

从2012年后,测试平台化、服务化的思路推广到全国各地。各大公司都开发了不同的性能测试平台,如图2所示。比较有代表性的性能测试平台包括:

●百度的慕斯(又名移动APP测试业务支撑平台(外部名称MTC:http://mtc.baidu.com));

●腾讯的bita;

●GT(http://gt.qq.com);

●itestin(最老的一个性能和兼容性测试平台http://i.testin.cn/)。

由于IOS性能测试首先要涉及到签名的破解,所以所有平台一般都是从Android的APP进行切入点先行开发。

图2 三大性能测试平台

三、APP性能测试落地

性能测试开展主要分线下性能测试和线上监控测试两大类。

线下APP性能测试主要依靠传统测试手段和方法,比如PM和QA发起一个性能和竞品对比性能测试,此外,版本大改动、框架迁移,都需要重新进行APP性能测试。线下测试我们用一些比较稳定的平台和工具就足以应付,产品接入即可收集性能指标。百度内部产品线一般都接入了MTC平台;腾讯产品一般都用他们内部开发的GT工具,GT工具不但线下测试比较方便,线上测试性能也不错。

线上监控测试主要是针对一些动态变化的情况,因为APP测试中关键的一点是场景化测试,即APP必须在特定场合,特别条件才触发某类问题。这时候比较E2E场景case指标功能,才能更精准衡量产品核心性能的能力。

如我们在二、三线城市特定的网络下,观看某一部特定片源(爱奇艺视频源),并且离线缓存,这时候用到了不同地域网络和调用了爱奇艺在那个城市的server。这是在北京没法做到的场景,虽然可以借助模拟异地场景测试。实际上效果并不良好,因为模拟取决于北京的网络情况,还有不能模拟动态变化网络切换的场景。

针对线上性能的监控,某公司深圳研究所做了个场测助手,这是一款方便收集性能,定位bug一体化的工具。

四、APP性能指标获取手段

下面是几个简单方便的方法,可以让你自己写脚本来获取各种性能指标。

● 4.1 Android系统指标获取

CPU

CPU的测试方法分为几类:

使用Android提供的view plaincopy在CODE上查看代码片派生到我的代码片

adbshell dumpsys CPUinfo |grep packagename >/address/CPU.txt来获取;

使用top命令view plaincopy在CODE上查看代码片派生到我的代码片

adbshell top |grep packagename>/address/CPU.txt来获取。

内存

内存消耗测试节点的设计目标是为了让应用不占用过多的系统资源,且及时释放内存,保障整个系统的稳定性。当然关于内存测试,在这里我们需要引入几个概念:空闲状态、中等规格、满规格。

空闲状态指打开应用后,点击home键让应用后台运行,此时应用处于的状态叫做空闲;中等规格和满规格指的是对应用的操作时间的间隔长短不一,中等规格时间较长,满规格时间较短。

内存测试中存在很多测试子项,清单如下:

●空闲状态下的应用内存消耗;

●中等规格状态下的应用内存消耗;

●满规格状态下的应用内存消耗;

●应用内存峰值;

●应用内存泄露;

●应用是否常驻内存;

●压力测试后的内存使用。

电量

电量测试主要从以下几个方面入手进行测试:

●测试手机安装目标APK前后待机功耗无明显差异;

●常见使用场景中能够正常进入待机,待机电流在正常范围内;

●长时间连续使用应用无异常耗电现象。

电量测试的方法分为软件测试和硬件测试两类。

软件测试又分为两类:第一类采用市场上提供的第三方工具,如金山电池管家之类的;第二类就是自写工具进行,这里一般会使用3种方法:

第一种基于Android提供的PowerManager.WakeLock来进行;

第二种比较复杂一点采用公式:功耗的计算=CPU消耗+Wakelock消耗+数据传输消耗+GPS消耗+Wi-Fi连接消耗;

第三种通过adbshell dumpsys battery来获取。

硬件测试,一般使用万用表或者功耗仪进行测试,使用功耗仪测试的时候,需要制作假电池来进行的,有些不能拔插电池的手机还需要焊接才能进行。

启动时长

关于应用的启动时间的测试分为三类:

第一类:首次启动 --应用首次启动所花费的时间;

第二类:非首次启动 --应用非首次启动所花费的时间;

第三类:应用界面切换--应用界面内切换所花费的时间。

那么如何来做启动时间的测试呢,一般我们分为2类:一类为使用软件来测试,一类为使用硬件来测试。

首先我们说说软件测试的方法,可能大部分人都比较通晓使用Android 提供的DisplayManager来获取activity的启动时间。通过日志过滤关键字 Displayed来过滤所有activity所打印的,记录日志通过。

帧率

GPU这个词对于PC性能测试者来说并不陌生,而今3Dmax,安兔兔之类的第三方软件让GPU在移动端性能测试领域家喻户晓,但对于APP内的GPU该如何来测试呢?首先我们引入几个名词:过度绘制、帧率、帧方差。

过度绘制是指界面显示的activity套接了多层导致的结果。帧率是指屏幕刷新率。帧方差是指屏幕刷新帧间隔方差。

对于GPU的测试主要包括以下几个测试子项:界面过度绘制、屏幕滑动帧速率、屏幕滑动平滑度。

对于过度绘制的测试主要通过人工进行测试,打开开发者选项中的显示GPU过度绘制来进行测试(PS:只有Android4.2及以上的版本才具备此功能),验收的标准为:

不允许出现黑色像素;

不允许存在4x过度绘制;

不允许存在面积超过屏幕1/4区域的3x过度绘制(淡红色区域)。

对于屏幕滑动帧速率的测试主要有两种方法。以软件测试为例:

手机端需打开开发者选项中的启用跟踪后,勾选 Graphics 和 View;

启动SDK工具Systrace插件,勾选被测应用,点击Systrace插件,在弹出的对话框中设置持续抓取时间,在tracetaps下面勾选gfx及view选项;

通过节拍来进行滑动或者扫动滑动界面,帧率数据会保存到默认路径下,默认名称为 trace.html;

将trace.html文件拷贝到linux系统下,通过命令进行转换,生成trace.csv文件。

网络流量

这里所指的网络流量测试是针对大部分应用而言的,可能还有部分应用会关注网速、弱网之类的测试。流量测试,同样需要引入几个名词:

中等负荷:应用正常操作;

高负荷:应用极限操作。

流量测试包括以下测试项:

应用首次启动流量提示;

应用后台连续运行2小时的流量值;

应用高负荷运行的流量峰值。

应用中等负荷运行时的流量均值测试一般都是应用软件来进行的,这里我们一般分为2类:

一类是采用市场提供的第三方工具来进行测试,如流量宝之类的,第二类是自行研发工具进行测试。

自行研发工具进行测试一般包含通过tcodump抓包,或通过wireshake直接读取包信息来获得流量。

通过adbshell dumpsys package来获取被测应用的uid信息,在未操作应用之前,通过查看adbshell cat /proc/uid_stat/uid/tcp_rcv

adbshell cat /proc/uid_stat/uid/tcp_snd

获取到应用的起始的接收及发送的流量;再操作应用后,再次通过上述命令获取到应用的结束时接收及发送的流量,通过相减即得到应用的整体流量消耗.

● 4.2 IOS系统指标获取

对于iOS系统,只需要一个装有xcode的mac电脑,便可相对容易地获取上述指标。xcode的最新版本是7.0。

你可能感兴趣的:(APP测试,性能测试)