Android App性能自动化评测方法

前言

App运行在设备上的性能表现也是质量保障的一个重要环节。因此,当我们确保了基本功能的准确之后,还需要有一定的方法评测App在不同设备上的性能表现。本文将从性能指标,评测方法,自动化体系建设等三个方面,介绍Android App的性能测试方法。

性能指标

传统Android App的性能测试都是通过测试工具获取App运行过程中的各项指标数据,然后取平均值,最大值,最小值等统计值作为结果分析。主要采集的指标有:

  1. CPU,CPU使用率过高,会使整个手机无法响应用户,整体性能降低,影响用户体验,也容易引起ANR等问题
  2. 内存,内存占用偏高,尤其是内存泄露是Android开发者十分关心的问题,因为内存泄露可能导致的后果是应用进程直接被kill掉。
  3. 流量,对于APP用户来说,流量=钱,通过流量的实时监测,帮开发者分析应用的资源加载大小、网络请求是否合理
  4. 启动时间,App启动到首页加载完成的耗时,如果太慢,直接导致用户卸载App
  5. 包大小,安装包中资源冗余、文件未做压缩,都将导致APK包偏大,增加下载流量和安装时间
  6. 流畅度,应用的帧率和流畅度是最直接影响用户体验的。通过帧率和流畅度曲线,帮开发者分析是否存在UI问题。
指标

当指标确定之后,我们就是需要根据这些指标来一一评测App的性能,我们将从基础性能和深度性能两个维度分别介绍评测方法。

基础评测体系

基础性能评测是指我们通过工具获取App运行过程中的性能数据,然后对性能数据进行统计分析,从而得到性能好坏的结论。下面我们将介绍基础性能评测的整体流程。

1. 制定性能基线

性能基线有两种形式:前后版本对比,新版本的数据原则上不能高于旧版本数据的5%;行业竞品库,通过大量竞品分析得到行业竞品基线库,从而确定产品的性能在行业内的竞争力。

2. 确立测试场景

测试场景的选取一般根据用户行为分析得到,选取20-30个核心场景,每个场景的路径不要超过5个步长。

3. 测试方法

我们可以直接通过Android自带的adb工具获取,也可以通过系统API获取,下面介绍几种常用的adb命令获取性能数据方法。

  1. CPU:adb shell top
  2. 内存:adb dumpsys meminfo
  3. 流量:cat /proc/net/xt_qtaguid/stats
  4. FPS:adb dumpsys gfxinfo
  5. 启动时间:adb logcat -s ActivityManager

4. 生成测试报告

根据操作具体场景获取到的性能数据,我们可以进行统计分析,从而生成测试报告。报告的样板如下:



深度性能评测体系

我们知道,基础性能评测只是从统计学的角度来评测App的性能,但具体影响性能的问题点并没有挖掘出来,力度太粗。因此,我们需要进一步深化我们的性能评测。下面将介绍深度性能评测的方法。
深度性能评测主要从以下三个维度进行:

1. 内存泄漏分析

对LeakCanary进行二次开发,并引入到App代码中,从而生成可自动检测内存泄漏的安装包,结合UI自动化测试,Monkey测试进行页面的跳转,同时上报泄漏信息。


内存泄漏报告

2.卡顿分析

在App代码中引入BlockCanary工具,使用UI自动化,Monkey工具进行页面遍历,收集卡顿信息,并上报到管理平台,生成报告。


卡顿报告

3. 安装包瘦身分析

对Android Apk包的资源文件进行解析,分析冗余资源文件,可压缩资源文件,并计算可压缩的比例。


瘦身报告

性能自动化测试体系建设

有了前面基础性能评测和深度性能评测的方案,我们将整个流程通过自动化串联,报告聚合,就可以形成一套性能自动化测试系统。
流程如下:首先从打包平台自动下载最新安装包,然后启动Apk分析线程,并保存结果,然后启动UI自动化测试对App进行操作,同时采集基础性能数据和深度性能数据,同时将测试结果保存到数据库,最后从数据库中汇总所有的测试数据,聚合生成测试报告。


性能自动化流程

该系统有三个核心功能点:

1.UI自动化驱动测试场景

通过自动化测试遍历App功能模块,主要采用UI自动化和Monkey遍历相结合,即可覆盖核心场景,也具有一定随机性。

2. 多线程数据采集

自动化线程负责UI的遍历,另外启动多个线程采集基础性能和进行深度性能分析,数据实时同步到数据库。

3.报告聚合分析

对测试数据进行统计和分析,与制定的基线指标结合给出测试结论或者评分,最后通过报告形式展示在Web端。

总结

性能评测的最终目的还是为了发现App在不同设备上的性能问题,同时协助开发解决问题。因此,我们做性能测试的时候,不仅要发现问题,也要定位问题,深入挖掘性能问题的根源才是我们需要持续努力的方向。

你可能感兴趣的:(Android App性能自动化评测方法)