APP性能测试——卡顿、流畅度测试

一、先了解几个缩写的含义:

    • fps:一秒内绘制到屏幕的帧数(通常60hz的手机1s是60帧,目前高端机基本120hz)

    • jank:卡顿次数

    • bigJank:严重卡顿次数

    • stutter:卡顿率=卡顿时长/总时长

    • lostFrame:丢帧率=实际帧数/预期帧数

    • frameInfo:帧耗时,即每一帧渲染耗

二、以 Google Vitals 的卡顿描述为准,即呈现速度缓慢和帧冻结两个维度判断:

    • 呈现速度缓慢:在呈现速度缓慢的帧数较多的页面,当超过 50% 的帧呈现时间超过 16ms 毫秒时,用户感官明显卡顿。

    • 帧冻结:帧冻结的绘制耗时超过 700ms,为严重卡顿问题。

    • 卡顿忽略 FPS<=2 的页面:因为人的视觉暂留 100~400ms,即 FPS 在 2.5~10 之间时,所以当 FPS 低于 3 时,人眼看到的并不是连续动作,即使有丢帧现象,也不会察觉。

    • FPS和卡顿无任何关系:假如1s内,前800ms刷新了50帧,但是由于卡顿最后200ms刷新了1帧。这1s的帧率为51帧,从fps上来看51帧已经非常好了,但是用户在这1s内会感觉到一次明显的卡顿。

三、Jank 计算方法:

    • 普通卡顿 Jank(由于硬件的发展,现在中高端手机基本都是120hz,肉眼对于流畅度越来越敏感,实际测试中满足以下一条即可判断为卡顿)

      • 当前帧耗时>前三帧平均耗时 2 倍(人眼一般可容忍2帧延迟)。

      • 当前帧耗时>两帧电影帧耗时 (1000ms/24*2=84ms,低于24帧画面,人眼就能感知到画面不连续性)。

    • 严重卡顿 BigJank(同上):

      • 当前帧耗时>前三帧平均耗时 2 倍。

      • 当前帧耗时>三帧电影帧耗时 (1000ms/24*3=125ms)。

四、卡顿标准:

    目前了解到某游戏大厂的卡顿率是5%以下,我们主要是app页面,所以我建议:

  •  卡顿不要高于10%,对于高级别项目要求不能超过5%

    • 当页面切换时,系统会产生一些超大帧,导致卡顿率上升,可以忽略

    • 中端机FPS不低于56

五、实际测试中需要关注的场景:

    • 静态页面窗口

      • 只需关注FPS,理论PFS应该为0,否则,说明页面有冗余刷新,可能是bug,容易引起手机发热及耗电。

    • 有滚动动画页面窗口

      • 只需关注FPS,FPS处于合适值即可,无需高频刷新,一般fps20以上。

    • 快速滑动页面窗口(同"四"中的标准)

      • 需要关注FPS、卡顿率,手机交互灵敏度就是来源于此。

    • 播放视频、游戏页面窗口

      • 需要关注FPS、Jank及卡顿率,一般帧率20-24帧,卡顿率5%以下,目前高端机可以做到60-90帧。

六、测试方法:

  • 工具类:perfdog、totorobox、Snapdragon Profiler 等

  • 脚本类:adb官方命令行,通过adb命令获取并计算卡顿率、丢帧率、FPS等指标,测试前需要在手机的开发者选项中,找到“GPU呈现模式分析”,选择“在adb shell dumpsys gfxinfo中”

    • 静止页面、banner滚动等通过工具做测试,不再赘述

    • 常规测试中我们更关注可快滑的长列表页面,以下主要针对快滑场景的流畅度测试

1、计算每次滑动时系统记录的数据:

# 使用系统命令获取帧率数据# 以下为示例代码:def get_fps(pkg_name, devices):  #fps 测试    _adb = "adb -s " + devices +" shell dumpsys gfxinfo %s" % pkg_name    os.system("adb -s " + devices +" shell dumpsys SurfaceFlinger --latency-clear")        # 初始化数据,如fps、卡顿时间、丢帧率、卡顿率等    all_result={        "jankFrames": 0,  # jank次数,跳帧数        "totalFrames" :  0,  # 统计的总帧数        ...    }    results = os.popen(_adb)    flag=False    every_frame_Time= []  # 每帧耗时
    for line in results.readlines():        line=line.strip()        if flag and line :            times = line.split("\t")            # 计算一帧所花费的时间            if len(times)>3:                onceTime = float(times[0])+float(times[1])+float(times[2])+float(times[3])                every_frame_Time.append(onceTime)                all_result['alltime']+=onceTime                all_result['totalFrames'] += 1 # 统计总帧数                if onceTime > 16.67: # 以Android定义的60FPS为标准                    all_result['test_alltime']+=onceTime                    all_result['jankFrames'] += 1# 统计跳帧jank数                    all_result['vsyncOverTimes'] +=int(onceTime / 16.67) # 向下取整即可                else:                    all_result['test_alltime']+=16.67                    # 普通卡顿 Jank条件:                if len(every_frame_Time)>=3:                    if onceTime>(every_frame_Time[-1]+every_frame_Time[-3]+every_frame_Time[-2])/3*2:                        all_result['jankTime']+=onceTime    if  all_result['totalFrames'] >0:        all_result['fps'] = all_result['totalFrames'] / (all_result['totalFrames'] + all_result['vsyncOverTimes']) * 60        all_result['lostFrameRate'] = all_result['jankFrames'] / all_result['totalFrames']        ...        # print("fps(1秒内平均画面刷新次数)值为:",fps)        # print("总帧数:",totalFrames)    else:        print("【ERROR】无FPS信息,请确认手机正常连接或APP正常运行")    return all_result

2、计算滑动周期内的所有数据平均值:

# 以下为示例代码:def record_fps(sencens,t):    global stop    avg_all_reuslt= {        "jankFrames": 0,  # jank次数,跳帧数        "totalFrames" :  0,  # 统计的总帧数        ...    }    while True:        if stop==0:            all_result=get_fps(package, serialno)            avg_all_reuslt['jankFrames']+=all_result['jankFrames']            avg_all_reuslt['totalFrames']+=all_result['totalFrames']            ...        else:            break    if  avg_all_reuslt['totalFrames'] >0:        avg_all_reuslt['fps'] = round( avg_all_reuslt['totalFrames'] / (avg_all_reuslt['totalFrames'] + avg_all_reuslt['vsyncOverTimes']) * 60,4)        avg_all_reuslt['lostFrameRate']=round( avg_all_reuslt['jankFrames'] / avg_all_reuslt['totalFrames'],4)        avg_all_reuslt['jankRate'] =round( avg_all_reuslt['jankTime'] / avg_all_reuslt['test_alltime'],4)
        ...        ##记录每个场景的自动化值        if t==0:            allJson_result[sencens]=[avg_all_reuslt,]        else:            allJson_result[sencens].append(avg_all_reuslt)        # 数据入库示例代码        insert_mysql(devices,sencens.allJson_result)    stop = 0

示例:不同维度的聚合,能否反映出不同版、不同时间段的性能的数据,可进行版本数据监控,历史版本数据对比,示例:

APP性能测试——卡顿、流畅度测试_第1张图片

七、总结:

    在实际测试当中,我们主要关注三个指标:FPS、卡顿率、丢帧率即可,通过这三个指标能够清晰地反映出当前app的体感现状,对于后期制定标准、促进优化效果、提高产品质量都会有一定的帮助;当然我们也可以根据可视化工具来辅助测试,来提升测试准确度,通过脚本能够弥补可视化工具的不足,脚本能够做成自动化,以节约测试时间和人力成本,提升效率。

*完整代码,关注公众号后,赞赏留言获取!

长按关注QuTest,定期分享技术干货,欢迎投稿!

APP性能测试——卡顿、流畅度测试_第2张图片

你可能感兴趣的:(人工智能,测试工具,android,python)