作者:David,华为测试服务专家
随着信息技术的高速发展,移动应用与人们生活日益紧密,面向各类场景的应用层出不穷,什么样的应用更受用户青睐呢?在满足用户功能需求之上,一个好的应用要能运行稳定、流畅不卡顿、占用内存小、安全等级高,此外,最好还能提供更多创新便捷的附加能力。
为了匹配用户的期望,应用开发者们自开发阶段到上架之前,均在持续进行应用测试。在每个测试阶段,开发者们都有不同的测试目标。
在开发自测阶段,需要保障应用基本可用;功能测试阶段,需要应用功能完整,实现用户目的;在专项测试中,则以为用户提供更好的体验为目标,通过多维度测试(如安全、性能功耗、稳定性等),持续跟踪应用质量指标;直至最后满足HarmonyOS应用测试标准,方可上架发布。
在这个过程中,专项测试是否充分,各项领域是否全面,决定了应用在测试验收环节能否通过各项检测指标和高质量的交付,最终成为用户喜爱的应用。
对于普通应用开发团队而言,开展应用专项的测试,往往存在诸多难点。不同的专项领域测试,环境要求不同,测试工程师需要具备相应的测试技能也不同,这意味着测试执行需要投入较大的成本。测试执行结束后,对测试数据进一步挖掘,深度分析等,同样也非常依赖测试工程师的专业度。
DevEco Testing让应用专项测试,变得更简单、更专业、更智能!通过将专业测试服务化,既省去了环境搭建过程,也降低了测试门槛,专项测试不再局限于测试人员,开发人员也可以将应用测试前置,在开发阶段就能进行自测,随时开发随时测试,最终实现测试前移的目的。
下面以稳定性测试为例,展开解读DevEco Testing专项测试能力。
经调查统计,在Top100应用中,每个应用平均包含200+个页面,800+条业务路径。当下应用开发的版本迭代快,上线周期短,留给测试环节的时间往往被压缩,测试团队想在短时间内完成稳定性测试,将面临很大的挑战。如果要高质量的执行应用稳定性测试,意味着测试工作要覆盖到应用的每一个页面、每一个业务场景、甚至每一条遍历路径,这个过程中工作量无法衡量。
面对这种情况,常见的做法是引入Monkey技术,通过无目的的随机点击,触发一些异常场景,尝试发现应用中的稳定性相关的Bug。但这种方法缺点也很明显,很多测试时长都浪费在了无意义的操作上,面对特殊场景比如弹窗、登录页面等,效率很低甚至无法覆盖。
此前,DevEco Testing提供的稳定性测试服务,相较于普通的Monkey工具,遍历算法&策略更加高效智能,不仅减少了无效遍历操作及循环处理时间,还能同时处理弹框、锁屏等20+特殊场景,遍历效率得到大幅提升。但面对应用特有的业务场景(如购物类应用,立即购买-确认支付),仍无法实现全量覆盖。
这一次DevEco Testing稳定性测试方案再升级,有智慧的探索测试正式发布。在基于专家经验的智能AI加持下,探索测试实现了场景感知、语义分析。
在以下测试实例中,我们可以看到,DevEco Testing通过对应用界面上的控件在进行实时的语义分析,推断出每个控件代表的具体含义(分类、订单、添加、支付),结合对场景的智能感知,识别出当前正在对购物场景进行测试,据此生成对应的测试意图,如浏览商品、购物车结算等,驱动测试高效执行。
探索测试执行
此外,还通过应用测试数据建模,借助智能AI对场景识别及遍历动作持续训练,完善应用特征图谱,使得业务模型、节点特征等越来越丰富。
在DevEco Testing一个测试验证的实例中,探索测试首次遍历页面15+个,遍历路径25+条;当前第10轮测试时,已经可以覆盖54个页面,63条路径。随着测试数据的积累,智能AI持续自主地进行路径探索和学习,推动应用搜索测试引擎实现越测越聪明、越测越高效。(注:数据来源于DevEco Testing实验室统计数据)遍历效率提升
同时,探索测试提供了增强版的故障识别能力。除了支持识别系统预级别的故障(如crash、JS error、App freeze等等)还支持用户根据业务特征自定义故障,如文本故障、图片故障,可应用在多类应用测试场景中。对于识别到的故障,DevEco Testing提供了概要信息及定位日志,帮助开发者进一步分析定位。自定义故障类型
与过往故障分析不同,探索测试提供了更高阶的分析能力。故障数据以热力图形式展现,可快速识别高频故障路径;支持缺陷密度对比,可针对性优化故障节点,重点投入故障频发的模块;提供故障-路径-报告关联能力,可大幅提升问题定位效率;支持故障分类汇总,帮助研发人员构建应用的专属故障特征库。从时间维度回放,可对应用的质量作更进一步透视分析,整体趋势一目了然!
故障透视分析
除了稳定性测试外,DevEco Testing还提供了应用拨测、性能测试、安全测试、应用标准测试等其他应用专项测试能力,为开发自测试-集成测试-上架测试提供了一站式测试服务,帮助应用团队轻松应对应用测试全场景,助力打造HarmonyOS高品质应用。更多应用测试解决方案即将上线,敬请期待!