中国银行业数字化转型已经拉开帷幕,是机遇,也是挑战!移动互联网业务是提升端到端市场响应能力的关键渠道,乃兵家必争之地,肩负着银行大零售转型的重要责任。
近几年来,移动应用众测作为一种新型、高效的测试活动,在系统投产前发挥着特殊的作用。通常情况下,SIT团队完成的是一种“确定性”的测试活动,即:重点保障手段是测试用例执行,以覆盖率作为测试活动主要目标。而受限于快速迭代下的人力、时间、配套资源等不够充足,仍然会有一定的缺陷流入生产,这些缺陷产生可归集为“不确定性”,而众测恰恰是“确定性”测试活动的有效补充手段,以不同组织、不同视角、不同设备、不同环境,进一步对产品的功能、兼容性、用户体验等方面提出缺陷或建议。
最近,有不少银行客户向BeeTest咨询关于众测方面的问题,以及银行开展内部众测有哪些注意事项,比如:
今天,小编就把这些关键问题做个汇总和解答,让大家对银行内部众测有个更加清晰的了解,以便更有针对性的开展内部众测活动~~~
众测,目前市场上主流模式有两种:企业内部众测、互联网众测。
企业内部众测,指的是企业通过众测平台向企业内部成员派发众测任务,企业内部成员根据任务完成测试,企业根据测试者的贡献程度,给予一定的劳动奖励。
企业内部众测主要面向企业内部所成员,包括业务人员、运营人员、研发人员或管理人员等。
而互联网众测主要面向社会大众、广大互联网用户等兼职测试参与人员。
鉴于银行业的特殊性,如:系统信息安全、业务规则复杂、金融产品的业务特性、大部分业务功能均涉及到钱款等,所以,银行多采用内部众测的模式。众测的系统主要为:手机银行APP、信用卡APP、直销银行、电子钱包、微信公众号、小程序等。
众测的开展阶段选在系统和功能比较稳定的UAT验收阶段、灰度发布阶段,以及刚刚投产不久。
银行的互联网金融部(电子银行部)或测试部门牵头组织众测最为适合,参与者可以是银行科技团队人员,以及分支行网点的一线员工。
众测的应用场景及典型价值主要体现在以下两个方面:
(一)质量提升:新版APP投产前,大规模内部众测,可以有效提升移动产品在业务功能、兼容性、用户体验方面的能力,提升客户满意度,降低投诉;
(二)强化认知:新版APP投产首日,“以测代训”的方式,把众测任务派给银行网点一线服务员工,快速触达,强化一线员工对最新产品的认知,更好的服务客户。
内部众测可以组织科技、业务、分行支行营业网点等同事来参加。科技部门的人员擅长从技术角度来验证产品,业务部门的人员擅长从用户的角度来体验产品,营业网点的人员擅长从功能和现场用户的角度来使用产品。不同业务条线、不同岗位的人参与众测,可以从不同的领域、不同的用户视角对银行产品提出各自的意见。
众测平台可以分类管理众测成员的移动设备,实现兼容性测试覆盖。据统计,300人团队可以覆盖180款移动设备;500人团队可以覆盖320款移动设备;700人团队可以覆盖超过400款移动设备。
|| 众测组织的频率是多久?一次众测需要多长时间?
根据BeeTest众测平台上各银行开展众测活动的实际情况来看,众测组织的频率为2周一次比较合适(根据投产频度进行把握),通常组织一次众测活动的时间为2-3天。
新产品或新功能的对外开放时,可以单独组织相对应的众测活动,众测时间建议为1-2天。
BeeTest众测平台的任务分发策略,是基于大数据和人工智能算法来进行高效分发的。
众测任务派发时不仅可以基于参测人员和手机设备进行任务分发,同时平台会根据参测人员的信用积分、行业经验值、活跃程度、繁忙程度和历史战绩来进行综合智能派单,还会根据设备的机型、版本和网络参数等设备指标来进行科学的派单。即:将当期众测订单派给最适合的测试者。
众测活动开展前,需要提前准备的内容包括:组建众测团队、设计众测用例、准备被测系统的APP安装包等。
BeeTest众测平台正式应用前,平台方会对发包方进行现场演示和操作培训,发包方组织众测管理员参加培训,BeeTest众测平台界面简洁,操作简单,很容易上手使用,1-2小时的演示和操作培训后就可以轻松掌握并开展众测。
BeeTest众测平台对上传到平台的APP有权限管理机制:公开下载、团队下载,其中团队下载功能限制了只有平台注册用户和受信任的团队成员才能下载、安装。外部不受信任的人员无法获取APP安装包。
众测用例和SIT、UAT的用例从目标指向和设计结构上都不同。SIT和UAT用例通常情况下是基于具体的测试点和测试步骤的结构,而众测的用例,通常是基于业务目标导向的,给众测团队成员更多的发挥空间。例如:
BeeTest众测平台对众测过程中提交的缺陷有智能匹配去重机制:平台会根据用户提交的缺陷,智能识别缺陷中的标题、内容、错误提示等关键内容,通过平台的大数据算法、匹配策略和关键字等多种手段,智能检索疑似重复度最高的缺陷。
BeeTest众测平台有APP监控sdk集成技术,能够及时、准确的捕获APP运行中的异常数据。sdk监控可以采集APP的闪退、崩溃、ANR、卡顿等指标的频次和日志信息,为异常问题的定位、解决提供精准的监控信息。
BeeTest众测平台可以灵活定制奖励金,分为:众测执行奖励、众测缺陷奖励。众测执行奖励,是指对完整执行众测任务的成员给予奖励;众测缺陷奖励,是指对发现有效缺陷的成员进行奖励,同时,可按照缺陷的不同等级(严重、一般、轻微)给予奖励。
由于部分银行内控管理制度不同,有些银行不能当时支付奖励金,可采用BeeTest众测积分先行奖励,以累计积分的形式,在季度末、半年、年末汇总积分,采用积分兑换等形式进行奖励。
BeeTest众测平台在众测任务完成后会统一以任务为单位输出测试报告,测试报告主要包括:订单执行状态、缺陷分布、参测人员与机型数据、测试分析等,订单列表和缺陷如下:
BeeTest众测平台提供有测试团队管理功能模块,在此功能里可以查询团队所有成员的业绩数据,包括成员接收任务、提交缺陷、获得奖励等信息,对团队成员的绩效情况一目了然。
众测实例:某全国股份制银行内部众测实施情况:
众测团队规模:700人+
覆盖设备类型:400款+
众测人员构成:测试工程师、开发工程师、分行网点、信用卡中心、企业管理人员。
众测目标系统:手机银行APP、信用卡APP
众测实际产出:2018年6月-11月半年时间内,持续在UAT后期和灰度版本组织内部众测,累计发现有效缺陷1152个,功能问题占49%,兼容性问题占34%,体验建议及其他占17%。