火山引擎A/B测试在消费行业的案例实践

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

近日，火山引擎数智平台举办了“走进火山-全链路增长：数据飞轮转动消费新生力”的活动，其中火山引擎数智平台DataTester产品负责人分享了火山引擎AB测试（DataTester）在消费行业的应用实践，并发布了产品近期升级的全新功能——MAB智能调优实验。

在过去，一个产品新功能的效果评估往往会根据功能上线前后的数据对比得出。这种方式其实存在很多缺陷，比如，在实践中很多影响因素并未被剔除，导致数据不严谨、不可信，从而评估结果不准确。
A/B测试则是通过科学设计的随机抽样实验，完全剔除其他因素，从而得到一个更加精确的结论，被称为效果评估的金标准。

目前，A/B实验已经成为很多企业进行业务决策前的重要一环。其核心价值是帮助企业在业务决策时更合理的归因以及更加科学的决策。在整个过程中，如果每次决策都可以给业务带来正向收益，那么随着复利效应，企业是能够实现稳定增长的。

在字节，A/B实验平台是融入业务的基础设施，也是长期应用的增长决策利器。目前，字节已将内部的A/B实验平台通过火山引擎对外，取名DataTester。DataTester支持在实验及评估路径上的全链路智能化能力，为企业用户提供了一站式、场景化的智能调优平台。与业内其他产品不同的是，DataTeter格外注意在业务上的实践应用，提供了很多与业务场景深度融合的试验评估模板。

A/B实验提升企业多触点营销效率

在消费行业，A/B测试最集中的应用场景是多触点营销和私域运营。在多触点营销方面，企业可以通过A/B测试做广告投放的效果评估，包括效果广告和品牌广告；也可以通过A/B实验，做新品发布时的策略测试。

火山引擎DataTester可以通过一系列的场景实验，再加上场景模板和开放集成的能力，来为企业提供深度嵌入企业业务平台的一站式解决方案。

火山引擎DataTester提供了广告的基础投放和监测链路，并汇总成为广告场景的实验能力，还能和VeCDP等产品数据进行打通。在这样的数据关联完成后，运营人员在营销投放的任何阶段，都可以实现一站式人群圈选、内容策略选型以及一站式创建营销素材。投放过程中也可以快速开启实验，从而实现了科学的评估的同时，又实现了整体提效。

• 广告素材拆分对比实验。广告投放可以通过素材的拆分对比实验和人群的拆分对比实验，快速判别哪一类素材的调性更贴合产品本次推广的卖点，同时分析以及哪一类人群对哪一类素材更加敏感。
• 品牌增效度量实验。将投广告和不投广告的人群，构建成虚拟实验，通过实验对比的数据，再结合通过问卷等一系列的手段回收类似于品牌记忆度、推荐程度主观的数据量化，分析投放广告之后，是否有给品牌带来增效。如此判断广告是否值得继续投入。
• 营销落地页实验。结合达人共创的概念测试和A/B测试，针对营销素材、投放人群和关注本次新品，外部的包装特点和内核的关心点进行测试。同时对概念本身的营销效果也进行A/B测试。 除此之外，还可以结合渠道，线下渠道可以把投放的新品和不投放的新品这两类渠道数据回收，并且通过一系列统计的方法，虚拟建设一个实验。通过实验数据的对比，可以得到后链路营销和实际销售的转化数据到，评估发布新品对整体销售有没有正向影响，如果有，就可以在所有的渠道推出新产品。

A/B实验提升私域转化效率

在消费行业的私域运营中，企业每上线一个新玩法，一个新功能，都可以通过线上A/B测试获得反馈，从而知晓所做的改动是不是能够获得正向收益。如实验商品最佳价格、最佳页面摆放位置等，通过策略优化提升用户触达的效率。

• 小程序功能布局实验。奢品用户对小程序整体展示的布局进行改动，右边新增混搭的板块和经典搭配的板块，并且在偏下方新增了热门产品板块。在实验后发现效果显著，在增加了这些入口之后，详情的点击率提升了70%以上，每个模块的加购转化率有了30%的提升。说明在首页应该提高调性做的更简洁，且增加曝光度是比较有效的营销手段。
• 注册/登录链路实验。品牌客户在官网登陆的链路作出改动，改动之前流程更加强调注册，改动之后，在优先级上更强调登陆，这种优先级的调换，增加了对用户的主观引导。
• 推荐算法实验。这类实验是可以长期持续进行，比如购物车底下“猜你喜欢”，添加的算法使整体有了非常明显的提升。实际使用时，不仅可以对现有算法进行实验，同时也和火山引擎的推荐平台进行相互集成和联动。且在购买火山引擎的智能推荐服务之后，可以直接在火山引擎推荐平台里使用A/B测验。

此外，还能通过A/B测试优化用户触达场景，如企业自有的APP、小程序、官网触点等，均可通过A/B实验提升用户转化链路的效率。

• 短信营销实验。比如说企业有一个短信营销的平台，只需要在这个平台里面集成A/B的模块，只要集中在平台上，不改变原有的工作方式，可以快速配制文案和落地页，从而测试哪种文案的效果更佳。如果有内部运营管理的后台，也是同理，可以快速测试不同的素材带来的效果。
• App Push推送实验同理短信营销实验。
• 运营资源位实验。针对客群划分圈选人群，再针对不同客群测试其对于不同素材的反馈，如此就可以把A/B测试的结论固化下来，从而实现线上自动的千人多面。这个功能可以和企业自有的运营后台、第三方采买的营销平台进行打通。从而在发布时实现千人多面差异化的发布。

在分享的最后，火山引擎DataTester发布了最新功能——MAB智能调优实验(Multi-Armed Bandit)，这是一种能根据当前实验数据表现，来智能调整实验内不同实验组的流量比例分配的实验类型。

传统A/B实验依赖于统计显著性的经典假设检验，为对照版本和实验版本分配相应的流量，但在实验期间不能够变更每个子版本的流量。因此这类实验需要专门的预留周期（至少7天），必须有足够的样本进入实验，并且在实验开始后不能有任何变动，才能得出显著结果。

而火山引擎DataTester的MAB智能调优实验，克服了传统A/B实验的上述限制，它在回收了数据之后，会实时调整算法自动为下一次分配流量做处理，从而实现高效的决策。这个过程中，既可以节省时间，又不需要在这里面引入人为判断的失误，实现最终效果的最大化。

MAB智能调优实验大幅拓展了AB实验可以应用的场景。在冷启动、流量少、短周期的业务场景中，均可通过MAB实验进行优化，此外在一些特定场景下，如涉及到App文案标题、缩略图、视频内容等的A/B实验优化测试，需要在短的窗口期内获得最大点击量时，也可使用MAB智能调优实验。

此次的分享虽短，但从产品概念到具体实践都有所覆盖，活动参与者不仅得以了解了A/B测试及其新功能，还更加深入获悉了A/B测试的应用覆盖和未来趋势，对将来A/B测试的实际使用也会有更加深入的发掘。

点击跳转火山引擎A/B测试了解更多