初探：A/B Test

「A/B 测试」简单的说就是某个元素的两个（或多个）版本摆在面前，通过测试确定并应用更好的版本。因小巧有效低成本，是一种经常被提起和使用的方法论。其中的套路再简单不过，但初次实践还是要多加注意，避免踩坑，影响数据可靠性从而误导决策。

各种产品都通过测试来提升产品转化率，降低流失率：电商类网站希望提升用户购买率；SaaS 类产品希望更多用户去注册免费试用，并转化为付费用户；新闻和信息类产品则期待更多用户去点击广告，或是选择付费订阅。

进行A/B 测试

已上线并有很大用户量的产品，适合做A/B 测试，而对于初创公司或产品，则不太适合。A/B 测试整个过程可分为以下四步。

建立单个假设

对需要进行测试的变量按优先级排序，逐个测试。常用的测试变量包括按钮（位置、文字、颜色）、标题、文段、链接、表单（长短、文字描述）、版面设置（页面排布、位置）、促销方案（文案、商品搭配、产品定价）、图片（内容、位置）等。

在同一次测试过程中，可设置多个对照组，但必须控制单一变量。考虑到投入产出比，很少为极微小的变化进行A/B 测试，比如某个按钮的大小变化，或是某个动效的时长。

设定目标

通过可量化的数值来验证是否达成效果，目标主要分为两类：

• 提升X：转化率、页面浏览率、停留时间、点击率、分享次数等
• 降低Y：跳出率、流失率等

例：某淘宝店铺商品详情页，目标为将购买点击率从5%提升至10%.

测试和数据收集

工具方面自己使用过GA，毕竟开源免费。此外更专业省事的A/B 测试付费工具也有一些，比如 Optimizely、吆喝科技.

在测试阶段内，对于同一用户ID，每次进入访问的应该是相同内容。一般测试上线后等待两到三周，可结束测试；网站流量越小，则需要越多的时间。

样本量

当目标设定的变化百分比（转化率）越大，原转化率越小，所需的测试周期越短，样本量也越少。具体计算公式：

检验假设

若结果得出明显差异的更优方案，可以在上线更优版本之后继续测试新变量。若测试结果各组之间并无明显统计学差异，则需提出另外的假设来进行测试。

举例

How Netflix does A/B Testing
Experiments at Airbnb
A/B Testing at Booking.com

更多参考

《用户体验度量：量化用户体验的统计学方法》

---

这是篇原该写于半年前的小结，虽然迟到太多，但也让自己再次回顾了第一次做A/B 测试的全过程，坑太多，同时也需要大量的理论知识和实践相结合，还有太多的东西来不及了解，向做用研的同学表示佩服。