关于A/B测试的12点认识

1、什么是A/B测试？

是分离式组间测试（对照组、试验组），一种单盲试验。

案例：Amazon（加入购物车流程中，（橙）黄色按钮是点击率最高的颜色，其次是绿色）

2、为什么要使用A/B测试？

利用A/B测试，可以很好地避免产品优化的常见问题。

常见问题：

1、依靠经验主义决策；

2、“后验”导致开发成本高；（后验：产品发布之后，收集数据验证指标。先将产品发布上线，通过埋点采集数据，经过一段时间以后，来分析判断说这个版本是好还是坏）

3、忽视细节改变；

4、流程复杂，周期长。

3、A/B测试特性

先验性

通过部分流量的代表性用户使用，根据他们的表现来决策是否让新版本上线。好处在于，只需通过很少量的样本数量，就能够得出代表全部样本的确定结果，减少损失。

并行性

将两个或更多版本同时上线，节省很多验证的时间。

科学性

要使得相似特征的用户均匀地分配到实验组中，即流量的科学分配；

得到统计结果需要通过统计学的科学统计分析。

4、A/B测试与产品增长

产品增长流程：统计 > 分析 > 改进 > 验证 > 发布

其中“统计 > 分析”，这个阶段“寻找增长机会”。

为什么要用A/B测试验证增长策略（增长曲线）？

找到产品增长与影响因子之间的因果关系。

5、A/B测试能够帮助优化什么？

1、产品UI

2、文案内容

3、页面布局

4、产品功能

5、推荐算法

6、A/B测试与应用场景

1、元素/控件层面

2、功能层面

3、产品层面

7、什么时候需要A/B测试

除了最早期，其他时期都需要。

8、A/B测试的误区

1、以为只有试验结果提升才等于成功

2、随机选取用户参与试验

3、一次性改变多个变量进行试验

4、让用户自主选择版本

9、A/B测试流程

A/B 测试需求文档（产品经理或运营人员） > 设计变量和指标（产品经理） > 集成变量和指标（开发人员） > 集成调试（QA） > 上线应用市场（产品经理） > 调节流量运行试验（产品经理） > 解读试验结果（产品经理） > 总结和决策（产品经理）

A/B测试需求文档：

试验目的 > 建立假设 > 变量指标设计 > 试验周期 > 采样范围 > 流量配置

指标设计：

公司业务指标：客单价、付费率

APP产品关键指标：留存率、注册率

试验直接指标 ：点击率、停留时间

流量控制：

初始流量如何设置？1%-3%

试验中需求分配多少流量？

原始组与试验组各分配多少流量？两组流量是否需求相等？

根据版本如何，风险高不高进行权衡

试验数据决策：

数据是否有意义

均值，置信区间，统计功效

如何运用指标决策

10、A/B测试实现的难点

开发：耗费大量人力物力（包括时间、研发、测试、上线）；可能也会遇到很多复杂的问题（如服务器压力等），无法保证用户体验

流量分配：流量分配可能无法保证小流量具有代表性，影响最终试验结果；调整流量可能会出现差错，很难即时生效。

数据统计：统计有效性的评估可能出错，导致试验结果的评估误差较大，不具有代表性。

11、A/B测试使用的地方

大的方向有，

1、导航

2、文字：结构、语气、格式

3、设计：页面布局、图片、颜色

具体的有，

1、主页：导航、轮播图、Banner、CTA

2、产品页：产品图、评价与评论、产品推荐

3、购物流程：注册流程、交叉购买

12、测试工具

Appadhoc

Optimizely

VWO

Abtasty

---

注：以上内容来源于“三节课”的公开课《给产品运营的技术课：A/B测试和灰度发布》。

再注：以上整理内容仅为个人觉得相对有价值的，并非一定正确，供参考开阔一下思路，这里是笔记。欢迎交流~ :)

by 鲤洋

2016.11.21