数据分析——A/B测试二：优惠券AB测试项目

上文我们讲到A/B测试的简单流程，本次将通过实战来对A/B测试进行详细的讲解。

A/B测试的关键点

目标KPI

A/B测试中我们需要制定目标KPI：指评判AB测试效果优劣的最终指标。例如：提升多少点击率或者提升多少转化率。

策略

为了达到我们制定的目标KPI，我们需要采取一定的策略：AB组分别采取的策略的差异点。例如：改变商品展示图片，改变文案等等；一般有多少个差异点就需要多少次测试；

A/B测试的作用

• 目标KPI的最大化：找到对KPI最优的策略，保证目标KPI最大化；
• 后续分析，沉淀诀窍：由于人群中有差异，通过研究不同子人群对于不同策略的响应程度，可以获得每组人群在策略上的偏好，帮助未来更好的个性化创新和设计。

AB测试常见问题和应对方案

1. 如何分配流量

• 零售行业的线下AB测试，一般用于测试不同优惠券带来的业务指标的变化。基于优惠券的具体设置方式，对流量分配有着不同的实施方法。
  • 多种优惠券设计相似：流量均分，4组策略每组20%，对照组20%
  • 优惠券设计不确定性大：最小化测试组，10%测试，90%对照
  • 优惠券效用过，仅为追踪效果：少量对照组，10%对照，90%测试
• 常用的分流方法
  • sql中的rand函数
  • 利用尾数的随机ID

不管如何做分流，用来做对照组和测试组的用户要做好标记方便之后进行分析和统计。

2.如何确定测试的最小人数

随机波动：由于我们的测试样本不可能都一模一样，所以我们设定的两个一模一样的对照组的结果也有可能出现不一样的结果，这就是随机波动。随机波动会进一步影响测试的结果。
最小样本量：为了使测试结果显著有效的同时保证最小的成本，我们首先要确保测试组里人数最少的一组达到验证效果有效性的最小样本数量。现在我们有很多网站可以帮我们计算最小样本量，网站如下A/B测试样本量计算网站

• 比例类目标KPI：
  

• baseline conversion rate：基准率，例如：点击率；
• minimum detectable effect：最小特侧率，例如：提升3%的点击率；
• significance level α：显著水平，一般为5%；
• statistical power 1-β：统计功效也就是$H_0$错误并拒绝$H_0$，一般取80%或者90%，这里需要理解弃真错误和取假错误

	$H_0$是对的	$H_0$是错的
接受$H_0$	(1-α)这没问题	β 取假错误
拒绝$H_0$	α 弃真错误	(1-β)这也没问题

这里的α弃真错误也叫第一类错误，β取假错误也叫第二类错误。

• 均值类目标KPI：
  
  如果测试过程中比例和均值两个指标都要对比，则选择数值大的那个。

3. 如何避免辛普森悖论

辛普森悖论：在某个条件下的两组数据，分别讨论时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结论。

导致辛普森悖论的原因：

流量分割不均匀导致的实验组与对照组的用户特征不一致。

如何避免辛普森悖论：

• 合理的进行正确的流量分割，保证试验组和对照组里的用户特征是一致的，并且都具有代表性，可以代表总体用户特征。
• 试验设计：两个变量对试验结果都有影响，就应该把这两个变量放在同一层进行互斥试验，不要让一个变量的试验动态影响另一个变量的检验。

例如：我们觉得一个试验可能会对新老客户产生完全不同的影响，那么就应该对新客户和老客户分别展开定向试验，观察结论。

• 试验实施：要积极的进行多维度的细分分析，除了总体对比，也看一看对细分受众群体的试验结果，不要以偏盖全，也不要以全盖偏。

例如：一个试验版本提升了总体活跃度，但是可能降低了年轻用户的活跃度，那么这个试验版本是不是更好呢？一个试验版本提升总营收0.1%，似乎不起眼，但是可能上海地区的年轻女性 iPhone 用户的购买率提升了20%，这个试验经验就很有价值了。