统计分析与A/B测试

本篇文章讨论通过假设检验来验证A/B测试是否影响用户的行为，验证你选择的变量是否为随机的。

登陆页转化率

测试的对象是一个包含注册表格的登陆页，测试的目的是找到最大的转化率的一种页面布局。其中转化率定义为将访客变为用户的比率。

现有四组实验，其中包含一组对照组和三组实验对照组。

对照组和实验组的转化率对比

从上图中，我们可以观察得知A组和C组的转化率提升都大于20%,符合我们的预期目标。另外，你将认为C组的数据明显优于A组，C组数据应该是最佳实验组。但是，不能确定的是这种差异是否优于随机的原因。假如188个实验对象中只有10个是真正的访客呢？

在这里我们设置95%的置信区间来进行假设检验。

验证的统计方法

在本例中，零假设为对照组的转化率不小于实验组的转化率。公式如下：

其中Pc是控制组的转化率，p是其中一组实验组的转化率。实验的目的是实验组的转化率高于对照组。

样本转化率一般符合正态分布，在此实验中，需要验证的是转化率是否与控制组相差太远。下图分别是对照组和实验组转化率的分布图。

现我们定义一个新变量X=P-Pc，因此零假设变成：

Z-score

X变量的Z-score为：

其中，N为实验组中样本的数量，Nc为控制组中样本的数量。
在抛硬币的实验中，95%的置信区间，所对应的Z-score为1.96。如果说，出现“头部”图案的比率过高或者过低，则拒绝零假设。该实验中的零假设为p=0.5.
在登陆页转化率测试中，零假设为X<=0.

也就是说，如果实验组的转化率明显高于对照组，拒绝零假设。如下图所示：

如果Z-score的值大于1.65（95%的置信区间），则拒绝零假设。

结论

由上表得知，C组的z-score值大于1.65,拒绝原假设,则认为p>pc，即实验组大于对照组。保留C组，遗弃A组。

有以下几点提示：

• 每组实验的 转化率符合正态分布
• 验证的是实验组与对照组转化率之差
• 转化率之差也符合正态分布
• 只验证转化率之差是否大于0，所以只需z-score评分1.65，对应的是正态曲线的正半部分。

统计方法对于A/B Test的意义在于进行的测试是否充分。或者可以验证，转化率提升20%的前提下，需要进行多少测试才够量。

注：文章翻译自：Statistical Analysis and A/B Testing

参考文献：

Z-Score: Definition, Formula and Calculation