数据科学AB测试（说人话系列）

什么是AB测试

AB测试可以让个人、团队和公司根据用户的行为不断地改善用户的体验。比如某某互联网公司电商平台希望提高某一活动的转化率，因此为了实现这一目标对页面的整体布局进行了改动。在保证其他变量不变的情况下，我们的实验组对页面布局进行改动，对照组不对页面布局进行改动！这有点像控制变量法(狗头)。

AB测试的具体步骤

• 实验目的：通过改变操纵因子，观察操纵因子与因变量的因果关系.比如在电商平台下改变页面的布局设置对用户下单率的影响.
• 实验单元：实验中的操纵因子发生完全改变设计的对象，比如在电商平台下改变页面的布局设置对用户下单率的影响中，实验单元为打开App首页的用户.
• 操纵因子：操纵因子就是实验中所要控制的变量.
• 操纵因子水平：操纵因子在实验中设置的水平：操纵因子可能的取值。在上述的例子中：操纵因子就是是否对页面的布局设置进行了改变。同时操纵因子的数量也决定了实验组的数量.
• 因变量：在实验单元上可测量到的随操纵因子改变的变量。在上述的例子中用户的下单率就是因变量.
• 效能：由于操纵因子的变动所带来的因变量的改动。比如页面的布局设置改动的实验组比没有发生改动的对照组导致下单率提升10%,所以10%为此次实验得到的效能.

AB测试估计最小预计提升：

在进行AB测试之前，我们都有一个心理预期，根据实际的工作经验比如改变操纵因子大约会使得实验组比对照组提高多少效果，所以由此引出了一个概念MDE(最小预期提升).如果在实际中实验组比对照组提升的小于MDE，那么认为实验组的方案没有价值。

AB测试最小样本量计算：

AB测试最小样本量计算是在MDE的基础之上计算的。我们无法无限制的获得样本量，因为这样会给用户带来不好的体验，导致企业收入降低，由此引入最小样本量。

$$n=\frac{2{\sigma }^2(z_{1-\frac{\alpha }{2}}+z_{1-\beta }{)}^2}{{\Delta }^2}$$
$\Delta$:样本均值预期最小提升（MDE）.
${\sigma }^2$:样本方差.
$\alpha$:第一类错误概率.
$\beta$:第二类错误概率.
$z$:正态分布累计概率为$x$时对应的分位数.

备注：举例说明最小样本量的计算。
我们所关注的仍然是电商平台下的页面设置的改动对用户下单率的影响。
根据我们的工作经验会知道历史上这一指标的历史数据，很容易得到历史上下单率大约为67%.我们期许的MDE为2%,样本方差的计算为：${\sigma }^2=p\ast (1-p)$, $p$为历史数据67%.

$$n=\frac{2\ast [0.67\ast (1-0.67)](1.96+1.28{)}^2}{(0.02{)}^2}$$

AA测试：

在进行AB测试之前要先进行AA测试，所谓的AA测试是实验组与对照组同时上线相同的策略，用来检测不同的分组方式是否会带来实验组与对照组的差异，排除其他因素的影响来可以进行AB测试.

最后举一个例子说明AB测试假设检验的一些问题：

组别	样本量	下单率
实验组	2500	6%
对照组	2500	9%

对实验组与对照组的下单率进行假设检验：
检验统计量：
$$z=\frac{{\bar{x}}_b-{\bar{x}}_a}{\sqrt{\frac{S_a^2}{n_a}+\frac{S_b^2}{n_b}}}$$
根据假设检验的相关步骤来来判断接受原假设还是拒绝原假设，在此就不过多赘述了。

最后祝愿各位小伙伴开心快乐，学业进步！