面试（11） A/B test

1、概念

  A/B测试目的：快速验证新版本是否比旧版本好。
  例如：对于商品详情页进行改版，希望提升商详版到支付页的比例。
  采用抽样验证：选一定比例的用户（对照组）使用A版本统计日均PV，UV，日均页面转化率，再选一定比例的用户（实验组）使用B版本统计日均PV，UV，日均页面转化率。用样本去体现总体。

2、统计学应用

  统计学能告诉我们如何抽样才能具有充分的代表性，以及如何从样本反应出的信息中推测总体状况。

  要保证样本具有足够的代表性需要做到2点：

• 随机抽样
• 足够的样本量

  随机抽样

  随机抽样可以保证样本中的每个研究个体均有相等的机会被抽中的抽样方法。常用的随机抽样法有：

• 简单随机抽样（simple randomsampling）
• 系统抽样（systematicsampling）-也称等距抽样
• 分层随机抽样（stratified randomsampling）
• 整群抽样（cluster sampling）

  足够的样本量
  样本量越大，通过样本去评估总体的误差就越小。当误差小于我们需要的精度时，样本量就足够了。

3、中心极限定理

  大数定律揭示了大量随机变量的平均结果，但没有涉及到随机变量的分布的问题。而中心极限定理说明的是在一定条件下，大量独立随机变量的平均数是以正态分布为极限的。
  中心极限定理是概率论中最著名的结果之一。它提出，大量的独立随机变量之和具有近似于正态的分布。
中心极限定理用两点简单说就是
1.样本平均值约等于总体平均值（样本大于30）；
2.不管总体是什么分布，任意一个总体的样本平均值都会围绕在总体的平均值周围，并且呈正态分布

  中心极限定理它支撑着和置信区间相关的T检验和假设检验的计算公式和相关理论。
对于属于正态分布的指标数据，我们可以很快捷地对它进行下一步假设检验，并推算出对应的置信区间；而对于那些不属于正态分布的数据，根据中心极限定理，在样本容量很大时，总体参数的抽样分布是趋向于正态分布的，最终都可以依据正态分布的检验公式对它进行下一步分析。在不同的场景下都可以对A/B测试的指标置信区间判定起到一定作用。

如何应用？

如上可知，我们不知道总体的数量和均值，有了中心极限定理我们就可以通过一个抽样得到的样本，来推断总体的特征，这为我们研究总体的特性指明了一条路。具体标准作业流程如下：

1、直接抽取样本，其容量为n

2、求出均值和标准差s

3、根据标准差s，求出标准误差SE＝

4、根据置信水平，如95%，查Z表，求出标准分

5、均值加减标准分个标准误差，即得出置信区间的上下限

至此我们会得出一个可信度为95%的区间，也就是说总体均值有95%的可能性落在这个区间里。这样我们仅通过一个样本的分析，就得到了不可能知晓的总体的均值的一个范围。

需要注意的是，大样本的估计本质上是，根据中心极限定理应用正态分布，求Z值，来计算置信区间。

4、ABTest实验结果举例

回到abtest的例子，假设通过上述步骤，我们得出A版本和B版本的总体均值和总体均值95%置信区间。

用图形画出版本A（sample1）和版本B（sample2）的总体均值置信区间如下：

到这里，我们已经实现了对版本A和版本B 全量发布后的转化率估计。那么就可以得出B版本的转化率优于A版本的转化率。

[参考]：[https://mp.weixin.qq.com/s/CEI7sHhh0xNMzU6mm8PnEQ]