互联网中AB测试

1、什么是AB测试

在互联网中，AB测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。

2、基本步骤

AB测试是一个不断迭代的过程

3、影响准确性因素分析

对此实验影响最大的是样本的选择，也就是流量分配的问题，大致存在下面两个方面的问题：

1）样本数量

样本数量不能过少，如果样本数量过少的话，那么实验不具有代表性，和可能其中的某个特大值或特小值都会对试验产生很大的偏差，影响最后的效果；

2）样本是否均匀

各个实验组分配到的样本是否均匀，如果样本并不均匀，则即使样本数量再多也得不到一个有价值的统计结果。

4、AB测试实战阶段

1）、背景：现在开通了一个网站，然后给网站投放广告的时候，一开始给大家看到的落地页是访问课程资料,现在又推出了开始免费试学这个落地页，然后想着以后换上新的落地页，这时候就要检测两个落地页的转化效果了，下面是测试的24天，看数据会有24天的。

2）、读取数据

其中user_id是用户id；timestamp是访问时间；group是两组样本表示，control表示的是旧的落地页，对应的是landing_page中的old_page；treatment表示的是新的落地页，对应的是landing_page中的new_page；converted表示是否转化，1是转化，0是未转化。

3）、观察缺失值

此数据中没有缺失值，所以不需要进一步处理缺失值。

4）、数据中可能存在group和langding_page中的值不对应，找到并处理

5）、去除掉重复的用户

6）、对数据整体做一个概览：

7)、进行假设性检验

a、随机将测试用户分为两个组，A组和B组，可以得到各自的转化率Pa和Pb,经过一定测试时间后，根据收集到的两方案样本观测数据，根据显著性检验结果选取最好方案。

b、建立原假设和备择假设

我们期望方案B（新方案）页面的转化率高于方案A（就方案）页面的转化率，所以构成如下的假设：

c、构建检验统计量

d、计算

1）

z-socre 是 1.3109241984234394,P-value 0.09494168724097551 > 0.05 所以不能拒绝原假设,也就是说方案B的效果不比方案A效果好，这种概率为95%。

2）、同过上面的检验统计量计算

和上面是相同的结果，所以截至到目前并没有证据可以证明某一页面可以带来更多的转化率，这里我们就需要再延长观测时间或是修改新的页面再进行测试了