面试官A：你知道AB测试怎么做吗？
面试官B：你有AB测试的经验吗？
面试官C：AB测试的统计学原理可以简单说一下吗？
... ...
现在，互联网场景下，越来越多的公司or面试官开始考察AB-Test相关的知识
似乎是懂了AB测试，年薪就达到XX万（请自行脑补）
那么，为了大家都能年薪XX万，我们今天来聊下
AB-Test那些事儿
AB-Test的起源
AB测试的概念来源于医学的双盲实验。
用户被随机分组成两组，在不知情的情况下，拿到了测试用药和安慰剂。经过一段时间的实验后，比较这两组病人的表象是否具有显著的差异，从而决定测试用药是否有效。
同样，互联网公司们在采取AB测试时也用了同样的概念
将web或者app界面或者流程，拆分为多个版本，在同一时间段里，分别让同质化的用户使用。之后收集相关的业务数据，最后评估出最好的版本，从而达到效果最大化。
从本质上来说，AB-Test是对某唯一变化的有效性进行测试的实验
#请忽略我的强行过渡
很多同学说，知道了AB-test的起源，对我们实际工作并没有啥帮助
那么，接下来，让我们说说AB-Test的具体步骤把
AB-Test的步骤
开局先上图：
根据上图，我们把AB-Test拆分为实验前 + 实验中 + 实验后来大致讲解下实验的流程及步骤
实验前：
1、设定项目目标：即本次AB测试的主体是什么，一个页面优化，一个app功能，一个文案修改？
2、本次测试的用户群体：是面对整体用户，还是部分用户？是需要分版本生效，还是全部生效？
3、预计会达到的目标：比如点击率，如预期10%上涨至15%，需要有个心理预期
4、计算样本量：根据预计效果，以及显著性水平，计算出所需样本量
5、计算流量分配比例：当计算出样本量后，我们需要根据当前流量，制定分流计划，是分群还是分层，或者同时进行
6、规划整理以上内容，进行AB测试前的文档落盘，方便实验后进行效果观测和实验结果评估
实验中：
1、实验上线：根据事前设定的 测试功能，分流比例，投放人群进行线上AB测试
2、空白组确认：空白组，是否真的空白组，一定需要确认
3、AB生效确认：检验线上AB是否生效，以及AB测试是否按照计划比例分流
4、如果为了验证分流是否有效，及实验效果的显著性检验，我们在AB时，可以进行AA实验
实验后：
1、实验有效性检测：判断实验是否达到最小样本量，从而能够以较大概率避免两个统计错误的发生（弃真错误 & 取伪错误）。一般情况下，通过AA实验的显著性差异检验，就能判断实验结果有效
2、实验效果比较：即通过对比AB实验下，实验组及基准组的区别，是否有显著差异，是否达到预期，从而判断后续迭代策略
以上，就差不多是AB-Test的整体步骤
当然，在实验的过程中，也会碰到很多坑
我们也提前帮大家“预警“一下都有哪些坑
AB-Test的一些坑
1、用户属性一定要一致
如果上线一个实验，我们对年轻群体上线，年老群体不上线，实验后拿着效果来对比，即使数据显著性检验通过，那么，实验也是不可信的。因为AB测试的基础条件之一，就是实验用户的同质化。即实验用户群，和非实验用户群的 地域、性别、年龄等自然属性因素分布基本一致。
2、一定要在同一时间维度下做实验
举例：如果某一个招聘app，年前3月份对用户群A做了一个实验，年中7月份对用户群B做了同一个实验，结果7月份的效果明显较差，但是可能本身是由于周期性因素导致的。所以我们在实验时，一定要排除掉季节等因素。
3、AB测试一定要从小流量逐渐放大
如果上线一个功能，直接流量开到50%去做测试，那么如果数据效果不好，或者功能意外出现bug，对线上用户将会造成极大的影响。所以，建议一开始从最小样本量开始实验，然后再逐渐扩大用户群体及实验样本量。
4、如果最小样本量不足该怎么办
如果我们计算出来，样本量需要很大，我们分配的比例已经很大，仍旧存在样本量不足的情况，那么我们只能通过拉长时间周期，通过累计样本量来进行比较
5、是否需要上线第一天就开始看效果？
由于AB-Test，会影响到不同的用户群体，所以，我们在做AB测试时，尽量设定一个测试生效期，这个周期一般是用户的一个活跃间隔期。如招聘用户活跃间隔是7天，那么生效期为7天，如果是一个机酒app，用户活跃间隔是30天，那生效期为30天
6、用户是否生效
用户如果被分组后，未触发实验，我们需要排除这类用户。因为这类用户本身就不是AB该统计进入的用户（这种情况较少，如果有，那在做实验时打上生效标签即可）
7、用户不能同时处于多个组
如果用户同时属于多个组，那么，一个是会对用户造成误导（如每次使用，效果都不一样），一个是会对数据造成影响，我们不能确认及校验实验的效果及准确性
8、如果多个实验同时进行，一定要对用户分层+分组
比如，在推荐算法修改的一个实验中，我们还上线了一个UI优化的实验，那么我们需要将用户划分为4个组：A、老算法+老UI，B、老算法+新UI，C、新算法+老UI，D、新算法+新UI，因为只有这样，我们才能同时进行的两个实验的参与改动的元素，做数据上的评估
9、特殊情况（实际情况）
样本量计算这步，可能在部分公司不会使用，更多的是偏向经验值；
假设检验这一步，部分公司可能也不会使用；
大部分公司，都会有自己的AB平台，产运更偏向于平台上直接测试，最后在一段时间后查看指标差异。
对于这两种情况，我们需要计算不同流量分布下的指标波动数据，把相关自然波动下的阈值作为波动参考，这样能够大概率保证AB实验的严谨及可信度
以上，就是本期内容，希望对你有帮助