如何进行A/B实验

案例背景：

某基于地理位置的陌生人社交交友平台（类似于探探），近期由于竞品的影响，配对率和DAU增速均出现一定程度的放缓；

为解决这个问题，老板提出想通过在社交名片上展示“与你擦肩而过n次“（背后假设是，用户更愿意与那些在线下距离更近的用户进一步接触）的标签，且配对成功后会有消息提醒，鼓励用户进行右滑配对，提升配对率。

image

image

预期该功能上线后，可将用户的配对率由原来的20%提升至30%，一共提高10个百分点。

（每一个用户的）配对率=配对的次数/右滑次数

实验从全体用户总随机抽样。

已知：

1.实验结果数据如下：

image

2.用户使用该功能路径：

打开APP-进入配对界面-点击左滑或右划-划到有“与你擦肩而过n次”的用户

请同学们将下表填写完整：

AB实验流程表文档

image

注：在用网站计算P值时，在选择P-value Type时，选择Right Tail.

实验目标

提高用户在该产品上的配对率以及DAU

发现问题

• 近期由于竞品的影响，该产品配对率及DAU增速放缓
• 用户更愿意与那些在线下距离更近的用户进一步接触，而该产品目前未能满足这一需求

提出假设

通过在社交名片上展示“与你擦肩而过n次“的标签，且配对成功后会有消息提醒，鼓励用户进行右滑配对，可提高用户配对率及日活

检测指标

定义目标指标

本次优化的目标指标为用户配对率

定义流程指标

使用流程：打开APP-进入配对界面-点击左滑或右划-划到有“与你擦肩而过n次”的用户——右划——配对结果

对应指标：日期、进入配对界面次数、标签展现次数、右划次数、配对次数

实验受众

本次标签功能针对的是全体用户，未存在某明显特征用户的筛选要求

实验样本预估

利用网站来计算样本量，用户的配对率由原来的20%提升至30%，显著性水平α=0.05，计算出需要的样本数量至少为140

image

实验结论

1 实验组、对照组的均值和标准差

image

2 计算z值

image

3 计算p值

image

p值为0.15的意义是：新功能上线对配对率没有影响为真时，样本观察结果“用户的配对率由原来的20%提升至30%”的概率为15%。由于我们设定的显著性水平α=0.05，p>α，则无法拒绝原假设，因此实验带来的差异性不显著，新功能上线对配对率没有提升

AB实验流程表

image