不做ABtest可以吗？

在互联网行业ABtest也是我们常听到的一个词，尤其是产品迭代，其实在大量快速的实验时，我们最好都要进行ABtest。

由于一些个人原因已经间隔两周没有做内容的更新了，本周开始恢复正常~

有对比更能明确差异

什么是ABtest

ABtest是一个在线测试的常规方法，一般用于新产品或者新功能的测试。

需要在同等条件下，把用户分为两组，一组上线新的产品或者功能或者活动（实验组），另外一组保持已有（对照组）。整体遵循两组用户变量唯一，这里的变量其实就是是否有上线新的活动或者功能或者活动。

为什么要保持变量唯一？为了保证我们能够对这一个唯一变量进行有效评估，如果多个变量因素干扰，会无法对最终结果的影响因素进行准确判断。

为什么做ABtest

整体来说做ABtest的原因主要是为了评判新的产品或者功能与现有相比那个更好；有新的产品或者活动与没有时对用户的影响是否更好。

ABtest最大的好处就是实验组和对照组唯一变量对比，能够明确评判新改动的效果和影响力，不论是好与坏，ABtest都更具有说服力。在日常工作中其实经常会发现我们的很多产品上线根本不会做ABtest，有些新增项可能还好，但是在原有产品上的改动如果不做ABtest就切换流量，其实很容易对用户造成伤害，增加用户的切换陈本，万一上线后看效果不好，再次切换更是让用户感知到产品混乱，影响用户体验。

案例：

这是我个人经历的一个真实情况，从8月底开学季一直到10月份我们的产品DAU以及其他收入指标其实一直都有下降，这时候我们做了一类新的活动尝试，也做了ABtest，假设我们那会没有进行ABtest，只根据活动上线前后进行对比的话，是根本看不出来任何影响的，因为大盘一直在下降，而正是因为ABtest我们明确了此类活动的有效性，给了大家一个合理的判断解释。

ABtest的适用情况

存在明确的对照组和实验组，能够选择合适的指标评估此类改变，适合使用A/B Test。

1、有新的产品优化或者功能优化，尤其是对用户使用路径或者便捷性影响较大的改动

2、精细化运营中，针对不同人群各种类型的活动尝试

3、推荐策略的优化或新增

举例：

①某互联网产品首次对主页内容使用算法推荐，通过ABtest,发现使用明显增加了页面内容的点击和最终收入；

②某阅读类产品对推荐策略进行优化，通过ABtest对比分析策略改动对用户的正负影响；

③某互联网公司刚开始尝试精细化运营，初期针对不同用户群体大量进行活动实验，通过ABtest择优选取了一些有效的活动，舍弃了一些低效的活动。

综述：

ABtest可以让我们对改动进行更有效的评估，排除更多的可干扰因素，且对外解释性较好。

#原创    下期继续

#作者   互联网行业数据产品一枚

标签：数据分析    思维