数据分析必须警惕的坑：辛普森悖论

辛普森悖论为英国统计学家E.H.辛普森于1951年提出的悖论，即在某个条件下的两组数据，分别讨论时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结论。

一所美国高校的两个学院，分别是：

image

法学院和商学院，新学期招生。人们怀疑这两个学院有性别歧视，现作如下统计：

从上图显示的数据我们可以看到，法学院男生的录取比例为8/53=15.1%，女生录取的比例为51/152=33.6%。同理，商学院男生的录取比例为80.1%，女生的录取比例为91.1%。

无论在法学院还是在商学院，女生的录取比例都高于男生，由此可以推断学校在招生时更倾向于招女生吗？

image

当计算全校录取情况时，男生录取的比例为209/304=68.8%，女生录取的比例为143/253=56.5%。男生的录取率要高于女生，这下，恐怕要轮到女生感到不公了。

那么问题来了：该大学的招生政策，到底有没有性别歧视？到底是歧视男生还是女生？

先不说结论，我们再来看一个实际工作中会遇到的案例。

工作中的典型案例：

某产品的用户中有10000人使用Android设备、5000人使用IOS设备，整体的付费转化率应该是5%。细分发现其中IOS设备的转化率仅为4%，而Android设备则是5.5%。“聪明”的数据分析师得出结论：IOS平台的用户付费转化率低下，建议放弃IOS平台的研发。

一般来说，IOS平板的付费转化率比Android平板高出很多，而IOS手机的转化率也相对更好。这种情况下，设备类型就是复杂变量，如果数据是根据设备类型得到，那么其他的数据就可能被完全忽略。

接下来我们来对比这一组数据：

image

由此可见，Android设备转化率无论在平板端还是在手机端的转化率都小于IOS设备，这也很我们的常规预期相符。

image

当计算全设备情况时，Android的转化比例为550/10000=5.5%，IOS的转化比例只有200/5000=4.0%。这也是题干中“聪明”的数据分析师得出IOS版本应该下线的根源。

原因与应对策略：

误区产生的原因说起来也很简单，就在于将“值与量”两个维度的数据，归纳成了“值”一个维度的数据，并进行了合并。

如果要避免“辛普森悖论”给我们带来的误区，就需要斟酌个别分组的权重，以一定的系数去消除以分组资料基数差异所造成的影响。而在实际转化例子中，就需要用如“ARPU”、“ARPPU”这样看似相似实际上有很大差异的指标来进行分割。

同样地，如果要更客观分析产品的运营情况，就需要设立更多角度去综合评判。还是拿上述的设备转化率为例，产品层考虑转化的前提会优先考虑分发量、用户量、运营思路、口碑等等。而往往为了实现最后的转化需要，需要更多前置目标做铺垫。

常用的前置目标：

用户量：免费产品需要很大的用户量才能获得足够的总收入，因为该模式的转化率极低。而这些用户通常来自全球各个地区，使用各种不同类型的设备。针对不同的设备类型，采用通用的平均值是没有意义的。
LTV范围：免费产品需要很长的货币化周期，把用户消费当作玩家是否开心的依据，就像参与度和消费紧密相关一样，因此可以作为分类的标准。

大多数的用户是不会付费的，免费产品的综合付费转化率比较低，是因为把付费玩家和非付费玩家综合到了一起，所以任何对免费用户的衡量都是非常低的。因为大多数的用户是不付费的，所以ARPU以及ARPPU相差很多。

A/B****测试中的注意点：

联想到产品运营的实践，一个常见的A/B测试误判例子是这样的：拿1%用户跑了一个重大版本，发现试验版本购买率比对照版本高，就说试验版本更好，我们应该发布试验版本。

而事实上，我们选取的试验组里往往会挑选那些乐于交流、热衷产品、又或者是付费率高粘性高的用户，把他们的数据与全体用户对比是不客观的。当最后发布试验版本时，反而可能降低用户体验，甚至造成用户留存和营收数据的双双下降。

收获与总结：

避免辛普森悖论的关键是要同时参考不同用户间的事实全貌。

第一，准确的用户分群在数据分析中是非常重要的，尤其是在免费产品当中，平均用户不仅不存在，而且是误导研发的因素之一，所以关键在于利用特征将用户进行合理划分。

第二，在一个具体的产品中，普适型的数据（如粗暴的对比IOS和Android总体情况）是没有多大参考意义的，一定要细分到具体设备、国家、获取渠道、消费能力等等再进行比对才有价值。

第三，斟酌个别分组的权重，以一定的系数去消除以分组资料基数差异所造成的影响，同时必需了解该情境是否存在其他潜在要因而综合考虑。

用户分析常用缩略词：