【推荐系统】A/B test

显著性检验是“统计假设检验”（Statistical hypothesis testing）的一种，显著性检验是用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法，也是为了突出实验组效果比对照组效果明显。

基于样本的信息，我们评价一个假设靠谱与否。这个过程我们称为显著性检验。

置信区间？

请问大家如何解决AA实验波动大和显著的问题？

如果AA显著，对AA数据进行可是化展示，1、如果两组数据拧在一起（有时A1>A2,有时相反），可以考虑是由于样本量不足带来的波动差异，加长观测时间或增加足够的样本量再次观测；2、若排除1或 数据表现为A1总是高于A2，可以考虑是分流不科学导致的，观察一下AA两组划分的人群是否有差别（例如两组用户的设备情况、vip情况、性别、年龄组成等，科学分流很重要）。3、若排除了1和2的可能，可能是系统差异带来的，若系统差异太大，是会影响正常的ab实验的。

A/B Test︱一轮完美的A/B Test 需要具备哪些要素

A/B test常见面试题

统计学假设检验中 p 值的含义具体是什么？ - EricG的回答 - 知乎