interleaving：非用户分组实验

https://zhuanlan.zhihu.com/p/68509372

核心论点：
1、可能存在少量用户主导了实验组指标的情况（重度用户）。
1.1、因此分组在重度用户维度上本身的偏差可能导致在指标上很大的偏差。
1.1.1、如果想要消除1.1中的偏差，需要足够多的样本数。

2、提出interleaving方法在不扩大样本数的情况下来解决问题1，此方法也经常被使用在搜索引擎，IR检索领域。
2.1、注意消除bias，进行顺序交替，轮换交叉出现。
2.2、还可能有别的问题，如相同item怎么判定，在有多重rerank控制下可能无法达到交替的效果，除非差异特别明显。
2.3、interleaving可以加快实验过程，但是最终结果判定还是要靠AB test。