【数据应用案例】提速100倍，秒杀传统AB测！Netflix交错测试个性化推荐算法

案例来源：@AI前线

案例地址： https://weibo.com/ttarticle/p/show?id=2309404182094598265823

1. 背景：AB test的缺点

1）当待测试的算法数量很多时，传统的AB测需要较多的用户样本。如100个算法，那么需要100组的用户

2）用户差异性：如测试百事与可乐谁好喝，选择AB两个group，如果A中常用苏打水的用户明显大于B中常用苏打水的用户，那么ABtest的结果不可靠

2. Netflix交错测试方法

1）第一阶段：

a. 用单一用户群体进行算法测试，从大量算法中选出TOPN算法

b. 单一群体测试的方法：将算法AB的结果交错展示给用户，根据两个算法的指标表现确定哪个算法比较好

c. 使用单一群体去除了“用户差异性”的缺点

d. 由于推荐结果越往右点击率越低，所以AB的展示结果可能是：A1B1A2B2和B1A1B2A2

2）第二阶段：

a. 根据第一阶段筛选出的算法，进行传统的ABtest

b. ABtest的原因是要测试用户留存率等指标

3. 该测试方法性能：更小的样本量就能得到足够精确的结果