策略影响力小的线上AB实验,一些经验

1,实验配置的历史记录一定要周全和完整,因为有时发现,已经可以看一个月的实验数据了。

2,一共十个桶,每个桶10%用户分流,实验组流量扩量,比如10%扩到20%,这时不要复用之前的10%的那个桶,因为策略效果(有可能)会随时间衰减,最好另开20%的2个桶。但综合考虑,这个待议,因为换桶则不方便观察长期到一个月的效果。

3,一个月的实验效果,确实稳定不少,比观察一周两周稳定。可观测波动规律,一周有波动,一月有波动,观察一月可稳定,观察一周的话,这周可能处于一月内的波动里。

你可能感兴趣的:(数据挖掘,数据挖掘,数据分析)