AUC和线上点击率指标不一致

问题：

深度模型相比LR模型，离线auc高于基线，线上ctr也高于，但是线上深度模型AUC低于基线。
一般，线上样本存在bias，新模型去测试基线流量和实验流量，实验流量auc会高。

分析：

1 可能是auc失真，不同用户排序结果不可比
使用gauc衡量

2 用户auc分布
实验曝光未点击较多
分析2 去掉只曝光行为用户
结论：auc在高分段实验更有优势
3 浏览长度和双用户样本分布差异

结论

1 深度模型分布更均匀，召回差异小，auc不可比，gauc只能参考。
2 模型分布发生变化，深度模型召回后排序难度更高。线上AB实验样本不一致，auc无可比性。
3 新模型展示商品质量上升，用户点击数有限，导致分数高的样本加入负样本，auc降低。

参考：

https://zhuanlan.zhihu.com/p/42521586