关于CVR建模中延迟反馈问题

1 简介

转化率(CVR)预估是电商搜索、推荐和广告最关键任务之一。商业系统通常需要以在线学习的方式更新模型，以跟上不断变化的数据分布。但是，成交转化通常不会在用户单击商品后立即发生。这可能会导致label不准确，我们称之为延迟反馈问题。

也就是说，对于一个点击行为，可能在当时没有出现转化现象，但是在随后的12h，24h小时内发生了转化，那么这个样本数据就会标记为负。通过延迟反馈修订，就是将此类的样本数据标记为正。

在以前的研究中，延迟反馈问题是通过长时间等待正例样本来解决的；或者通过在到达样本时先消费负例样本，然后在之后真正转化时再插入正例样本来解决。

2 业内相关方法

Delayed Feedback问题为CVR模型在线学习引入了一个难题：一方面，我们需要等待足够长的时间，以便观察信息可以大致反映出真实的成交转化(label corretness)；另一方面，我们也倾向于更新的预测模型(model-freshness)。

DFM[2]是解决延迟反馈问题的早期研究之一，提出的延迟反馈模型通过预估CVR和延迟时间分布的联合概率进行优化。这种在观测转化上的优化结果可能会偏离(biased from)真实的转化分布。为了在延迟反馈问题中实现无偏的CVR预估，最近的研究探索了通过重要性采样(importance sampling)[1]来优化真实转化分布期望的方法。

FNW(Fake Negative Weighted)[3]提出以下采样方式：每个到达的样本首先被标记为负例，然后在真正转化时进行校正。然而，在修正之前，每个假负例可能会对模型产生副作用。如果数据分布频繁更改，则会增加这种副作用。例如，在促销活动开始时，用户点击次数可能会急剧增加，而大多数转化是在一定时间之后发生的。这种不堪重负的假负例可能会损害预测模型。

FSIW(Feedback Shift Importance Weighting)[4]不是盲目地将每个传入的样板标记为负例，而是在一定的时间间隔内等待真实的成交转化。但是，即使随后发生成交转化事件，FSIW也不允许数据校正。我们认为正例对于延迟反馈预测很重要，因为正例总是比负例稀少。此外，由于等待时间过长，FSIW可能缺乏模型新鲜度。因此，要么近乎实时地更新模型，要么等待足够长的时间进行转换，都无法解决流式CVR预测中的延迟反馈问题。

对于CVR模型在线学习，提出了Elapsed-Time Sampling Delayed Feedback Model(ES-DFM)，该模型对observed conversion分布和ground true conversion分布之间的关系进行建模。引入动态采样分布(elapsed-time sampling)，可以通过降低假负例的权重和提升真正例的权重来帮助模型纠正样本偏差。