RecSys2019|Twitter如何解决点击率预估中的延迟反馈
Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction
Sofia Ira Ktena, Alykhan Tejani, Lucas Theis, Pranay Kumar Myana, Deepak Dilipkumar, Ferenc Huszá, Steven Yoo, Wenzhe Shi
https://arxiv.org/pdf/1907.06558.pdf
https://dl.acm.org/doi/abs/10.1145/3298689.3347002
展示广告中有一个挑战，即特征分布和点击率由于季节性、广告变更以及其他因素等，会随着时间变更而产生巨大迁移。
比较流行的策略是在新鲜数据上持续训练预测性模型，同时保持这些迁移性，进而防止数据样本及特征等过时。然而，很多广告系统中，正样本可能经过较长时间才返回，并且具有随机性的延迟。这些延迟的样本对连续训练中对数据新鲜性带来的挑战，会导致模型训练时比较新的数据没有完整的样本信息。
朴素的解决方案是先将未回传反馈的样本作为负样本，直到正样本反馈回来时更新为正样本，但是这种方案倾向于造成模型低估，进而不利于用户体验，同时对广告主来讲，效果也是次优的。
这篇文章的核心在于如何最佳组合损失函数和模型，进而在连续流式数据中存在延迟反馈时，助力大规模学习。这篇文章中，作者们对比了5种不同的损失函数，其中3种是第一次用于解决延迟反馈问题。作者们在公开数据集和自有数据集上，离线对比了几种损失函数分别跟浅层和深层模型结合的效果。
作者们也讨论了生产环境中实现每种损失函数所需要的工程代价。作者们在线上实验中也对比了效果较好的几种方法，验证了在持续训练场景中的效果。离线测试时，在6.68亿量级的数据集上，作者们所提方法相对先前的STOA方法提升了3%的相对交叉熵(RCE)。线上实验中，相对朴素的对数损失函数，作者们在千次请求收益指标上取得了55%的提升。
twitter一天时间的流量中截止到各个小时的新广告累计占比趋势图如下
三天内，某个连续特征的分布随时间分布变化图示如下
作者们对比的5种损失函数中，有3种（PU loss、FN加权、FN校准）是首次用于延迟反馈场景，另外两种是基于重要性采样的损失函数。
持续训练框架流程图示如下
重要性采样方法简介如下
下面给出了重要性采样的定义
pu learning简介如下
pu loss推导过程如下
下面是延迟反馈模型简介
作者们采用的模型为主流的lr和wide & deep模型
延迟反馈损失函数格式及推导如下
pu loss损失函数形式如下
伪负样本加权损失函数推导过程如下
伪负样本加权方法如下
作者们采用了以下两种关键指标
超参数设置如下
公开数据集上的验证方案设置如下
离线数据集介绍及处理方式如下
几种方法的效果对比如下
我是分割线
您可能感兴趣
IJCAI2020|京东联合香港理工提出注意力模型用于时延归因转化率预估
CIKM2022|中科院联合腾讯提出基于知识蒸馏的校准转化率预估
NIPS2022|南京大学提出基于点击后行为的广义延迟反馈模型
SIGIR2019|中科院联合清华提出基于ID嵌入Meta-Embedding算法优化冷启动广告
KDD2021|华为提出对偶图增强embedding神经网络DG-ENN用于CTR预估
KDD2021|因果模型在实时竞价重复曝光次数中的应用
雅虎联合阿里提出转化率预估实用框架并用于在线展示广告
IJCAI2020|京东联合香港理工提出基于点击校准的注意力模型用于时延归因转化率预估
WSDM2022|阿里联合中科院提出特征协同作用网络CAN用于点击率预估(已开源)
WSDM2022|阿里提出合约广告自适应统一分配框架AUAF(已开源)
ICDM2019|阿里提出大规模个性化分发实时平滑算法并用于合约展示广告
微软提出实时竞价算法并用于效果展示广告分配
淘宝展示广告中的优化点击成本算法
在线定向广告中的预算控制算法
KDD2021|清华联合雅虎|斯坦福大学|纽约大学提出竞价隐藏算法MEOW