大模型在广告ctr预估中的应用

背景

预训练大模型在ctr预估方面取得了不错的效果,但是应用大模型方面还主要停留在提取离线预训练,然后使用大模型的打分结果或者中间的embedding向量,这种级联的应用方式相对灵活方便。但是这种使用大模型提取特征的方式存在自身的问题,那就是通过独立训练得到的特征,对于最终的ctr模型来说不是最优的。主要原因是预训练的大模型和ctr模型存在不对齐的问题,造成大模型提取的特征存在冗余重叠的情况。为了解决这个问题,微软ad团队提出了预训练+联合学习和蒸馏学习的方式,对大模型进行端到端的应用,从而返回大模型真正的威力。
论文:Learning Supplementary NLP Features for CTR Prediction in Sponsored Search

贡献

  1. 论文证明了非端到端应用的预训练模型,不能取得最好的ctr预测效果,原因是因为离线提取的特征和ctr特征存在冗余重叠问题,影响到了预训练模型提取特征的效果。
  2. 第一次提出了一种预训练+联合学习的方法,相对与离线大模型提取特征的应用方式,本方法能够有效的客服预训练模型提取特征存在冗余重叠的问题,并且提出了一种蒸馏学习的方法,将预训练的大模型中的只是蒸馏到一个更轻量级的小模型中。
  3. 基于商业和公共的数据集进行了充分的实验,证明了基于联合学习的方式,取得了显著的效果。基于蒸馏学习的方式,相比于基于特征的蒸馏学习的方式,能够取得两倍显著效果。

实现

预训练+联合学习

大模型在广告ctr预估中的应用_第1张图片

蒸馏学习

大模型在广告ctr预估中的应用_第2张图片

实验效果

联合学习不同的融合效果对比

大模型在广告ctr预估中的应用_第3张图片

联合学习和离线特征提取效果对比

蒸馏学习效果对比

不同层数的bert蒸馏转化率对比

大模型在广告ctr预估中的应用_第4张图片

你可能感兴趣的:(深度学习,人工智能,机器学习,LLM,广告)