推荐系统CTR方向相关论文一句话总结

Fearure Interaction // CTR

  • 纯FM模型及其演变
      • Factorization Machines. 2010
      • Field-aware Factorization Machines for CTR Prediction. 2016
      • Neural Factorization Machines for Sparse Predictive Analytics. 2017
      • Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks. 2017
      • Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising. 2018
      • 2 ^2 2: Field-matrixed Factorization Machines for Recommender Systems. 2021 // Field-Embedded Factorization Machines for Click-through rate prediction. 2021
  • Cross & MLP 混合模型及其演变
      • AdnFM: An Attentive DenseNet based Factorization Machine for Click-Through-Rate Prediction. 2021
      • AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks. 2019
      • Deep & Cross Network for Ad Click Predictions. 2017
      • DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems. 2020
      • DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving. 2021
      • Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features. 2016
      • Deep Interest Network for Click-Through Rate Prediction. 2018
      • Deep Interest Evolution Network for Click-Through Rate Prediction. 2018
      • DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. 2017
      • Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction. 2016
      • Wide & Deep Learning for Recommender Systems. 2016
      • xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems. 2018
      • Product-based Neural Networks for User Response Prediction. 2016

纯FM模型及其演变

Factorization Machines. 2010

推荐系统领域一开山鼻祖算法,另一个是CF。
借鉴MF的思想建立隐向量,首次将POLY2的模型二阶项权重难以更新的问题解决,并且可以将指数级运算复杂度降低到线性级别,多次比赛夺魁。
推荐系统CTR方向相关论文一句话总结_第1张图片推荐系统CTR方向相关论文一句话总结_第2张图片

Field-aware Factorization Machines for CTR Prediction. 2016

提出不同特征域中的特征进行交互时是有差别的,将传统隐向量进一步划分,提高了表达能力。
在这里插入图片描述

Neural Factorization Machines for Sparse Predictive Analytics. 2017

将传统FM的二阶项中的隐向量 v i , v j v_i,v_j vi,vj 的运算从内积转变为哈达玛积,求和后放入MLP中进行进一步高阶交叉。

f ( x ) f(x) f(x)即代表MLP与Pooling层
推荐系统CTR方向相关论文一句话总结_第3张图片
推荐系统CTR方向相关论文一句话总结_第4张图片

Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks. 2017

第一次在FM里引入了注意力机制,通过注意力网络学习二阶特征交互的重要程度,加权后再进行传统操作。
推荐系统CTR方向相关论文一句话总结_第5张图片
推荐系统CTR方向相关论文一句话总结_第6张图片
在这里插入图片描述

Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising. 2018

将FFM模型从高复杂度中解放出来,优化了不同域交互中同一特征表现不一的问题,加入了一个标量来衡量域之间的交互强度。
在这里插入图片描述
同时也对线性项做了优化。
推荐系统CTR方向相关论文一句话总结_第7张图片

2 ^2 2: Field-matrixed Factorization Machines for Recommender Systems. 2021 // Field-Embedded Factorization Machines for Click-through rate prediction. 2021

这两个要放在一起说,因为 2 ^2 2与FeFM想法撞车了,不过看了一下好像是FeFM先提出的,不过 2 ^2 2发表的快。
针对不同域之间的特征交互,加入了一个交互矩阵作为特征间的交互强弱参数。同时也提出了FvFM(即上述的交互矩阵变成交互向量),也使用FwFM的思想将线性项做了优化。
由于矩阵乘法的特性,可以控制每个 域交互对 的交互矩阵大小,也就是控制交互强弱。
推荐系统CTR方向相关论文一句话总结_第8张图片

Cross & MLP 混合模型及其演变

AdnFM: An Attentive DenseNet based Factorization Machine for Click-Through-Rate Prediction. 2021

将FM与改进后的MLP(引入注意力机制与残差网络)结合起来,试图在高阶特征交互中找到更重要的交互。效果似乎一般。
推荐系统CTR方向相关论文一句话总结_第9张图片
推荐系统CTR方向相关论文一句话总结_第10张图片

AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks. 2019

使用多头注意力机制(Transformer)衡量特征之间的交互重要程度,也借鉴了残差网络的思想对最后的交互结果做了修改。
推荐系统CTR方向相关论文一句话总结_第11张图片
推荐系统CTR方向相关论文一句话总结_第12张图片
推荐系统CTR方向相关论文一句话总结_第13张图片
推荐系统CTR方向相关论文一句话总结_第14张图片
在这里插入图片描述
在这里插入图片描述

Deep & Cross Network for Ad Click Predictions. 2017

也借鉴了残差网络的思想,在上一层的基础上与最初的第一层交互拟合两层之间的差别。
推荐系统CTR方向相关论文一句话总结_第15张图片

在这里插入图片描述
推荐系统CTR方向相关论文一句话总结_第16张图片

DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems. 2020

在V1版本的基础上改进了模型联合方式,可以stack或者parallel,将参数向量转变为参数矩阵,提高了灵活度,并且使用专家模型MOE和SVD技术对参数矩阵进行了分解降低了时间复杂度。
推荐系统CTR方向相关论文一句话总结_第17张图片
推荐系统CTR方向相关论文一句话总结_第18张图片
推荐系统CTR方向相关论文一句话总结_第19张图片

DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving. 2021

使用FwFM与MLP进行平行结构组合,不同于DeepFM,DeepLight使用剪枝算法对模型进行优化,降低了时间与空间复杂度。
推荐系统CTR方向相关论文一句话总结_第20张图片

Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features. 2016

高阶特征交互依赖于更深的网络层次,为了解决MLP无法做到更深层次的问题,首次将残差网络加入到特征组合模型中。
推荐系统CTR方向相关论文一句话总结_第21张图片
推荐系统CTR方向相关论文一句话总结_第22张图片

Deep Interest Network for Click-Through Rate Prediction. 2018

与AFM一样,把注意力机制引入到特征组合领域中,不过文章更具有业务气息。
创新点有三:注意力单元、可感知数据分布的激活函数、可感知数据分布的正则化项
推荐系统CTR方向相关论文一句话总结_第23张图片

Deep Interest Evolution Network for Click-Through Rate Prediction. 2018

针对用户历史行为序列进行建模预测下一次用户的行为,以此来提高预测准确度,获得了很好的效果。
创新点有二:优化了传统GRU方法引入注意力激活单元、针对GRU提出了辅助loss函数。
且开创性的将用户兴趣模型分为:兴趣提取层、兴趣演化层,减轻用户兴趣转移所带来的噪声。
推荐系统CTR方向相关论文一句话总结_第24张图片
推荐系统CTR方向相关论文一句话总结_第25张图片
推荐系统CTR方向相关论文一句话总结_第26张图片

DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. 2017

开创性的提出Embedding共享,同时抓取低维及高维特征组合。
推荐系统CTR方向相关论文一句话总结_第27张图片

Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction. 2016

没啥特别的,就是预训练一个FM,将其中的 v 1 . . . . . v i v_1 ..... v_i v1.....vi作为MLP的embedding输入。

推荐系统CTR方向相关论文一句话总结_第28张图片

Wide & Deep Learning for Recommender Systems. 2016

首次将平行结构引入CTR领域,实现人工和自动的特征交互。
首次提出 “记忆” 与 “泛化” 能力。
推荐系统CTR方向相关论文一句话总结_第29张图片
推荐系统CTR方向相关论文一句话总结_第30张图片

xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems. 2018

比较复杂的一个DCN改进版本,将向量交叉变为矩阵交叉,并利用卷积网络的思想(卷积核 + pooling层)对三维张量进行降维处理后再进行最后的预测。
推荐系统CTR方向相关论文一句话总结_第31张图片
推荐系统CTR方向相关论文一句话总结_第32张图片

Product-based Neural Networks for User Response Prediction. 2016

证明了MLP的特征交互能力不足,此后的很多的模型如(DCN)都证明了这一点。
此模型的思路是做一个重叠(stack)结构,embedding后先特征交叉再输入到MLP中。
外积效果最好,但一般使用内积。
推荐系统CTR方向相关论文一句话总结_第33张图片

你可能感兴趣的:(笔记,深度学习,人工智能,推荐算法)