推荐系统领域一开山鼻祖算法,另一个是CF。
借鉴MF的思想建立隐向量,首次将POLY2的模型二阶项权重难以更新的问题解决,并且可以将指数级运算复杂度降低到线性级别,多次比赛夺魁。
提出不同特征域中的特征进行交互时是有差别的,将传统隐向量进一步划分,提高了表达能力。
将传统FM的二阶项中的隐向量 v i , v j v_i,v_j vi,vj 的运算从内积转变为哈达玛积,求和后放入MLP中进行进一步高阶交叉。
f ( x ) f(x) f(x)即代表MLP与Pooling层
第一次在FM里引入了注意力机制,通过注意力网络学习二阶特征交互的重要程度,加权后再进行传统操作。
将FFM模型从高复杂度中解放出来,优化了不同域交互中同一特征表现不一的问题,加入了一个标量来衡量域之间的交互强度。
同时也对线性项做了优化。
这两个要放在一起说,因为 2 ^2 2与FeFM想法撞车了,不过看了一下好像是FeFM先提出的,不过 2 ^2 2发表的快。
针对不同域之间的特征交互,加入了一个交互矩阵作为特征间的交互强弱参数。同时也提出了FvFM(即上述的交互矩阵变成交互向量),也使用FwFM的思想将线性项做了优化。
由于矩阵乘法的特性,可以控制每个 域交互对 的交互矩阵大小,也就是控制交互强弱。
将FM与改进后的MLP(引入注意力机制与残差网络)结合起来,试图在高阶特征交互中找到更重要的交互。效果似乎一般。
使用多头注意力机制(Transformer)衡量特征之间的交互重要程度,也借鉴了残差网络的思想对最后的交互结果做了修改。
也借鉴了残差网络的思想,在上一层的基础上与最初的第一层交互拟合两层之间的差别。
在V1版本的基础上改进了模型联合方式,可以stack或者parallel,将参数向量转变为参数矩阵,提高了灵活度,并且使用专家模型MOE和SVD技术对参数矩阵进行了分解降低了时间复杂度。
使用FwFM与MLP进行平行结构组合,不同于DeepFM,DeepLight使用剪枝算法对模型进行优化,降低了时间与空间复杂度。
高阶特征交互依赖于更深的网络层次,为了解决MLP无法做到更深层次的问题,首次将残差网络加入到特征组合模型中。
与AFM一样,把注意力机制引入到特征组合领域中,不过文章更具有业务气息。
创新点有三:注意力单元、可感知数据分布的激活函数、可感知数据分布的正则化项
针对用户历史行为序列进行建模预测下一次用户的行为,以此来提高预测准确度,获得了很好的效果。
创新点有二:优化了传统GRU方法引入注意力激活单元、针对GRU提出了辅助loss函数。
且开创性的将用户兴趣模型分为:兴趣提取层、兴趣演化层,减轻用户兴趣转移所带来的噪声。
开创性的提出Embedding共享,同时抓取低维及高维特征组合。
没啥特别的,就是预训练一个FM,将其中的 v 1 . . . . . v i v_1 ..... v_i v1.....vi作为MLP的embedding输入。
首次将平行结构引入CTR领域,实现人工和自动的特征交互。
首次提出 “记忆” 与 “泛化” 能力。
比较复杂的一个DCN改进版本,将向量交叉变为矩阵交叉,并利用卷积网络的思想(卷积核 + pooling层)对三维张量进行降维处理后再进行最后的预测。
证明了MLP的特征交互能力不足,此后的很多的模型如(DCN)都证明了这一点。
此模型的思路是做一个重叠(stack)结构,embedding后先特征交叉再输入到MLP中。
外积效果最好,但一般使用内积。