CIKM'21 DESTINE：基于解耦自注意网络的CTR模型

Title：Disentangled Self-Attentive Neural Networks for Click-Through Rate Prediction

Link：https://arxiv.org/pdf/2101.03654.pdf

1 背景

鉴于CTR预估数据具有稀疏和高维的特点，对高阶特征交叉建模是进行有效预估的关键，通过自注意神经网络(self-attention)对特征向量进行点积计算，是一种有效方式，但点积是在两个特征之间进行，忽视了单个特征域(field)的影响。

针对上述问题，论文提出 DESTINE结构，将一元(unary)特征重要性计算，从二阶特征交叉(pairwise interaction)解耦出来：一元项学习单个特征相对其他特征的重要度，二阶交叉项单纯地学习每个特征对的影响。

2 解耦自注意模型

详细讲解和推导可参考以下链接，下面进行简单介绍。

自注意模型学不好？这个方法帮你解决！

Disentangled Non-Local Neural Networks

视频：ECCV 2020论文 | 解耦自注意模型

2.1 自注意模型分解

2.2 相加方式联合

2.3 key解耦

3 DESTINE模型

3.1 符号说明

3.2 解耦自注意网络

4 实验

（1）与特征交叉模型进行对比

（2）采用两层DNN，与深度交叉模型进行对比

（3）DESTINE不同项、不同组合方式对比

更多精彩：

【1】2021年「顶会论文」特征交叉相关CTR模型汇总

【2】CIKM'21 FINT：基于特征域交叉的CTR模型

【3】XCrossNet：面向特征结构学习的CTR模型

【4】CIKM'21 DESTINE：基于解耦自注意网络的CTR模型