CIKM2019|Fi-GNN图神经网络学习特征交互在CTR预估中的应用(已开源)
Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction
Zekun Li, Zeyu Cui, Shu Wu, Xiaoyu Zhang, Liang Wang
University of Chinese Academy of Sciences
http://cn.arxiv.org/pdf/1910.05552.pdf
ctr预估在web应用中，比如在线广告和推荐系统，这些应用中的特征通常都是多域形式的，非常重要。
ctr预估中的关键在于对不同特征域的特征交互进行建模。最近提出的基于深度学习的模型遵循这样一种范式，原生的稀疏输入多域特征首先映射到稠密域嵌入向量，然后简单地连接起来喂入深度神经网络或者其他的网络，进而学习高阶特征交互。但是，简单地将特征域进行非结构化的结合不可避免的会限制模型的能力，不能充分灵活精确地捕捉不同域的更加复杂巧妙的交互。
这篇文章提出用图结构来直观表示多域特征，其中每个节点对应一个特征域，不同的域可以通过边来交互。特征交互建模转换为图中节点交互的建模。论文作者们设计了一种新的模型，Fi-GNN。这种模型可以有效利用图的强表示能力，该模型不仅可以灵活清楚的对特征交互进行建模，而且为CTR预估提供了更好的模型解释。
两个真实数据集上的实验结果验证了论文作者们所提模型的有效性。
多域特征及业界主流做法简介如下
部分基于深度学习的模型有以下几种
这篇文章的主要贡献如下
基于FM的几种方法分别具有以下特点
基于深度学习的几种方法简单对比如下
部分基于图的方法将图结构数据转为序列结构数据来处理
部分代表性的图神经网络有以下几种
模型整体结构图示如下
嵌入层流程简介如下
多头注意力连接方式如下
fi-gnn图示如下
节点的状态聚合公式如下
边权计算公式是基于注意力机制的
边权转换公式及更新后的节点更新公式如下
利用GRU来更新状态的公式细节如下
利用残差连接来更新状态的公式如下
注意力打分层细节描述如下
目标函数，训练方法以及参数规模如下
fi-gnn跟FM的关系如下
数据集描述，部分预处理以及分割策略如下
数据集统计信息如下
评价指标有以下几个
参与对比的方法有以下几个
参数设置细节如下
效果对比如下
几种变体模型及效果如下
部分超参数的影响图示如下
不同特征之间关系的重要性图示如下
不同特征的重要性图示如下
代码地址
https://github.com/CRIPAC-DIG/Fi_GNN
我是分割线
您可能感兴趣
CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)
WSDM2019|近似解耦随机游走RecWalk在top-N推荐中的应用(已开源)
CIKM2013|深层结构语意模型DSSM在web搜索中的应用
WSDM2019|社交注意力记忆网络在推荐系统中的应用(已开源)
SIGIR2020|基于序贯行为的高效迁移学习在用户建模及推荐中的应用(已开源)
WSDM2019|门限注意力自编码在内容感知推荐中的应用(已开源)
WWW2019|对偶图注意力网络在推荐系统中的应用(已开源)
KDD2019|个性化注意力在新闻推荐中的应用
SIGIR2020|序贯元学习方法在重新训练推荐系统中的应用(已开源)
WSDM2019|动态图注意力网络在基于会话的社交推荐中的应用
IJCAI2017|基于注意力机制的FM模型AFM在学习特征交互权重中的应用(已开源)
KDD2020|自动特征交互选择(AutoFIS)分解机模型在CTR预估中的应用(已开源)
SIGIR2020|LightGCN图卷积网络在推荐系统中的应用(已开源)
WWW2019|图神经网络在社交推荐中的应用
AAAI2019|自注意力度量学习在下一个商品推荐中的应用
WWW2020|基于隐含意图的注意力序列模型在下一个商品推荐中的应用
WWW2015|深度学习在推荐系统跨域用户建模中的应用
ICDE2020|多图卷积网络在草药推荐中的应用
ATM|注意力转移模型在预测下一个商品中的应用
IJCAI2019|深层自注意力网络在序列推荐中的应用
AAAI2020|深度学习在表格分析中的应用
NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)
AAAI2020|结合时空信息的分层注意力网络在大规模社交网络中的应用
ICDE2020|基于深度学习的关系抽取
只有正样本和无标签样本时如何构建分类器
ICDE2020|图卷积网络在价格感知推荐中的应用
WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)
WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)
ICML2018|基于自注意力的序列推荐模型SASRec(已开源)
IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)
IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)
AISTATS2018|密歇根大学提出新型在线boosting算法用于多标签排序(已开源)
AAAI2020|一种新型高效兼容多行为的推荐系统模型EHCF(已开源)
ICML2007|深度学习用于协同过滤的开篇作之一(出自深度学习鼻祖之一Hinton)
SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)
SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)
SIGIR2019|利用DeepSHAP来解释神经检索模型(已开源)
KDD2018|基于GBM的动态定价回归模型
RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET
SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)
IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN
聊聊CatBoost
聊聊XGBoost CatBoost LightGBM RF GBDT
顶会中深度学习用于CTR预估的论文及代码集锦 (3)
ICML 2018 深度学习论文及代码集锦(5)
深度学习用于机器翻译的论文及代码集锦