推荐系统论文：Neural News Recommendation with Attentive Multi-View Learning

概述

源码：https://github.com/wuch15/IJCAI2019-NAML
在该篇论文中，作者基于多角度的注意力机制来构建神经新闻推荐下系统。
其过程主要分为两步：新闻的编码以及用户的编码：
在新闻编码中，通过对新闻的标题、类别、内容应用多角度注意力机制来对新闻进行表示。
在用户编码中，通过用户的新闻浏览记录以及注意力机制来进行刻画。

模型实现

深度神经网络结构如下图所示：

在该模型中主要分为三个部分，即绿色、红色以及黄色。

绿色部分对应的是新闻编码部分：
在该部分，作者利用新闻的各个不同的信息来进行新闻表示，对于Title部分，对于输入word：W1、W2…WM，通过Word Embedding（GloVe）进行词向量表示，对于得到的词向量，为了获取上下文信息，使用CNN卷积层进行处理，得到了包含上下文信息的词向量表示c，最后，为了获取不同词的权重信息，使用一层注意力机制来进行处理，获取到信息最大的词表示，得到 r^t 。
在该部分，CNN处理过程如下：

注意力处理表达式如下：

该处使用的注意力和见到的不太一样，其对于词向量c首先利用V_t进行全连接处理，再进行注意力机制的处理。
对于Body使用同样的方法得到 r^b 。
对于Categories，其利用了category以及subcategory来进行训练，最后得到 r^c 以及 r^sc 。
对于得到的新闻各个view的表示，其利用一层注意力机制得到最终的新闻表示：

黄色对应的是用户刻画部分：
对用户点击过的所有新闻，利用新闻编码构建所有的新闻表示，接着使用注意力机制来进行用户的刻画，得到用户表示 u 。
表达式与之前无异：

红色为点击预测部分：
利用新闻表示以及用户表示，可以计算出新闻与用户的相关性，最终依据得分确定是否为用户推荐该新闻。

负采样与模型训练：
通过负采样减少训练规模：

训练LOSS如下：

实验结果

总结

优点：
新闻构建：其利用了multi-view的注意力机制，使用了标题、类型以及内容三个方面的信息。
用户构建：利用的用户的点击信息，通过新闻结合注意力机制来进行用户建模。

感想：
注意力机制在很多方面都可以应用。
在用户建模过程中，作者仅仅用到了点击的新闻历史，之后便是结合了注意力机制，关键在于注意力机制：
其是否能够学习到随时间的注意力机制。
其能否习得不同时间段的大新闻的趋势。（Personalized News Recommendation Based on ClickBehavior）
作者为了得到上下文信息，使用了CNN。该CNN是否可以使用Transformer来习得？
在注意力机制中，作者使用的不同的注意力方法，对词向量先进行全连接，为什么？