论文阅读4--《基于自注意力机制的局部与全局特征融合的评分预测算法》

一、问题的提出

推荐系统中的打分、社交关系、属性等信息可以抽象为包含丰富语义信息的异质信息网络，如何抽象和利用异质信息网络中复杂的特征信息，并将其应用于推荐系统中是一个挑战。

二、算法框架

本文提出一种基于自注意力机制的局部与全局特征融合的评分预测算法（Rating Prediction Algorithm Based on Self-Attention Mechanism and Fusion of Local & Global Features，AMFL&GRec）

框架主要分为四部分：
（1）局部序列与全局序列的提取
基于元路径带偏置的随机游走算法提取节点的局部序列，通过skip-gram模型学习节点的局部特征（如图中蓝色实线框）
基于LeaderRank算法提取目标节点的全局序列，通过skip-gram模型学习节点的全局特征（如图中红色实线框）
（2）通过自注意力机制学习目标节点对全局与局部特征的偏好程度，从而得到在单一元路径下节点的特征表示（如图中的紫色实线框）
（3）通过自注意力机制获取不同元路径对目标节点的偏好程度，从而得到节点在不同元路径下最终的特征表示（如图中的绿色实线框）
（4）基于多层感知机的评分预测（如图中的红色虚线框）

三、算法实现

（1）基于局部与全局节点的特征表示
（1.1）基于局部信息节点的序列获取

给定一条元路径，通过上述方法得到基于元路径节点的领域。这样做的好处既保留了异构网络中的节点关联信息，还能为后续将序列映射到一个统一空间中进行有效表征降低了难度。

（1.2）基于全局信息节点的序列获取
本文采用LeaderRank算法来量化节点的重要性，节点重要性体现在：
（a）节点越重要其自身有更多的边
（b）一个重要的节点通常与另一个重要的节点相关
LeaderRank 算法的主要思想：在原有N个节点的网络中增加一个节点，将该节点与网络中的其他节点相连接，从而得到一个强连接的具有N+1个节点的新网络。

（1.3）使用skip-gram模型来学习节点的局部特征和全局特征
将局部序列与全局序列分别作为skip-gram模型的输入，经过模型训练之后，分别得到异质信息网络中在一条元路径下用户节点的局部特征和全局特征

（2）基于元路径融合局部与全局特征的自注意力机制
输入：异质信息网络的每条元路径下的局部特征和全卷特征
输出：给用户节点的局部特征与全局特征分配权重，并最终得到用户节点在一条元路径下的特征表示

（3）基于自注意力机制的不同元路径下节点的特征表示
输入：用户在每条元路径下的特征表示
输出：用户在不同元路径下的目标用户节点的特征表示

（4）基于多层感知机的评分预测
输入：基于自注意力机制的不同元路径下节点的特征表示
输出：权重矩阵和偏置向量

四、实验与结果分析

（1）数据集
Movielens-100k：小型密集型数据集，由943名用户，1682部电影以及100,000条评分数据构成，评分区间为1-5，此外该数据集还包括电影类型和年龄属性信息。
Yelp：中型稀疏性数据集，记录了用户对本地业务的评分，并包含城市与业务种类的属性信息，包含16239名用户，14282个本地业务，共计198397条评分数据，评分范围从1到5.

（2）评价指标
选用平均绝对误差（MAE）和均方根误差（RMSE）来衡量不同模型的推荐性能

（3）比较算法
MF：矩阵分解算法
NNMF：利用神经网络来扩展矩阵分解模型
DeepWalk：随机游走学习网络的局部信息，然后通过skip-gram模型学习节点的嵌入
ARMF：一种利用自注意力机制来扩展标准的矩阵分解模型
HERec：一种新的基于异质信息网络嵌入的方法，基于元路径的随机游走得到异质网络中的节点序列，然后利用一组融合函数将skip-gram模型学习到的节点嵌入用来扩展矩阵 分解模型
Rank2vec：一种在同质网络中学习节点的局部与全局特征的网络表示学习算法。首先利用PageRank算法学习节点的全局序列，利用带偏置的随机游走算法学习节点的局部序列，将两序列进行去取并集，然后利用skip-gram模型学习节点的特征表示。

此外，本文还对是否添加注意力机制进行验证，发现添加注意力对于评分预测任务有较大提升。

五、改进之处

1.在动态异质网络中，重复训练模型会耗费大量时间，因此在动态异质网络中寻求一种处理新节点、新交互的方法是有前景的研究方向
2.可以考虑将基于异质信息网络建模的方法迁移到虚假信息检测中，利用基于异质信息网络的方法挖掘造假群体的特征，从而发现群体中的关键人物，或者发现电子商务中的水军群组也是未来值得关注的问题