基于图神经网络与深度学习的商品推荐算法

传统做法

现阶段

局限

创新

方法

结果

相关工作

目前推荐算法

基于矩阵分解的推荐算法

基于深度学习的推荐算法

基于图神经网络的推荐算法

创新点

模型设计

本文的核心任务是训练出一个模型

LGDL模型框架

嵌入层

ID特征嵌入

评论文本特征嵌入

前向传播层

关联关系提取

偏好特征提取

评分预测层

模型优化

传统做法

利用深度学习方法从用户ID、评论文本等数据中提取其中所隐藏的用户物品特征，根据该特征预测用户对新物品的打分从而给出推荐是传统推荐算法的主流做法

现阶段

图神经网络提出以后，研究人员发现可以利用图神经网络提取传统推荐算法中无法提取的用户与物品相互之间的连接特性，使用图神经网络构建推荐算法

局限

目前大部分基于图神经网络的推荐算法均使用用户物品的ID信息提取用户物品特征，忽略了数据中评论文本等其他数据所隐含的用户物品特征，或使用了辅助信息却使得网络训练更复杂。

创新

本文提出了一种基于图神经网络的融合了传统深度学习的推荐算法来融合不同用户物品特征。

方法

1. 利用LightGCN基础网络同时增加注意力机制来提取用户物品之间的高阶特性，作为用户物品特征表示的一部分。
2. 使用传统深度学习网络从评论文本中提取用户物品特征的另一部分。
3. 最终将两特征表示进行融合获得最终用户物品特征表示，进而给出推荐。

结果

实验结果表明，该方法可以较好地融合用户物品的高阶特征与一般特性，使得用户物品特征获得更好的表达，有效提升对用户的推荐效果。

本文提出了一种基于图神经网络的融合了传统深度学习的推荐算法，通过传统深度学习方法与图神经网络共同提取用户的特征，从而更好地表达用户的兴趣偏好;利用注意力机制，为图神经网络中每一层添加注意力权重，从而使用户特征表示中更重要的层获得更好的表达。

注意力机制：是人们在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。

相关工作

目前推荐算法

• 基于矩阵分解的推荐算法
• 基于深度学习的推荐算法
• 基于图神经网络的推荐算法

基于矩阵分解的推荐算法

• 传统推荐算法大部分利用矩阵分解(MF)将用户和物品映射到n维空间，利用用户与物品的映射来计算用户对物品的偏好，即进行评分预测任务。
• MF应用最成功的方法是LFM算法，其利用矩阵分解(MF)的同时引入偏置项，极大提高了预测准确度。

LFM算法：先对所有的物品进行分类，再根据用户的兴趣分类给用户推荐该分类中的物品。

偏置项：偏置单元，在有些资料里也称为偏置项或者截距项，它其实就是函数的截距，与线性方程 y=wx+b 中的 b 的意义是一致的。在 y=wx+b中，b表示函数在y轴上的截距，控制着函数偏离原点的距离，其实在神经网络中的偏置单元也是类似的作用。因此，神经网络的参数也可以表示为：(W, b)，其中W表示参数矩阵，b表示偏置项或截距项。

• SVD++算法在LFM的基础上加入用户对其历史评分商品的隐式反馈向量的计算，以修正预测结果。
• PMF算法将概率分布函数引入到MF中，提供了一种矩阵分解的新思路。
• RMR和TopicMF算法运用主题模型LDA提取文本特征，同时利用评分数据进一步提升了预测精度。
• PGMF算法针对推荐系统中用户数据隐私保护带来的噪声问题，将遗传算法引入矩阵分解中，在为用户数据提供良好保护的同时，降低了噪声问题，保证了推荐结果的准确性。

基于深度学习的推荐算法

• ConvMF利用CNN从评论中提取用户物品偏好，相比矩阵分解方法，算法性能有了很大提升。
• DeepCoNN采用并行CNN结构同时提取用户物品偏好
• LCPMF将矩阵分解中的LDA主题模型与CNN结合起来，从而综合利用评论文档的主题和深层语义信息
• DIN引入注意力机制学习用户物品表达，取得了不错的效果
• MAGN采用多头注意力机制，在注意力机制的基础上增加了新的注意力来获取用户的不同朋友在不同方面对用户所施加的影响
• Wide＆Deep同时考虑了低阶特征与高阶特征，提升了效果，并利用多线程提高了处理效率
• CapIPTV引入了胶囊网络，利用胶囊网络的动态路由机制以及聚类特性，同时利用注意力机制来得出不同用户的不同兴趣偏好
• CNN之后，利用ＲNN、LSTM、Transformer等新的深度学习方法，出现了JNTM、RNN、BST等新的推荐算法

基于图神经网络的推荐算法

• NGCF模型将GCN引入推荐算法，建模用户项目的高阶连接性并据此给出推荐
• KGCN-PN模型将图中实体的邻居实体进行排序采样，利用GCN沿关系路径进行信息融合，得到实体特征向量
• KGAT算法将注意力机制融合进图神经网络中，取得了良好的效果
• BGANR算法利用注意力机制，同时加入偏差以更好地捕获节点之间的高阶连接性
• NIA-GCN在GCN的基础上进一步考虑邻居节点之间的相互交互，可以有效聚合各深度的邻居节点信息
• GCN-ONCF模型将GCN设计为一个编码器，利用外积操作将编码向量变为二维特征矩阵，经过卷积自解码器实现卷积矩阵分解
• LightGCN在NGCF基础上简化了使用二分图GCN中冗余的部分，从而提升了模型效率和性能

创新点

尽管GCN可以很好地提取用户与项目之间的关联关系，但大部分基于GCN的推荐算法没有考虑到深度学习在文本等其他信息处理中的优势

1. 本文首先结合注意力机制
2. 同时利用GCN的优势来提取用户与物品的关联关系
3. 再通过深度学习的优势来提取用户物品评论中蕴涵的兴趣偏好
4. 最终通过特征融合的方式来提升模型性能

模型设计

问题阐述及相关定义

给定一个包含X个样本的数据集D，其中每个样本(u，i，rui)表示用户u对商品i写了一条评论rui。

本文的核心任务是训练出一个模型

1. 根据全部用户与全部商品交互(不包含用户u与商品i的交互)来学习用户u、商品i的关联关系表示
2. 根据用户u的评论集(用户u除rui外的评论)、商品i的评论集(商品i除rui外的评论)学习用户u与商品i的一般偏好表示
3. 综合两种特征表示预测用户u对商品i的评分Pui

使用相同方法得到用户u对全部商品的评分集合Pu，根据该评分集合对用户u给出前K个商品推荐，最终任务是使该推荐集合更接近用户u未来的购买行为。

LGDL模型框架

• 嵌入层负责利用商品与用户交互信息及商品和用户评论文本对商品和用户建模。
• 前向传播层

• 1. 嵌入层得到的商品与用户的交互信息建模表达e(0)i1与e(0)u3传入两个并行GCN来提取商品与用户的高阶信息，其中上标0表示初始嵌入，即前向传播层中的第0跳表达，然后通过自注意力机制得到最终商品与用户的关联关系的最终表达e'i1与e'u3
  2. 嵌入层得到的商品与用户的评论文本信息建模表达bi1与bu3传入两个并行深度学习网络(包含卷积层、最大池化层、dropout和全连接层)，提取商品与用户的一般偏好信息，得到最终商品与用户的一般偏好的最终表达b'i1与b'u3

• 两种表达在评分预测层进行特征融合得出最终商品与用户的表达I1和U3，并计算得出用户u3对商品i1的预测评分，根据用户u3对不同商品的预测评分构成集合Pu，根据该集合的预测评分排序给出用户u3前K个推荐的商品内容

嵌入层

嵌入层负责将用户商品ID及用户商品评论信息输入模型

ID特征嵌入

• 全部用户的ID嵌入向量构成集合
• 全部商品的ID嵌入向量构成集合

商品与用户的ID嵌入向量均为初始状态，通过在前向传播层进行传播来进一步细化嵌入，使ID嵌入向量可以更好地表达其内含的关联关系

评论文本特征嵌入

bu与bi中包含了评论文本信息的先验知识，在前向传播层通过深度学习对其进行特征提取来提取用户与商品的一般偏好

前向传播层

前向传播层分为两个并行框架来分别提取用户与商品的关联关系及一般偏好

关联关系提取

假定全部已知关联关系所构成的二分图为G，对于用户与商品的关联关系提取采用类似LightGCN的方法

偏好特征提取

对于用户ui的一般偏好的特征提取首先经过卷积操作

最大池化(max-pooling)操作来进一步提取特征

输入全连接层

评分预测层

经过前向传播层，可以得到用户ui和商品ij的关联关系

模型优化

采用推荐系统中使用广泛的BPR损失

模型采用随机梯度下降法训练模型网络，使用Adam优化器来优化模型参数，最小化损失函数