论文笔记【Neural Graph Collaborative Filtering】

标题 * 表示未完成

论文备份

1. 研究目的

• 本文指出无论是从早期的矩阵分解方式还是基于深度学习的方法，都需要编码后获得embedding，而只使用embedding的方法并不能很好的表达出$user-item$的潜在交互关系，这种潜在关系在本文中被称为：$collaborativesignal$，所以本文提出了$NeuralGraphCollaborativeFiltering(NGCF)$ ，NGCF使用 bipartite graph structure 将$user-item$的潜在交互关系更具体地集成到embedding过程中。

2. 现有方法（研究现状）

• $collaborativedeeplearning$ 通过学习$item$的边缘信息而得到的深度表征强化了MF的embedding功能
• $neuralcollaborativefiltering$ 通过使用非线性神经网络代替了传统MF的内积计算方式
• $translation-basedCFmodels$ 采用欧氏距离度量作为交互函数
• 本文指出在以往模型embedding时，通常只使用$user-item$的ID和属性，而没有对$collaborativesignal$进行显式的编码，所以当embedding的关联信息不足时，只能使用更复杂的交互函数来弥补这一缺陷

3. 本文模型及方法

上图为NGCF模型的架构图，此模型主要分为三个组成部分：$embeddinglayer$、$embeddingpropagationlayers$、$thepredictionlayer$，下面会对这三个layer详细说明。

• 对$collaborativesignal$显式编码是十分重要的，但如何对其编码是个麻烦的问题，本文提出了一种基于交互图结构的编码方式

• $collaborativesignal$
  传统MF建立embedding的方法并不能很好的表达出$user-item$的潜在交互关系，这种潜在关系在本文中被称为：$collaborativesignal$

• $high-orderconnectivityAnduser-iteminteractiongraph$
  
  分析上图，可以发现右图是以$u_1$为根结点的树形结构展开，其中蕴含着丰富的信息，例如：$u_2\leftarrow i_2\leftarrow u_1$路径可以说明$u_1$和$u_2$具有一定的行为相似度；$u_1\leftarrow i_2\leftarrow u_2\leftarrow i_4$路径可以说明$u_1$除了对$i_2$有兴趣，对$i_4$也有兴趣；此外，当$l=3$时可以发现$i_4$出现了两次而$i_5$只出现了一次，所以用户$u_1$可能对$i_4$更感兴趣；当$l=1$时是目标用户直接交互过的$item$

• $EmbeddingLayer$
  此layer建立$userembeddingsanditemembeddings$的初始化状态
  
  传统的MF以及NCF方法将上述 $E$ 直接输入交互层进行分析，而本文的NGCF将上述 $E$ 在$user-iteminteractiongraph$上进行传播从而精炼embeddings

• $EmbeddingPropagationLayers$
  全文的精华都在这里了。
  这一层的思想即是精炼embeddings， 包括两个步骤，Message construction和Message aggregation
  （1）$Messageconstruction$
  本文提出对于每一对$user-item$的信息传递都可由以下公式定义(图示为从某一item到user)，$f(\cdot )$表示 message encoding function，$p_{ui}$表示衰减系数，参考 Figure 1 $high-orderconnectivity$，我们可以自然的理解为从$i$到$u$的路径距离越远，那传播的效力就越低。$e_i^{(0)}{e}_u^{(0)}$的初始化值即使用传统的embeddings算法。
  
  对于$f(\cdot )$本文更加具体的定义如下所示，⊙表示逐元素乘法，它是描述特征交互的一种经典方式。$p_{ui}=\frac{1}{\sqrt{|N_u||N_i|}}$ 其中$N_u$表示的是与当前$user$直接有关联的（即本文所说的 first-hop neighbors）结点，如对于上图 Figure 中的$u_1$与之直接有历史互动的的$item$，所以$p_{ui}$表示过去访问过的$item$对于确认$user$偏好的贡献。（由于此传播算法是需要递归的，所以我们总结一下表达式可以看出多个$p_{ui}$相乘肯定会使式子最后的计算结果越来越小，恰好满足了我们“离得越远 关联越少”的原则）
  

（2）$MessageAggregation$
如下为本文提出 aggregation function，Leaky在本博客末尾有说明。
其中$m_{u\leftarrow u}=W_1{e}_u$,此处的$W_1$与上式（3）中的$W_1$为同一个。其表示 self-connection。
可以发现我们主要在向$u$的“邻居”收集信息以获取更详细的embedding。

将其进一步多层迭代化表示如下。
$l$ 表示embedding传播层次，由于是递归，算法探索层次从高到低，再由低到高返回计算值。不要将 $l$ 的定义和$N-hopneighbors$弄混淆。


传播过程图如下配合着看会明了很多，注意图中的红线，可以发现$e_{u_1}^{(3)}$中包含着离他最远的结点之一$e_{i_4}^{(0)}$的信息，达到了目的。

（3）$PropagationRuleinMatrixForm$
更进一步的，文章提出了以上传播算法的矩阵表示形式。$L$作者在文中表示相当于$p_{ui}$，$\sigma$表示激活函数$LeakyReLU$，$I$表示单位矩阵。此表达式把$user,item$的 embeddings 矩阵结合起来使用递归进行传播计算。

这一段委实没有看明白，线性代数和矩阵分析课程的知识有所欠缺，补完之后再来看看。

• $PredictionLayer$
  在文章中最终的 embeddings 是将所有的经过$EmbeddingPropagationLayers$构建出的 embedding 放在一起进行一个 concat 运算的结果。
  此处文章指出可以使用其他的方式整合数据，如$weightedaverage,maxpooling,LSTM$等，但使用 concat 运算实现起来非常简单而且在图神经网络中有着很好的效果。
  
  最后使用点乘来预测用户喜好
  
  文章中优化器选用的是$pairwiseBPRloss$，并使用$mini-batchAdam$对模型进行优化并更新参数，使用$MessageandNodeDropout$防止过拟合问题。
  
  此文章的精华篇幅到这基本上结束了，之后就是一些综述，这里就不记录了。

4. 实验结果
   NGCF模型的实验目标是回答以下问题：
   RQ 1：NGCF与目前最先进的CF方法相比表现如何？
   RQ 2：不同的超参数设置(例如，层的深度、嵌入传播层、层聚集机制，消息丢弃和结点丢弃)怎样影响着NGCF？
   RQ3：表示如何从高阶连通性中受益？

• 以下模型为常用的CF模型，本文利用了 NGCF 与以下模型对比，说明NGCF的确优于常用的CF模型，本文也考虑了用SpectralCF 模型加入性能对比当中，但是发现特征分解导致高的时间成本和资源成本，特别是当用户和项目数量很大时性能特别差，但是在小型数据集中性能很好，所以没有选择它作为比较。为了公平的比较，所有的方法都优化了BPR损失（2.3所用的损失函数）结果如图。
  
• 各个常用模型的性能表现对比
  NGCF和HOP-Rec在所有用户组上的表现始终优于所有其他模型。它证明了利用高阶连通性极大地促进了不活跃的用户模型学习性能，因为协同信号可以有效地被捕获，有希望解决推荐系统中的稀疏问题。
  
• 传播层层数的影响
  2层和3层的NGCF明显比1层的NGCF性能有所提高，这说明层数的加深对的确对提高NGCF的性能有所帮助，但是当上升到4层的时候，可以NGCF对Gowall数据集的recall和ndcg提升很多，但是其他数据集则相对降低，这说明当NGCF的嵌入传播层设置在4层的时候，NGCF产生了过拟合，所以NGCF嵌入传播层设置在三层的时候，对性能提升最大。
  
• 不同的聚集方法对NGCF的影响
  综合分析表2和表4，我们发现，当将各层的输出串联在一起时，NGCF-1PinSage和NGCF-1GC-MC的性能分别优于PinSage和GC-MC。这表明了层聚集机制的重要性。
  

5. 其它

• $LeakyReLU$
  数学表达式：y = max(0, x) + leak*min(0,x) （leak是一个很小的常数，这样保留了一些负轴的值，使得负轴的信息不会全部丢失）
  

• 对于本文的 公式(3) 可以发现作者不仅考虑了message的来源$e_i$（传统图卷积方法只考虑这个），还考虑了信息来源和信息目的地之间的关系，即$e_i\odot e_u$

• $LongShortTermMemorynetworks$
  即LSTM，论文原文：正在架设传送门！

• SVD（奇异值分解）
  相关介绍：正在架设传送门！

• END