【论文学习】LightGCN：轻量图卷积

这篇论文是何向南老师大概今年3月份发的论文，论文地址：https://arxiv.org/abs/2002.02126

摘要：
图卷积网络（GCN）已成为协同过滤的新技术。然而，对其建议效力的原因并不十分了解。现有的基于推荐的GCN算法缺乏对GCN算法的深入分析，GCN算法最初是为图分类任务而设计的，具有很多神经网络操作。然而，我们在经验上发现，GCN中最常见的两种设计-特征转换和非线性激活-对协同过滤的性能贡献甚微。更糟糕的是，包括它们会增加训练的难度，降低推荐性能。在这项工作中，我们的目标是简化GCN的设计，使其更简洁、更适合推荐。提出了一种新的协同过滤模型LightGCN，该模型只包含了GCN中最基本的部分-邻域聚集。具体来说，LightGCN通过在用户-项目交互图上线性传播用户和项目嵌入来学习用户和项目嵌入，并使用在所有层学习的嵌入的加权和作为最终嵌入。这种简单、线性和简洁的模型更易于实现和训练，在完全相同的实验设置下，与神经图协作过滤（NGCF）相比（平均相对改进约16.0%）显示出显著的改进（NGCF是一种基于GCN的最新推荐模型）。从分析和实证两个角度对简单LightGCN的合理性进行了进一步的分析。我们的实现在tensorflow1和PyTorch2中都可用。

NGCF简介：


在初始步骤中，每个用户和项目都与ID嵌入相关联。设e（0）u表示用户u的ID嵌入，e（0）i表示项i的ID嵌入，然后NGCF利用user item交互图传播嵌入，如下所示：

这里euk,eik表示用户u、项目在k层传播后的精细embedding。
Nu表示用户u交互过的所用项目
Ni表示项目i交互过的所有用户
w1和w2是可训练的权重矩阵，用于在每一层中执行特征变换。
通过传播L层，NGCF获得L+1嵌入来描述用户（e（0）u，e（1）u，…，e（L）u）和项（e（0）i，e（1）i，…，e（L）i）。然后将这些L+1嵌入连接起来，得到最终的用户嵌入和项目嵌入，使用内积生成预测得分。

作者提出：NGCF主要遵循标准GCN，包括使用非线性激活函数和特征变换矩阵w1和W2。认为这两种操作对于协同过滤并没有那么有用。在协同过滤中，用户项交互图的每个节点只有一个ID作为输入，没有具体的语义。在这种情况下，执行多个非线性转换不会有助于学习更好的特性；更糟糕的是，它可能会增加良好训练的困难。

LightGCN：

图:LightGCN模型架构的说明。在LGC中，只对下一层进行规范化的邻域嵌入和，去除了自连接、特征变换、非线性激活等操作，极大地简化了gcn。在层组合中，我们对每个层的嵌入进行求和，以获得最终的表示

GCN的基本思想是通过平滑图上的特征来学习节点的表示。为了实现这一点，它迭代地执行图卷积，即将邻居的特征聚合为目标节点的新表示。这种邻域聚合可以抽象为：

其中AGG是聚合函数

在LightGCN中，采用简单的加权和聚合器，放弃了特征变换和非线性激活的使用。LightGCN中的图卷积运算（也称为传播规则[39]）定义为：

这里值得注意的是在LGC中，只聚合连接的邻居，而不集成目标节点本身（即自连接）。（这里可以对照上面的公式，作者删除了gcn的自连接）

Layer组合和模型预测：

1. 在LGCN中，唯一可训练的模型参数就是第0层的embedding：所有用户的e（0）uf和所有项的e（0）i。
2. 当第0层被给定后，通过公式（3）计算高层embedding。
3. 在k层LGC之后，我们进一步组合在每个层上获得的嵌入，以形成用户（项）的最终表示：
   
   ak表示每一层的权重，在我们的实验中，我们发现将αk设置为1/（K+1）通常会产生良好的性能。

执行层组合以获得最终表示的原因有三个。
（1） 随着层数的增加，嵌入部分会变得过于平滑[27]。因此，仅仅使用最后一层是有问题的。（2） 不同层的嵌入捕获不同的语义。E、 例如，第一层对用户和具有交互的项实施平滑，第二层对具有交互项（用户）重叠的用户（项）实施平滑，更高层捕获更高阶的接近度[39]。因此，将它们结合起来将使表示更加全面。（3） 将不同层的嵌入与加权和结合起来，可以捕获具有自连接的图卷积的效果，这是GCNs中的一个重要技巧。

模型预测定义为用户和项目最终表示的内积：

矩阵形式：

为了实现实验，作者使user，item交互矩阵设置为

M和N分别表示用户数和项目数，如果u与item i交互，则每个项目Rui为1，否则为0。

设第0层嵌入矩阵为E（0）∈R（M+N）×T，其中T为嵌入尺寸。然后我们可以得到LGC的矩阵等价形式为

其中，D是a（M+N）×（M+N）对角矩阵，其中每一项D表示邻接矩阵a（也称为度矩阵）的第i行向量中的非零项的数目。最后，我们得到用于模型预测的最终嵌入矩阵为：

实验部分：
作者主要是对照了NGCF模型。