LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation 论文笔记
目录
-
- 1.简介
-
- 1.1 背景介绍
- 1.2 摘要
- 1.3 主要贡献
- 2. 准备工作
-
- 2.1 NGCF
- 2.2 对NGCF的实证探索
- 3. LightGCN模型
-
- 3.1 Light Graph Convolution (LGC)
- 3.2 层组合和模型预测
- 3.3 矩阵表示
- 4. 实验
-
- 4.1 比较方法
- 4.2 和NGCF的性能比较
- 4.3 消融和有效性分析
-
- 4.3.1 层组合的影响
- 4.3.2 对称开方归一化的影响
1.简介
1.1 背景介绍
图卷积网络中的最常见的设计，特征变换和非线性激活函数，对协同过滤的效果贡献很小。更糟糕的是，二者会增加训练难度，损害推荐效果。
1.2 摘要
本文提出了一个新的模型LightGCN，去除了GCN中两种最常见的设计——特征转换和非线性激活，只包含GCN中最重要的组件——邻域聚合（用于协同过滤）。
1.3 主要贡献
• 在GCN中特征变换和非线性激活这两种常见的设计对CF协同过滤的有效性并没有积极的影响。
• 提出LightGCN，它只包含了GCN推荐模型中最基本的组件，从而在很大程度上简化了模型设计。
• 根据同样的设置对LightGCN和NGCF进行了实证比较，并展示了显著的改进。从技术和经验的角度对LightGCN的合理性进行了深入的分析。
2. 准备工作
2.1 NGCF
2.2 对NGCF的实证探索
同时去除特征变换和非线性激活后的NGCF-fn，模型有了很大的改进
3. LightGCN模型
总体思路是：
(1) 先将用户和项目节点的领域聚合
(2) 使用三层卷积层分别生成每层的嵌入 （3.1）
(3) 将节点的原始输入与生成每层新的嵌入做一个加权和 （3.2）
(4) 将用户和项目最终的生成节点表示做内积生成预测的分数 （3.2）
3.1 Light Graph Convolution (LGC)
放弃了特征变换和非线性激活，LightGCN中图形卷积运算就简化为：
特别需要注意的是，邻域聚合并没有用到自连接，作者在原文3.2.1与SCGN的对比中证明了：在最终将每层嵌入组合到一起时，起到了自连接的效果。
3.2 层组合和模型预测
LightGCN需要的参数并不多，仅仅是0层的嵌入，即 e u ( 0 ) e_u^{(0)} eu(0)和 e i ( 0 ) e_i^{(0)} ei(0)。
（多层情况）经过K层LGC之后，我们进一步结合在每一层得到的嵌入，形成一个用户(一个项目)的最终表示:
α k = 1 k + 1 \alpha_k=\frac{1}{k+1} αk=k+11时效果最好。
最终的模型预测形式，内积形式如下：
y u i ^ = e u T e i ( 5 ) \hat{y_{ui}}=e_u^Te_i\qquad(5) yui^=euTei(5)
3.3 矩阵表示
令用户-项目交互矩阵 R ∈ R M × N R\in R^{M\times N} R∈RM×N,其中M和N分别表示用户数量和项目数量，如果 u u u与 i i i交互，则 R u i R_{ui} Rui 为1，否则为0。然后得到用户-项图的邻接矩阵为:
则可以得到LGC的矩阵等价形式为:
最后，我们得到最终用于模型预测的嵌入矩阵为:
4. 实验
4.1 比较方法
与之竞争的主要方法是NGCF，它已经证明比其他几种方法表现更好。在NGCF的基础上，我们进一步对比了两种相关且具有竞争力的CF方法:
Mult-VAE [28]
GRMF [30]
4.2 和NGCF的性能比较
我们与NGCF进行了详细的比较，在表中记录了不同层(1到4层)的性能，还显示了每个指标相对改进的百分比。在图中，我们进一步绘制了训练损失和测试recall的训练曲线。
4.3 消融和有效性分析
对LightGCN进行消融研究，展示了层组合和对称开根归一化如何影响LightGCN的性能。
4.3.1 层组合的影响
以LightGCN-single为例，我们发现当层数从1增加到4时，它的性能先提高后降低。
以LightGCN为例，我们发现它的性能是随着层数的增加而逐渐提高的。即使使用4层，LightGCN的性能没有降低。
4.3.2 对称开方归一化的影响
最好的设置是在两边都使用sqrt标准化，去掉任何一边都会大大降低性能。
第二好的设置是仅在左侧使用L1规范化(即LightGCN-L1-L)。