论文阅读 Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation

title:Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation

link:https://arxiv.org/pdf/2112.08679.pdf

code:https://github.com/Coder-Yu/QRec

from:SIGIR 2022

1. 导读

本文是针对图对比学习在推荐系统中的应用而提出的相关方法SimGCL。通常做对比学习的时候,需要对数据进行增广,得到相同数据的不同视图(view),然后进行对比学习,对于图结构也是一样,需要对用户-商品二部图进行结构扰动从而获得不同视图,然后进行对比学习最大化不同图扩充之间的节点表征一致性。本文通过实验表明

  • 基于对比学习的推荐模型中,对比学习通过学习更统一的用户,商品表征来隐式的减轻流行度偏差;

  • 图增强只起到了很小的作用

因此,本文提出一种简单的对比学习方法,放弃之前的图增强方法,将均匀噪声添加到embedding空间,从而形成对比视图。虽然本文是针对图对比学习的,但是也许对其他情况的对比学习也有借鉴意义。

2. SimGCL

2.1 总览

本文的总体结构是图+对比学习,基模型采用LightGCN。总体损失函数表示为,其中L_rec为用户和商品embedding经过LightGCN后得到的表征,然后通过BPR损失函数计算损失。L_cl表示对比损失,这里采用流行的infoNCE损失函数,本文的重点在于如何构建节点embedding的不同视图以进行对比学习。因此下文中主要介绍本文的主要创新之处,即如何构建不同视图,而对于其他基础部分如BPR损失,infoNCE损失,LightGCN等不再介绍。

2.2 动机

在SGL[1]上作者进行了如下实验,探究图结构扰动在图对比学习中的作用,ND为节点dropout,ED为边dropout,RW为随机游走,WA不进行数据增广(这里两个视图都用原始embedding)。可以发现,不进行数据增广的情况下,只比增强低一点,说明其作用很小。

论文阅读 Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation_第1张图片

以往的做法修改图结构是耗时又麻烦的,作用还小,因此作者考虑是否可以在embedding空间中进行操作。通过添加随机噪声增加一部分扰动,实现快速高效的数据增广。

2.3 方法

给定节点i,他的embedding表示为,则其增广过程表示如下,其中,这个约束用于控制噪声的大小,并且对应的向量在半径为的球上,,sign(x),x<0则输出-1,大于0则输出1,第二个约束要求,和应该在同一个超八分圆中,这样添加噪声不会导致新的有很大的偏差,导致有效正样本较少。均匀分布。由于旋转足够小,增强表示保留了原始表示的大部分信息,同时也保留了一些方差。

,

论文阅读 Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation_第2张图片

以LightGCN为图编码器进行消息传播,在每次传播的过程中加入噪声,最后将每一层的输出求均值进行池化。公式如下,其中A表示邻接矩阵。

代码:

def perturbed_LightGCN_encoder(self,emb,adj,n_layers):
        all_embs = []
        for k in range(n_layers):
            emb = tf.sparse_tensor_dense_matmul(adj, emb)
            random_noise = tf.random.uniform(emb.shape)
            emb += tf.multiply(tf.sign(emb),tf.nn.l2_normalize(random_noise, 1)) * self.eps
            all_embs.append(emb)
        all_embs = tf.reduce_mean(all_embs, axis=0)
        return tf.split(all_embs, [self.num_users, self.num_items], 0)

3. 结果

论文阅读 Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation_第3张图片

你可能感兴趣的:(推荐算法,算法,神经网络,深度学习,推荐系统)