WWW‘22 推荐系统论文之图神经网络篇

WWW'22 推荐系统论文之图神经网络篇基于图网络的推荐系统论文，主要改进思路：无需使用给定的社交网络、局部和全局信息利用 (本身local，主要是global)、高阶信息利用、结构邻居与语义邻居、互蒸馏、时空信息利用等，基本是将图网络的一些进展迁移到推荐系统领域。​https://mp.weixin.qq.com/s/2R4YHowl42yEHchU1kEjfQ

WWW 2022已公布录用论文，接收323篇/投稿1822篇，录用率为17.7%，完整录用论文列表见
Accepted Papers – TheWebConf 2022

[1] [2]已对推荐系统和计算广告相关论文进行梳理，《WWW'22 推荐系统论文之序列推荐篇》和《WWW'22 推荐系统论文之多任务与对比学习篇》已对序列推荐、多任务学习、对比学习方向的论文进行总结。本文选择图神经网络方向个人感兴趣的论文进行进一步解读，对于已有人解读的论文，本文会给出相应链接。

另RecSys 2022今天已通知录用结果，接收39篇/投稿231篇，录用率为16.9%；恭喜我们小组清华phd小姐姐的论文被录用为oral，笔者也喜提“十八作”，publication list +1。我们团队是阿里国际化推荐业务，小组目前三个人，还有1个hc，小组长超级nice，有兴趣的同学欢迎公众号或知乎询问详情，投递简历～

基于图网络的推荐系统论文，主要改进思路：无需使用给定的社交网络、局部和全局信息利用 (本身local，主要是global)、高阶信息利用、结构邻居与语义邻居、互蒸馏、时空信息利用等，基本是将图网络的一些进展迁移到推荐系统领域。

1.论文解读

 1.1 GSL4Rec: Session-based Recommendations with Collective Graph Structure Learning and Next Interaction Prediction

论文链接: https://scholar.archive.org/work/bt5r7vhqifagpaymrbdqabvu7a/access/wayback/https://dl.acm.org/doi/pdf/10.1145/3485447.3512085

论文机构: 腾讯、康奈尔大学威尔医学院

论文分类: 图网络、Session-based recommendations

论文总结: 图神经网络 (GNN) 已经成功地建模用户关系用于推荐系统等领域，然而，现有的基于 GNN 的方法通常假设一个预定义的社交网络，这存在两方面问题，首先，现实世界中构建社交网络成本昂贵；其次，社交关系是静态的，具有社交关系的两个用户可能不会对商品共享相同的偏好，共享相似偏好的两个用户也可能不知道彼此的存在。因此，作者认为同时学习图结构 (即用户之间的链接)和预测下一次交互可能会进一步提高推荐的性能。为实现该目标，将面临可扩展性和有效性两个挑战。本文为基于会话的推荐 (GSL4Rec) 引入了一种新颖的图结构学习框架，以同时解决这两个挑战。该框架有一个两阶段的策略，即粗略的邻居筛选和自适应图结构学习，以实现对所有用户之间潜在链接的探索，同时保持可扩展的计算量。作者还提出了一种分阶段的启发式学习策略，以顺序和协同地训练 GSL4Rec 的图学习部分和推荐部分，从而通过使模型更容易实现良好的局部最优来提高有效性。在五个公共数据集上的实验表明，本文提出的模型显着优于强大的基线，包括基于状态的社交网络的方法。本文的贡献总结如下：(1) 提出GSL4Rec 从用户行为中学习图结构，以进行基于会话的推荐，所提出的框架适用于大型数据集，并且可以在事先有或没有给定社交网络的情况下自适应地推断加权有向图。 据作者所知，这是第一项关于学习用户网络的图结构而不是使用手工规则进行基于会话的推荐的研究。(2) 提出了一种阶段性启发式学习策略来稳定学习过程，从而克服参数学习的挑战并取得更好的性能。(3) 实验结果表明，本文的方法在来自不同领域的五个基准数据集上优于最先进的方法，并证明了学习图结构的有效性。

1.2 FIRE: Fast Incremental Recommendation with Graph Signal Processing

论文链接: http://recmind.cn/papers/fire_www22.pdf

代码链接: https://github.com/Yaveng/FIRE

论文机构: 复旦、微软亚研

论文分类: 图网络、增量推荐

论文总结: 增量推荐的最新进展依赖于从时间交互图中捕获用户/商品的temporal dynamics，以便他们的用户/商品嵌入可以与图结构一起发展。然而，这些方法面临两个关键挑战：1）模型训练和/或更新非常耗时，2）无法有效处理新用户/商品。为此，本文从图信号处理的角度提出了快速增量推荐（FIRE，fast incremental recommendation）方法。 FIRE 一种非参数方法，不会像以前的基于学习的方法那样受到耗时的反向传播的影响，显著提高了模型更新的效率。此外，本文通过在 FIRE 中设计新的图过滤器来编码用户/商品的时间信息和边信息，这可以分别捕获用户/商品的temporal dynamics并解决新用户/商品的冷启动问题。对四个流行数据集的实验研究表明，与最先进的增量推荐算法相比，FIRE 可以大幅提高准确性，并将模型更新效率提高至少 3 倍。

1.3 Graph Neural Transport Networks with Non-local Attentions for Recommender Systems

论文链接: Graph Neural Transport Networks with Non-local Attentions for Recommender Systems | Proceedings of the ACM Web Conference 2022

论文机构: Visa Research

论文分类: 图网络、全局信息利用

论文总结: 图神经网络 (GNN) 已成为协同过滤的强大工具。推荐的一个关键挑战是从用户-商品图中提取远程协同信号 (long-range collaborative signals)。通常，GNN 通过在本地邻居之间传播和聚合信息来生成用户/商品的embedding。因此，GNN 捕获远程依赖关系的能力在很大程度上取决于它们的深度。然而，简单地训练深度 GNN 会产生一些瓶颈效应，例如过拟合和过平滑，如果 GNN 没有得到很好的正则化，这可能会导致意想不到的结果。本文提出了图最优传输网络 (Graph Optimal Transport Networks，GOTNet)，以在不增加 GNN 深度的情况下捕获远程依赖关系。具体来说，作者首先对节点的 GNN embedding进行k-Means 聚类以获得graph-level的表示（例如中心点），然后计算节点中心注意力，这使得远程消息能够在遥远但相似的节点之间进行通信。本文提出的非局部注意力算子与原始 GNN 中的本地算子无缝协作。因此，GOTNet 能够仅使用浅层 GNN 来捕获图中的局部和非局部消息，从而避免了深度 GNN 的瓶颈效应。实验结果表明，与最先进的 GNN 相比，GOTNet 实现了更好的性能。

这篇可以参考CVPR2020人脸聚类方向的DA-Net，在GCN中通过chain和clique的方式，利用局部和全局信息。

1.4 Hypercomplex Graph Collaborative Filtering

论文链接: Hypercomplex Graph Collaborative Filtering | Proceedings of the ACM Web Conference 2022

论文机构: 吉林大学、悉尼科技大学

论文分类: 图网络、高阶信息利用、数学

论文总结: 超复代数在数学领域得到了很好的发展。最近，已经提出了几种超复数推荐方法并取得了巨大的成功。然而，在现有的超复数推荐系统中，两个重要问题尚未得到充分考虑。首先，这些方法仅针对特定的低维超复代数（例如复代数和四元数代数）而设计，忽略了对高维代数的探索和利用。其次，大多数推荐器将每个用户-商品交互视为一个孤立的数据实例，而不考虑高阶协作关系。为了弥合这些差距，在本文中，作者提出了一种名为 HyperComplex Graph Collaborative Filtering (HCGCF) 的新型推荐框架。为了研究高维超复代数，作者介绍了 Cayley-Dickson 构造，它利用递归过程来定义超复代数及其数学运算。基于 Cayley-Dickson 构造，作者设计了一个超复数图卷积算子来学习用户和商品的表示。具体来说，算子对超复数空间中的邻域汇总和与邻居的交互关系进行建模，有效地利用了用户-商品二分图中的高阶连通性。据作者所知，这是 Cayley-Dickson 构造和图卷积技术首次在超复数推荐系统中得到明确讨论和使用。与几个最先进的推荐基线相比，HCGCF 在三个真实数据集上的点击率预测和 top-K 推荐方面均取得了卓越的性能。

1.5 Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning

论文链接: https://arxiv.org/abs/2202.06200

代码链接: https://github.com/RUCAIBox/NCL

论文机构: 人大

论文分类: 图网络、协同过滤、对比学习

论文总结: 作为一种有效的推荐方法，图协同过滤可以通过对用户-商品交互图建模来捕捉用户对商品的偏好。尽管有效，但这些方法在实际场景中会面临数据稀疏问题。为了减少数据稀疏的影响，可以在图协同过滤中采用对比学习来提高性能，然而，现有的方法通常是随机抽样构建对比pair，忽略了用户 (或商品)之间的相邻关系，未能充分利用对比学习的潜力。为解决上述问题，本文提出了一种新颖的对比学习方法，命名为NCL (Neighborhood-enriched Contrastive Learning)，它明确地将潜在的邻居合并到对比pair中。具体来说，本文分别从图结构和语义空间中引入用户 (或商品)的邻居，图结构邻居指用户与商品交互图中直接相连或是经过偶数跳相连的，语义邻居指两个用户(物品)有相似的embedding。对于交互图上的结构邻居，作者开发了一种新颖的结构对比目标，将用户 (或商品)及其结构邻居视为正对比pair。在实现中，用户 (或商品)和邻居的表示对应于不同 GNN 层的输出。此外，为了挖掘语义空间中潜在的邻居关系，作者假设具有相似表示的用户在语义邻居内，并将这些语义邻居合并到原型对比目标中。本文所提出的NCL可以用 EM 算法进行优化，并推广到图协同过滤方法。在五个公共数据集上进行的大量实验证明了所提出的 NCL 的有效性，特别是在 Yelp 和 Amazon-book 数据集上，相比图协同过滤基础模型的性能分别提高了 26% 和 17%。

相关解读: [3]

1.6 Revisiting Graph based Social Recommendation: A Distillation Enhanced Social Graph Network

论文链接: https://scholar.archive.org/work/3fxqjxz7hfa3loa77qz4ucdnmy/access/wayback/https://dl.acm.org/doi/pdf/10.1145/3485447.3512003

代码链接: https://www.dropbox.com/s/uqmsr67wqurpnre/Supplementary%20Material.zip?dl=0

论文机构: 北大、工行

论文分类: 图网络、社交推荐、知识蒸馏

论文总结: 社交推荐利用社交关系构建推荐系统，在缓解信息过载方面发挥着重要作用。由于推荐系统中的数据本质上是图的结构，因此基于 GNN 的推荐系统正在蓬勃发展。然而，现有的工作对社交推荐缺乏深入的思考。这些方法包含在实践中没有得到很好分析的隐含假设。为了解决这些问题，本文对广泛使用的社交推荐数据集进行了统计分析，并设计指标来评估社交信息，这可以为我们是否以及如何在推荐任务中使用这些信息提供指导。基于这些分析，本文提出了蒸馏增强社交图网络（Distillation Enhanced SocIal Graph Network，DESIGN）。作者训练了一个模型，该模型集成了来自用户-商品交互图和用户-用户社交图的信息，并训练了两个分别仅使用上述图之一的辅助模型。这些模型是同时训练的，其中知识蒸馏技术控制训练过程并使它们相互学习。广泛的实验表明，本文的模型在现实世界的数据集上显着且始终优于最先进的竞争对手。本文的主要贡献如下。 (1) 通过对四个广泛使用的社交推荐数据集进行统计分析，对社会影响理论进行了深入的重新审视；提出了评估社交信息的指标，这可以为是否以及如何利用用户之间的社交联系来构建推荐模型提供指导。 (2) 提出了一种蒸馏增强社交图网络 (DESIGN) 来提高社交推荐的预测性能。 据作者所知，这是第一个在社交推荐任务中依赖不同数据源的模型之间引入知识蒸馏技术的。 (3) 对现实世界的数据集进行了广泛的实验，以表明所提出的 DESIGN 始终优于最先进的竞争对手。

【训练三个模型，TwinGCN, RatingGCN, and SocialGCN，两两互蒸馏？】

1.7 STAM: A Spatiotemporal Aggregation Method for Graph Neural Network-based Recommendation

论文链接: https://keg.cs.tsinghua.edu.cn/jietang/publications/WWW22-Yang%20et%20al.-STAM-GNN.pdf

代码链接: https://github.com/zyang-16/STAM

论文机构: 清华、阿里

论文分类: 图网络、时空聚合、自注意力

论文总结: 基于图神经网络的推荐系统最近蓬勃发展，其核心是确定邻居嵌入学习的聚合方法。现有技术通常侧重于如何从空间结构信息的角度聚合信息，但对邻居的时间信息探索不足。在这项工作中，作者提出了一种时空聚合方法 STAM，以有效地将时间信息整合到邻居嵌入学习中。 STAM 从空间结构信息和时间信息的角度生成时空邻居嵌入，促进了从空间到时空的聚合方法的发展。 STAM 利用 Scaled Dot-Product Attention 来捕获一跳邻居的时间顺序，并利用multi-head attention在不同的潜在子空间上执行联合注意力。作者利用 STAM 进行基于 GNN 的推荐来学习用户和项目嵌入。大量实验表明，与基于空间的聚合方法相比，STAM 在基于 GNN 的推荐方面带来了显着的提升，例如在@20 方面，MovieLens 为 24%，亚马逊为 8%，淘宝为 13%。

1.8 Large-scale Personalized Video Game Recommendation via Social-aware Contextualized Graph Neural Network

论文链接: https://arxiv.org/abs/2202.03392

代码链接: https://github.com/YangLiangwei/SCGRec

论文机构: 伊利诺伊大学芝加哥分校、Salesforce

论文分类: 图网络

论文总结: 由于当今网络游戏数量众多，网络游戏推荐系统对于用户和网络游戏平台来说是必不可少的。前者可以发现更多自己感兴趣的潜在网络游戏，后者可以吸引用户在平台停留更长时间。本文研究了 Steam 平台上在线游戏的用户行为特征。基于观察，作者认为一个令人满意的在线游戏推荐系统能够表征：个性化、游戏情境化和社交联系。然而，同时解决所有问题对于游戏推荐来说是相当具有挑战性的。首先，游戏推荐的个性化需要结合参与游戏的停留时间，这在现有方法中被忽略了。其次，游戏语境化应该反映这些关系的复杂和高阶属性。最后但同样重要的是，由于社交关系中存在大量噪音，直接使用社交关系推荐游戏是有问题的。为此，本文提出了一种社会感知的上下文图神经推荐系统（Social-aware Contextualized Graph Neural Recommender System，SCGRec），它利用三个视角来改进游戏推荐。本文对用户的网络游戏行为进行了综合分析，这激发了在网络游戏推荐中处理这三个特征的必要性。

2.参考文献

[1] WWW2022推荐系统、计算广告论文汇总

[2] WWW 2022 推荐系统和广告相关论文整理分类

[3] Improving Graph Collaborative Filtering with Neighborhood-enriched CL阅读笔记