GNN论文周报|来自慕尼黑工业大学、密歇根大学、香港科技大学等机构前沿论文研究...

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

以下内容来源于AMiner科技

图神经网络（GNN）是一类专门针对图结构数据的神经网络模型，在社交网络分析、知识图谱等领域中取得了不错的效果。近来，相关研究人员在GNN的可解释性、架构搜索、对比学习等方面做了很多探究。

本周精选了10篇GNN领域的优秀论文，来自密歇根州立大学、Mila实验室、UIUC、同济大学等机构。

为了方便大家阅读，只列出了论文标题、作者、ChatPaper综述等信息，如果感兴趣可扫码查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

1.Graph Positional and Structural Encoder论文详情页

作者：Renming Liu,Semih Cantürk,Olivier Lapointe-Gagné,Vincent Létourneau,Guy Wolf,Dominique Beaini,Ladislav Rampášek

链接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f4a3/

ChatPaper综述：这篇论文介绍了一种名为“Graph Positional and Structural Encoder”的新方法，它是一种用于图形位置和结构的编码器。传统的图形编码方法通常是基于节点的重要性或标签来进行的，但这些编码方法往往只能适用于特定的图形任务。而 GPSE 能够捕捉丰富的图形位置和结构信息，并具有很强的可扩展性和泛化能力。GPSE 通过将图形分解为节点和边，并使用节点和边的特征向量来表示节点和边的位置和结构信息。这些特征向量可以通过训练神经网络来学习。GPSE 的编码方式具有很强的泛化能力，可以在不同的图形任务和数据集上表现出色。在一系列基准测试中，GPSE-enhanced 模型在某些任务上取得了非常出色的表现，同时在某些情况下，它们的性能与使用明确计算的图形位置和结构编码方法的模型相当。GPSE 的实现为开发大型预训练模型提供了一个可行的选择，这些模型可以用于提取图形位置和结构信息，并且可以替代明确计算的图形位置和结构编码方法以及现有的自监督预训练方法。

2.Differentially Private Decoupled Graph Convolutions for Multigranular Topology Protection论文详情页

作者：Eli Chien,Wei-Ning Chen,Chao Pan,Pan Li,Ayfer Özgür,Olgica Milenkovic

链接：https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b434b0/

ChatPaper综述：这篇论文介绍了一种 differentially private 的 decoupled 图形卷积算法，用于保护多粒度拓扑结构。传统的 differential privacy 方法在保护模型参数和预测时不够有效，特别是在使用图形卷积算法进行节点预测时，会产生额外的隐私泄露风险。因此，本文提出了一种名为 Graph Differential Privacy (GDP) 的新的 differential privacy 框架，专门用于图形学习场景，以确保 both provably private 模型参数和预测。此外，由于节点属性和图形结构可能具有不同的隐私要求，本文提出了一种新的放松节点数据相邻性概念。这种放松可以用来建立不同级别的图形拓扑隐私保证，同时保持节点属性隐私。重要的是，这种放松为图形学习方法提供了一种有用的隐私和拓扑隐私之间的权衡。此外，本文还对 GDP 进行分析，发现现有的 DP-GNNs 无法利用这种权衡，因为标准图形卷积设计之间的复杂交互会干扰这种权衡。为了解决这个问题，本文提出了 Differentially Private Decoupled Graph Convolution (DPDGC) 模型，该模型受益于 decoupled 图形卷积，并提供 GDP 保证。通过使用七个节点分类基准数据集进行广泛实验，证明了 DPDGC 优于基于标准图形卷积设计的现有的 DP-GNNs。

3.Automated Polynomial Filter Learning for Graph Neural Networks论文详情页

作者：Wendi Yu,Zhichao Hou,Xiaorui Liu

链接：https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaea4a/

ChatPaper综述：这篇论文介绍了一种名为“Auto-Polynomial”的自动多项式图滤波器学习框架，用于改进图神经网络 (GNN) 的性能。传统的多项式图滤波器在设计和优化 GNN 时发挥了重要作用，但近年来，自适应学习多项式图滤波器的方法在处理同质和异质图信号方面表现出了良好的性能，因为它们具有灵活性和表达能力。然而，多项式图滤波器学习方法仍然存在严重的过拟合问题。因此，该论文提出了 Auto-Polynomial 框架，这是一种新型和通用的自动多项式图滤波器学习框架，可以高效地学习适应各种复杂图信号的更好的滤波器。全面的实验和 ablation studies 表明，Auto-Polynomial 方法在多个学习场景中显著提高了 GNN 的性能，同时考虑了各种标签比例。这项工作揭示了多项式滤波器学习的潜在可能性，并为实现 GNN 的更高效和更精确的优化打开了大门。

4.Learning Adaptive Neighborhoods for Graph Neural Networks论文详情页

作者：Avishkar Saha,Oscar Mendez,Chris Russell,Richard Bowden

链接：https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee36a/

ChatPaper综述：这篇论文提出了一种名为“自适应邻居选择”的新算法，用于在图神经网络中学习和自适应地选择邻居。传统的图卷积神经网络 (GCN) 方法通常假设输入图的结构已经给定，并且需要从噪声或缺失数据中构建或学习隐含图结构。然而，这种方法可能会导致整个图的节点度数固定，这是不最优的。相反，本文提出了一种新的端到端可微分图生成器，该生成器构建图拓扑结构，每个节点可以选择其邻居和其大小。该模块可以方便地集成到涉及图卷积操作的任何现有管道中，并取代预定义或已有的邻接矩阵，将其作为总体目标的一部分进行学习优化。因此，该方法适用于任何 GCN。本文将我们的模块集成到轨迹预测、点云分类和节点分类管道中，结果表明，在广泛的数据集和 GCN 骨干网络中，我们的算法与其他结构学习方法相比可以提高准确性。

5.Autoregressive Diffusion Model for Graph Generation论文详情页

作者：Lingkai Kong,Jiaming Cui,Haotian Sun,Yuchen Zhuang,B. Aditya Prakash,Chao Zhang

链接：https://www.aminer.cn/pub/6433f67190e50fcafd6d6071/

ChatPaper综述：这篇论文提出了一种名为“自回归扩散模型”的图形生成方法。与现有的扩散基元生成方法不同，该模型在离散的图空间中定义了一个节点吸收扩散过程。为了进行前向扩散，该模型设计了一个扩散顺序网络，该网络从图拓扑中学习到一个数据依赖的节点吸收顺序。为了进行逆生成，该模型设计了一个去噪网络，该网络使用反向节点顺序来高效地重建图，同时预测新节点的类型及其与已去噪节点的边。基于图的排列不变性，该模型的两个网络可以同时训练，以优化数据似然性低度。该模型在六个不同的通用图形数据集和两个分子数据集中进行了实验，结果表明，该模型的性能优于或与以前的最先进的方法相当，同时生成速度非常快。

6.From random-walks to graph-sprints: a low-latency node embedding framework on continuous-time dynamic graphs论文详情页

作者：Ahmad Naser Eddin,Jacopo Bono,David Aparício,Hugo Ferreira,João Ascensão,Pedro Ribeiro,Pedro Bizarro

链接：https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaec36/

ChatPaper综述：这篇论文讨论了在连续时间动态图 (CTDG) 中进行低延迟节点嵌入的方法。许多现实世界的数据集都带有动态图结构，其中实体及其交互随着时间演化。为了充分利用这些数据集的潜力，机器学习模型应该考虑这些动态性。先前用于图表示学习的方法包括采样 k-hop 邻居或者随机漫步，但是这些方法在动态图的低延迟推理中太昂贵了。为了解决这个问题，论文提出了“图冲刺”(graph-sprints) 框架，这是一个通用的特征提取框架，可以对连续时间动态图进行低延迟推理，并与最先进的高延迟模型进行比较。为了实现这一点，论文提出了一种流式、低延迟的随机漫步特征近似方法。在我们的框架中，时间敏感的节点嵌入总结了多跳信息，只需要单个跳的操作来分析输入边。我们进行了对三个开源数据集和两个自己数据集的评估，并与三个最先进的算法 (TGN-attn、TGN-ID 和 Jodie) 进行比较。我们的结果表明，我们的“图冲刺”特征结合机器学习分类器可以实现出色的性能 (在五个数据集上的节点分类任务中优于所有基准),同时实现接近一个数量级的推理速度加速。

7.GraphCL-DTA: a graph contrastive learning with molecular semantics for drug-target binding affinity prediction论文详情页

作者：Xinxing Yang,Genke Yang,Jian Chu

链接：https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee2f9/

ChatPaper综述：这篇论文提出了一种名为 GraphCL-DTA 的模型，用于预测药物-- 目标结合亲和力。在药物发现的早期阶段，该模型可以用于推断新药物和目标之间的相互作用强度。传统的计算模型在学习药物表示时只依赖于监督数据，而忽略了分子图形本身包含的信息。此外，大多数以前的研究设计了复杂的表示学习模块，而忽略了衡量表示质量的一致性指标。为了解决这些问题，该论文提出了 GraphCL-DTA 模型，它是一种基于分子图形的上下文学习模型，用于学习药物表示。通过 GraphCL-DTA 模型，可以保留分子图形的语义信息。通过这种模型，可以无需额外的监督数据来学习更有效的药物表示。此外，该论文还设计了一种新的损失函数，可以直接用于平滑调整药物和目标表示的一致性。通过直接优化表示一致性，可以提高药物和目标表示的质量。该模型在两个真实的数据集 KIBA 和 Davis 上的表现出色，表明它比最先进的模型更具优势。

8.Sharpness-Aware Graph Collaborative Filtering论文详情页

作者：Huiyuan Chen,Chin-Chia Michael Yeh,Yujie Fan,Yan Zheng,Junpeng Wang,Vivian Lai,Mahashweta Das,Hao Yang

链接：https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee278/

ChatPaper综述：这篇论文介绍了一种名为“Sharpness-Aware Graph Collaborative Filtering”的方法，使用图神经网络 (GNN) 进行协作过滤。当训练和测试数据分布不一致时，GNN 往往会表现不佳。此外，训练 GNN 需要优化非凸神经网络，其中存在大量的局部和全局最小值，它们在测试时间的性能可能大不相同。因此，选择适当的最小值至关重要。该论文提出了一种名为 gSAM 的有效训练框架，基于原则，较平坦的最小值具有更好的泛化能力，而较尖锐的最小值则不适合训练。gSAM 通过形成双级优化来监督权重损失空间的平坦性，外部问题执行标准模型训练，内部问题帮助模型跳出尖锐的最小值。实验结果表明，gSAM 具有优越性。

9.Disentangling Node Attributes from Graph Topology for Improved Generalizability in Link Prediction论文详情页

作者：Ayan Chatterjee,Robin Walters,Giulia Menichetti,Tina Eliassi-Rad

链接：https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee243/

ChatPaper综述：论文研究了图机器学习中的链接预测任务，并探索了节点属性和图拓扑之间的关系。研究表明，将预训练的节点属性集成到链接预测模型中可以改善模型的泛化能力。作者提出了一种名为 UPNA(Unsupervised Pre-training of Node Attributes) 的方法，用于解决诱导链接预测问题。UPNA 通过学习一对节点属性来预测边的概率，而不是像 GNN 那样在具有正则化度分布的图中容易出现拓扑短接。通过这种方式，UPNA 学习了图生成的隐含机制的一部分，因为学习到的功能可以用于添加进入节点到增长图中。利用预训练的节点属性，UPNA 克服了观察偏差，并对未观测的节点进行有意义的预测，在基准数据集上达到了最先进的性能 (3X 到 34X 改进)。UPNA 可以应用于各种对偶学习任务，并可以与现有的链接预测模型集成以增强其泛化能力和加强图生成模型。

10.Curriculum Learning for Graph Neural Networks: A Multiview Competence-based Approach论文详情页

作者：Nidhi Vakil,Hadi Amiri

链接：https://www.aminer.cn/pub/64ae66e83fda6d7f068496fc/

ChatPaper综述：这篇论文旨在解决在图神经网络中的课程学习问题。课程学习是指根据一定的学习材料的计划顺序，使得学习对于人类和机器都更加高效和有效。近期的研究已经在语言应用中为训练图神经网络开发出了有效的数据驱动课程学习方法。然而，现有的课程学习方法通常在训练过程中只使用了单一的难度准则。本文提出了一种新的课程学习视角，通过引入图复杂性形式化的方法（作为难度准则）和模型能力的概念来建立课程学习。该模型包括一个调度方案，通过在训练过程中考虑样本难度和模型能力的不同视图来确定有效的课程。所提出的解决方案在图神经网络的课程学习研究中具有进一步发展的能力，可以在训练过程中将精细的图难度准则纳入考虑。在真实世界的链接预测和节点分类任务上的实验结果证明了所提出方法的有效性。

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了1100多位海内外讲者，举办了逾550场活动，超600万人次观看。

我知道你

在看

哦

~

点击 阅读原文 直达ChatPaper！