学习笔记 | 2023 AAAI 对抗性权值扰动改善图神经网络的泛化性能

一、前言

对抗性权值扰动改善图神经网络的泛化性能。2022 ICLR Reject,2023 AAAI Accept。

论文地址:Adversarial Weight Perturbation Improves Generalization in Graph Neural Network

关键词:WT-AWP、Non-IID、鲁棒 GNN、泛化性

大量的理论和经验实证表明,更平坦的局部最小值倾向于提升泛化性(generalization)。对抗性权值扰动(Adversarial Weight Perturbation,AWP)是寻找此类 minima 一种高效且有效的新兴技术。在 AWP 中,最小化模型参数最坏情况的有界扰动相关的损失,从而有利于找到局部极小值,并且在其周围的邻域中损失很小。AWP 的好处,以及更一般的平坦性和泛化性(flatness and generalization)之间的联系,已经在 IID 数据上被广泛研究的,如 Images。这篇论文首次对图结构数据的这一现象进行了广泛研究,在此过程中,我们首先推导了 Non-IID 的一般化界限,节点分类任务。作者发现了一个所有现有的 AWP 公式相关的梯度消失问题,进而提出加权截断 AWP(WT-AWP)以缓解这一问题。结果表明,使用 WT-AWP 对图神经网络进行正则化,可以在许多不同的图学习任务和模型之间提高自然泛化和鲁棒泛化。

一个关键的基本问题是,深度神经网络模型具有许多不同的局部极小值,尽管在训练和验证数据上具有几乎相同的性能,但它们的泛

你可能感兴趣的:(人工智能学习之路,AWP,WT-AWP,对抗性权值扰动,鲁棒,GNNs,泛化性)