GNN2021(十六) HOW TO FIND YOUR FRIENDLY NEIGHBORHOOD: GRAPH ATTENTION DESIGN WITH SELF-SUPERVISION

来自ICLR2021。
写之前说点题外话，最近做实验、写论文、赶项目，论文博客也荒废已久，一些灵光一现的想法没来得及落实便已经倏忽远逝，不得不让人感慨时间管理的重要性。本篇依旧是忙里偷闲写下的（写到这还是得去改一个项目相关的文件了）。有时候觉得做项目真是带不来任何喜悦，远不如读一篇论文看一段代码来得实在（当然给钱的项目另说，哈哈哈）。但是可能在不那么好的学校读博就是会面临这样的问题，需要自己给出一个调和，谁叫当初胸无大志苟求偏安呢。好了，进入正题吧。
本文提出了一种自监督图注意网络(SuperGAT)，它是一种改进的有噪图注意模型（注意这个有噪是指什么噪声）。具体来说，利用与自监督任务兼容的两种注意力（哪两种注意力？）来预测边，预测边的存在和不存在包含了关于节点之间关系重要性的固有信息。通过对边进行编码，SuperGAT在区分错误链接的邻居时学会了更多的表达性注意。研究发现:同质性和平均程度是影响注意形式有效性和自我监督的两个图表特征。

Introduction

本文的出发点是GAT。GATs在节点分类方面表现出了性能上的改进，但在跨数据集的改进程度上并不一致，而且对图注意力实际上学习了什么知之甚少。因此，首先利用一个自监督任务，使用注意值作为输入来预测节点之间存在一条边的可能性。其实这句话说白了就是在节点分类的任务基础上添加另一个连接预测的任务，将原本的任务转化为多任务学习模型。为了在图注意中编码边，首先分析了图注意学习了什么