干货！通过伯恩斯坦近似学习任意的图谱滤波器
点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入！
何明国：
中国人民大学高瓴人工智能学院二年级博士生，导师是魏哲巍教授。主要研究方向为图神经网络，图谱理论。
当前许多具有代表性的图神经网络，如GPR-GNN和ChebNet，都使用图谱滤波器来近似图卷积。然而，现有的工作要么使用预定义的滤波器权重，要么在没有约束的情况下学习滤波器权重，这可能会导致滤波器过于简单或者不合理。为了克服这些问题，我们提出了BernNet，这是一种具有理论支持的新型图神经网络，它为设计和学习任意图谱滤波器提供了一种简单而有效的方案。对于图归一化拉普拉斯谱上的任何滤波器，BernNet通过一个K阶的Bernstein多项式逼近来估计它，并通过设置Bernstein基的系数来设计它的谱性质。我们的实验表明，BernNet可以学习任意的谱滤波器，包括复杂的带阻滤波器和梳状滤波器，并且在真实数据集图节点分类任务中取得了优异的性能。
近年来，对图神经网络的研究越来越热门，本文也是面向图神经网络的工作。首先，我们来看一下图的定义。
图的定义
图由一个节点集V和边集E构成，节点数量由n表示，边的数量由m表示。表示图的时候一般是使用邻接矩阵和度矩阵。我们由下图设定：
对于图信号向量而言，我们给一个例子：
图信号
每一个地方测量的不同温度，就可以当作图信号的大小，如下方右图所示。
滤波器
我们在图学习过程中对图信号进行操作的过程，一般被称为滤波操作。这个滤波操作的过程一般分为三个步骤：
首先，我们需用图傅里叶变换对信号x进行傅里叶变换，将这个信号x转到频谱域，然后，在频谱域进行滤波操作。最后，我们再进行图傅里叶逆变换转回到频域。在这样一个变换的过程中，ℎ(Λ)/ℎ(λ)被称为滤波器。
那么，我们是否可以对滤波器操作先进行特征值分解，然后直接对滤波器ℎ(λ)进行设计或学习呢？
这样做存在一个很大的问题——特征值分解的时间复杂度太高，在实际使用中不可接受。
当前流行的解决方案：利用多项式来近似滤波器。
多项式滤波器
● 利用多项式近似滤波器
● 对应的滤波操作
图神经网络
▪ 基于空域的多项式滤波器缺乏可解释性！
● GCN[Kipf et al.,2017]
当前最热门的工作GCN，本质上来看是简化了之前的ChebNet所做的工作。GCN的滤波器是由人工手动设定的一个低通滤波器。
图滤波器
之前提到的滤波器要么是学习得到的，要么是人工设定的，对系数没有进行约束。
我们可以发现，它的输出会随着K值的变化而发生震荡，换句话说，它的输出是正负交替的，这是我们不愿看到的。
● Valid的多项式滤波器应该满足：
这个条件看起来很简单，但是现有一些GNN却不满足，如GCN。
● Chebyshev多项式近似不容易满足该条件：
▪ 不能简单地对wk进行限制，因为Tk(λ)存在负值域区间
由此，上述问题引出了我们本次研究的motivation——是否存在多项式滤波器，可以学习/设计任意Valid谱域滤波器？
研究思路
● 在[0,2]上非负的任意多项式可以写成Bernstein多项式的形式：
● 利用Bernstein多项式近似滤波器
由上图，我们可以看出Bernstein基随k变化的形式，并提出了一个新的模型BernNet。
BernNet
利用Bernstein多项式近似滤波器
同样，该方法也是使用多项式去近似滤波器，而避免了特征值分解的过程。用拉普拉斯矩阵直接进行变换，就得到了我们新的GNN模型BernNet，BernNet可以确保我们学到的模型是有效的。
BernNet有下面一个很好的性质。
Bernstein Approximation
我们有下图左边所示滤波器，在[0,2]之间均匀的取k个点。将这k个点得到的值直接作为其系数并乘上Bernstein基再求和，得到的滤波器就是BernNet近似的滤波器。
● 学习任意的滤波器，随着K增大，效果越好
下面的几幅图代表了我们在数据集上学滤波器的操作。我们可以看到随着K的增大，学到的滤波器越是接近真实的滤波器。
● 从优化函数的视角理解GNN模型
z代表输出，x代表图信号，上式可用来解释当前许多GNN模型。
如下图所示，我们解释了BernNet的合理性，即让h(λ)大于等于0，而不是出现负值。
BernNet：实验结果
● 学习图像数据+人工过滤器
我们在一些人工合成的数据集上做了一些实验，我们先将很多张图片过一遍真实的滤波器。
● 学习滤波器（误差/R2得分）
我们用GNN模型对不同的回归任务进行学习，看看能否学到我们给定的真实滤波器。
我们可以发现BernNet在这些数据集上都达到了一个最低的误差，可以看出其误差都是很小的。
● 真实数据集节点分类任务
● 真实数据集节点分类（精确度）
● 学习滤波器
由上图可以看出，MLP就可以达到很好的效果。
我们进一步展示了学到的滤波器和BernNet系数θk的关系，可以看出真实学到的滤波器与θk的曲线形状是非常相似的，这证明了BernNet的可解释性。由此，我们只需观察θk的样子就可以明确看出学到的滤波器是什么样子。
总结
● BernNet是一种新的GNN模型，其为设计和学习任意的图频谱滤波器提供了一种简单且直观的机制。
● BernNet可以近似复杂的滤波器并提供更好的可解释性。
● BernNet在合成数据集和真是数据集都表现出来的很好的效果
整理：林 则
作者：何明国
往期精彩文章推荐
记得关注我们呀！每天都有新知识！
关于AI TIME
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
迄今为止，AI TIME已经邀请了800多位海内外讲者，举办了逾400场活动，超400万人次观看
我知道你
在看
哦
~
点击 阅读原文 查看回放！