对图神经网络的过平滑问题的一点粗浅见解(真·很肤浅的看法)

针对图信号的低通滤波特性:
对图神经网络的过平滑问题的一点粗浅见解(真·很肤浅的看法)_第1张图片
不好意思放错了,是这个:
对图神经网络的过平滑问题的一点粗浅见解(真·很肤浅的看法)_第2张图片
(请忽略我寒酸的草稿纸和顺时针90°的格式…貌似CSDN的编辑器没有能旋转的功能呢)
不影响不影响,截图然后旋转就行啦(涩图都给你们了,别在意这些细节~)

发现这个图信号在和其特征矩阵做相似性度量的内积。而在图谱领域里,节点的图信号与特征向量做内积其结果就是图的傅里叶变换,也由此有图的拉普拉斯矩阵: L x = V λ V T x = < x ⋅ v > v = x ^ v Lx = V\lambda V^Tx=v=\hat xv Lx=VλVTx=<xv>v=x^v
后一项就是对图的傅里叶变换做逆变换,所以输出的图信号可以写成若干以傅里叶变换基向量(没错,ko no 特征向量 da)和对应的若干图信号的加权多项式: x = ∑ k = 1 N x ^ k v k x = \sum_{k=1}^N \hat x_k v_k x=k=1Nx^kvk

发现问题了吧!叠加过多的GNN_layer会导致多项式最后趋向于图中的某一个节点的特征(一般是选择的第一个节点的特征,所以上面的特征值矩阵 d i a g = [ 1 , 0 , 0 , . . . , 0 ] diag=[1,0,0,...,0] diag=[1,0,0,...,0]
所以不能叠加很多GNN?

(目力一票大佬们正在赶来锤我的路上,我躺好了)

你可能感兴趣的:(NLP)