图神经网络中的谱变换

(1)图G的拉普拉斯矩阵设为L,由于其是一个实对称矩阵,故可以被正交对角化,即L=V\wedge V^T(其中V是L的n个特征向量构造的正交特征矩阵,\wedge是V中特征向量对应的特征值)。同时,L作为图位移算子(空域角度,特殊的邻接矩阵),也在聚合节点的邻居特征中充当了图滤波器(频域角度)的角色。

(2)对于任意一个在图G上的信号x,其傅里叶变换为\tilde{x}=V^Tx,这里将特征矩阵V称为傅里叶基,而\tilde{x}是在傅里叶基上的傅里叶系数。

(3)由于V是一个正交矩阵,对上面(2)中的\tilde{x}=V^Tx左乘V,则有V\tilde{x}=VV^Tx=x,该过程称为傅里叶逆变换。

(4)在图信号处理中,我们将图滤波器定义为将图信号的频谱中各个频率分量的强度进行增强或者衰减。设图滤波器为H,输出信号为y,则:

           y=Hx=\sum^{N}_{k=1}(h(\lambda_k)\tilde x_{k}) v_k=V\begin{bmatrix} h(\lambda _1) & & & \\ &h(\lambda _2) & & \\ & & ... & \\ & & & h(\lambda _k) \end{bmatrix}\begin{bmatrix} \tilde x_1\\ \tilde x_2\\ ...\\ \tilde x_k \end{bmatrix}=V\begin{bmatrix} h(\lambda _1) & & & \\ &h(\lambda _2) & & \\ & & ... & \\ & & & h(\lambda _k) \end{bmatrix}V^Tx 

                                            H=V\begin{bmatrix} h(\lambda _1) & & & \\ &h(\lambda _2) & & \\ & & ... & \\ & & & h(\lambda _k)\end{bmatrix}V^T=Vh(\lambda)V^T=V\wedge_hV^T

我们称\wedge_h为图滤波器H的频率响应矩阵,对应的函数h(\lambda)为H的频率响应函数。

(5)我们对H进行泰勒展开,有

                                          H=Vh(\lambda)V^T=V\wedge_hV^T\approx V(h_0\wedge^0+h_1\wedge^1+h_2\wedge^2+...+h_k\wedge^k)V^T

         同时:

                                                V(h_0\wedge^0+h_1\wedge^1+h_2\wedge^2+...+h_k\wedge^k)V^T\\=Vh_0\wedge^0V^T+Vh_1\wedge^1V^T+Vh_2\wedge^2V^T+...+Vh_k\wedge^kV^T\\=h_0V\wedge^0V^T+h_1V\wedge^1V^T+h_2V\wedge^2V^T+...+h_kV\wedge^kV^T

          而对于V\wedge^kV^T,有:

                                                V\wedge^kV^T\\=V(\wedge I)^{k}V^T\\=V(\wedge V^TV)^{k}V^T\\=V\wedge( V^TV)\wedge( V^TV)\wedge( V^TV)...\wedge( V^TV)V^T\\=(V\wedge V^T)(V\wedge V^T)(V\wedge V^T)(V\wedge V^T)...(V\wedge V^T)VV^T\\=(V\wedge V^T)^k\\=L^k

         所以,H可以写作泰勒级数形式(实际使用中,很多用进一步的切比雪夫多项式):

                                                    H=h_0L^0+h_1L^1+h_2L^2...+h_kL^k=\sum_{k=0}^{K}h_kL^k

  后续知识点,可以详见:

  https://blog.csdn.net/qq_40931181/article/details/89321770

  https://github.com/wangyouze/GNN-algorithms

(6)为什么要用拉普拉斯矩阵进行图卷积呢?因为拉普拉斯算子\bigtriangledown ^2是源特征(或原函数)在所有维度(方向)上进行微小变化后所获得的增益(变化)。对于图网络中的任意一点,该点上的拉普拉斯增益表示在所有邻接方向上的变化,可以计算(表示)为图拉普拉斯矩阵L与该点表示x的点积,这一特点同样推广到整张图。由于傅里叶变换是拉普拉斯谱分解的子形式,因此进一步可以表示成傅里叶变换的方式V\wedge V^Tx,具体的学习程度则要根据目标来确定卷积核参数(h(\lambda)=g(\wedge)或者\theta L)。具体的原理和推导过程可见:https://mp.weixin.qq.com/s/7KD8i8YqhhRfW-_y3AphnQ

 

你可能感兴趣的:(深度学习,机器学习)