图卷积神经网络的一些理解和推导整理

拉普拉斯算子

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

方向导数是在$z=f(x,y)$的曲面沿着$\rho$方向的导数，$\alpha$为$\rho$和x轴的夹角，$\beta$为$\rho$和y轴的夹角

$\frac{dz}{d\rho }=\frac{\partial z}{\partial x}\frac{dx}{d\rho }+\frac{\partial z}{\partial y}\frac{dy}{d\rho }=\frac{\partial z}{\partial x}\cos \alpha +\frac{\partial z}{\partial y}\cos \beta$

公式变成向量的形式，$\gamma$是向量$(\frac{\partial z}{\partial x},\frac{\partial z}{\partial y})$和向量$(\cos \alpha ,\cos \beta )$之间的夹角

$\frac{dz}{d\rho }=(\frac{\partial z}{\partial x},\frac{\partial z}{\partial y})(\cos \alpha ,\cos \beta )=|(\frac{\partial z}{\partial x},\frac{\partial z}{\partial y})||(\cos \alpha ,\cos \beta )|\cos \gamma$

显然当$\gamma$为0度的时候，当$\rho$沿着$(\frac{\partial z}{\partial x},\frac{\partial z}{\partial y})$的时候，导数取最大值。按照定义$(\frac{\partial z}{\partial x},\frac{\partial z}{\partial y})$就是梯度（这是二维的情况）推广到三维就是设三元函数$u=f(x,y,z)$

$grad(u)=\{\frac{\partial u}{\partial x},\frac{\partial u}{\partial y},\frac{\partial u}{\partial z}\}=\frac{\partial u}{\partial x}i+\frac{\partial u}{\partial y}j+\frac{\partial u}{\partial z}k$

散度可用于表征空间各点矢量场发散的强弱程度。物理上，散度的意义是场的有源性。当div F>0 ，表示该点有散发通量的正源（发散源）；当div F<0 表示该点有吸收通量的负源（洞或汇）；当div F=0，表示该点无源。

散度其实描述的就是一个点的单位时间内通过的量，比如一个下水道你需要把单位时间进入水道的量（这里肯定是x和y方向上的）和单位时间出水道的量（这里是z方向上的）全加起来。散度也是个标量。在笛卡尔坐标系下散度公式为

$divF=\frac{\partial F}{\partial x}+\frac{\partial F}{\partial y}+\frac{\partial F}{\partial z}$

另外不在笛卡尔坐标系下，可以通过高斯散度公式得出非坐标版本的散度公式。

拉普拉斯算子是欧式空间下的二阶算子，定义是$\Delta f=div(grad(f))$先进行梯度计算再进行散度计算

$\Delta f=\frac{{\partial }^{2}f}{\partial x^2}+\frac{{\partial }^{2}f}{\partial y^2}+\frac{{\partial }^{2}f}{\partial z^2}$

在离散的情况下拉普拉斯算子，一阶的导数可以说是图像像素之间的变化值，二阶可以说是像素之间的变化率（就像速度和加速度一样）

$\frac{\partial f}{\partial x}=f^{\prime }(x)=f(x+1)-f(x)$

$\frac{{\partial }^{2}f}{\partial x^2}=f^{\prime \prime }(x)=f^{\prime }(x)-f^{\prime }(x-1)=f(x+1)+f(x-1)-2f(x)$

对于二维来说拉普拉斯算子可以表示为

$\Delta f=\frac{{\partial }^{2}f}{\partial x^2}+\frac{{\partial }^{2}f}{\partial y^2}=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x)$

拉普拉斯算子最后进行的是散度计算，可以理解为把所有变化率相加了。当$\Delta f>0$的时候可以说$(x,y)$点相对于四周来说总的是往上趋势，也就是自身处于一个低地势。$\Delta f<0$的时候可以说$(x,y)$相对于四周是向下的趋势，自身处于一个高地势。

这种思想有了图像中的拉普拉斯算子$\left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right]$普拉斯算子是用于图像锐化的，可以突出边缘。

拉普拉斯矩阵

同样的思想推广到图论中假设有$N$个节点的图$G$，在节点$i$上函数$f$的值为$f_i$，每一个节点类比与图像中的每一个像素点。设$i,j\in N$从$j$变化到$i$的增益是

$\Delta f_i={\sum }_{j\in N}{W}_{ij}(f_i-f_j)$

因为不相连接的节点权重$W$为0所以只表示相连部分

$\Delta f_i={\sum }_{j\in N}{W}_{ij}{f}_i-{\sum }_{j\in N}{W}_{ij}{f}_j$

$\Delta f_i=d_i{f}_i-W_{i,:}{f}_j$ $d_i$是点$i$的度

$\Delta f=\left(\begin{array}{c}\Delta f_1\\ \Delta f_2\\ ...\\ \Delta f_N\end{array}\right)=\left(\begin{array}{c}{d}_i{f}_i-W_{i,:}{f}_1\\ d_i{f}_i-W_{i,:}{f}_2\\ ...\\ d_i{f}_i-W_{i,:}{f}_N\end{array}\right)=\left(\begin{array}{ccc}{d}_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & d_N\end{array}\right)f-\left(\begin{array}{c}{W}_{1,:}\\ W_{2,:}\\ ...\\ W_{N,:}\end{array}\right)f$

$=(D-W)f$

$=Lf$

直观上来讲，图拉普拉斯反映了当我们在节点$i$上施加一个势，这个势以哪个方向能够多顺畅的流向其他节点$D-W=L$也就是拉普拉斯矩阵，D是入度矩阵，W是邻接矩阵。拉普拉斯矩阵是实对称矩阵可以特征分解

$f^{T}Lf=f^{T}Df-f^{T}Wf={\sum }_{i=1}^N{d}_i{f}_i^2-{\sum }_{i=1}^N{\sum }_{j=1}^N{f}_i{f}_j{W}_{ij}$

$=\frac{1}{2}({\sum }_{i=1}^N{d}_i{f}_i^2-2{\sum }_{i=1}^N{\sum }_{j=1}^N{f}_i{f}_j{W}_{ij}+{\sum }_{j=1}^N{d}_j{f}_j^2)$

$=\frac{1}{2}({\sum }_{i=1}^N({\sum }_{a=1}^N{W}_{ia})f_i^2-2{\sum }_{i=1}^N{\sum }_{j=1}^N{f}_i{f}_j{W}_{ij}+{\sum }_{j=1}^N({\sum }_{b=1}^N{W}_{ib})f_j^2)$

$=\frac{1}{2}({\sum }_{i=1}^N{\sum }_{j=1}^N{W}_{ij}{f}_i^2-2{\sum }_{i=1}^N{\sum }_{j=1}^N{f}_i{f}_j{W}_{ij}+{\sum }_{j=1}^N{\sum }_{i=1}^N{W}_{ji}{f}_j^2)$

$=\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{W}_{ij}(f_i^2-2f_i{f}_j+f_j^2)$

$=\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{W}_{ij}(f_i-f_j{)}^2$

归一化拉普拉斯

Random walk normalized Laplacian

$L_{ij}^{rw}=\{\begin{array}{c}-\frac{1}{deg(i)},if(i,j)linkedi\to j,i\ne j\\ 0,if(i,j)notlinkedi\nrightarrow j,i\ne j\\ 1,i=j,deg(i)\ne 0\end{array}$

Symmetric normalized Laplacian

$L_{ij}^{sym}=\{\begin{array}{c}-\frac{1}{\sqrt{deg(i)deg(j)}},if(i,j)linkedi\to j,i\ne j\\ 0,if(i,j)notlinkedi\nrightarrow j,i\ne j\\ 1,i=j,deg(i)\ne 0\end{array}$

$L^{sym}=I_n-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$

$D$为度矩阵，A为邻接矩阵满足$D_{ii}={\sum }_j(A_{ij})$

$L^{sym}$归一化拉普拉斯矩阵是半正定矩阵可以进行PSD

$L=U\Lambda U^T$其中$U=[u_0,u_1,u_2,...,u_{n-1}\in R^{N\times N}]$U中的奇异值向量构成了一个正交的空间，因而有性质$U^{T}U=I$

傅立叶变换

傅里叶变换是一种线性积分变换，用于信号在时域（或空域）和频域之间的变换，经傅里叶变换生成的函数$\hat{f}$称作原函数$f$的傅里叶变换、亦称频谱。在许多情况下，傅里叶变换是可逆的，即可通过$\hat{f}$得到其原函数$f$

傅立叶认为任何周期函数都可以是sin和cos函数的求和得到

$f(t)=\frac{a_0}{2}+\sum a_n\sin (n\omega t+{\phi }_n)=\frac{a_0}{2}+\sum a_n\sin n\omega t+\sum b_n\cos n\omega t$

其中标准正交基$(1,\sin n\omega t,\cos n\omega t)$

欧拉公式$cos\theta +isin\theta =e^{i\theta }$ 令$\theta =\omega t$

$F_T={\int }_{-\infty }^{+\infty }f(t)e^{-j\omega t}dt$ 其中$e^{-j\omega t}$代表了一种正交基的组合，如果$f(t)$中含有$\omega$信号那相乘值就不为0，其他不是$\omega$频率信号与这一组正交基相乘就是为0。

$F_T$计算出来后其中实树部分是随频率的信号强度，复数部分代表相位。

$f(t)={\int }_{-\infty }^{+\infty }{F}_T(\omega )e^{j\omega t}d\omega$ 傅立叶逆变换

$x_n={\sum }_{k=0}^{N-1}{X}_k{e}^{-j\frac{2\pi }{N}kn}n=0,...,N-1$ 离散傅立叶变换

图傅立叶到图卷积

我们知道傅立叶变换的本质是与$e^{-jwt}$（不同的正交基）做内积，相同频率做内积不为0（正交基一样），不同频率（正交基不一样）做内积为0。

从基函数的角度$e^{-j\omega t}$是解拉普拉斯算子方程得到的特征方程得到的

$\{\begin{array}{c}AV=\lambda V\\ A=\Delta \end{array}=>V=e^{-j\omega t}$ ，我们把$V$反带入方程即可证明

$\Delta e^{-jwt}=\frac{{\partial }^2}{{\partial }^{2}t}{e}^{-jwt}=-w^2{e}^{-jwt}$

它其实就是拉普拉斯算子方程的特征矩阵，也算作一组基。所以可以拿$e^{-j\omega t}$做内积

我们推广到图上正交基很显然就是laplace矩阵的特征向量，对于图上的傅立叶变换可以表示为

$\hat{f}={\sum }_{i=1}^N{f}_i{u}_{li}^{\ast }$

$u_{li}^{\ast }$是第$l$个特征向量(特征值${\lambda }_l$对应的特征分量)的第$i$分量

$f={\lambda }_1{u}_1+\cdots +{\lambda }_l{u}_l+\cdots +{\lambda }_N{u}_N$

$f_i$如果含有$u_l$的分量内积不为0，与其他的特征分量做内积是为0的

上述的傅立叶变换公式可以写成矩阵的形式,$U$是laplace矩阵PSD后的的特征向量矩阵

再下面公式中每一行都代表了一个特征值得出的特征向量（所以转置），其中$U_{i,j}$中$i$代表第几个特征值，$j$代表每一个特征向量有$j$个属性

$\left(\begin{array}{c}\widehat{f_1}\\ \widehat{f_2}\\ ⋮\\ \widehat{f_N}\end{array}\right)=\left(\begin{array}{ccccc}{u}_{1,1}& u_{1,2}& \cdots & u_{1,N}& \\ u_{2,1}& u_{2,2}& \cdots & u_{2,N}& \\ ⋮& ⋮& ⋮& ⋮& \\ u_{N,1}& u_{N,2}& \cdots & u_{N,N}& \end{array}\right)\left(\begin{array}{c}{f}_1\\ f_2\\ ⋮\\ f_N\end{array}\right)$

$\hat{x}=U^{T}x$

$x=U\hat{x}$ 傅立叶逆运算

我们就可以定义图上的卷积，它就是简单的两个变换的乘积然后再逆变换$\odot$是对应相乘

$y\ast x=U((U^{T}y)\odot (U^{T}x))$

$\left(\begin{array}{c}{y}_1\\ ⋮\\ y_n\end{array}\right)\odot \left(\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right)=\left(\begin{array}{ccc}{y}_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & y_n\end{array}\right)\left(\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right)$

在卷积的时候可以把$U^{T}y$可以看作一个可以学习的卷积核$\theta$简化为一个对角矩阵$g_{\theta }$ ，设$g_{\theta }=diag(\theta )$为对角矩阵。把对角矩阵带入运算。后面各种图卷积都是在$g_{\theta }$上做文章

$(y\ast x{)}_{\theta }=U{g}_{\theta }{U}^{T}x$

图卷积

Spectral-based的模型中，图通常被假定为无向图。对无向图比较鲁棒的表示方法是归一化的拉普拉斯矩阵（Normalized graph Laplacian matrix）,归一化的拉普拉斯矩阵L被定义为$L=I_n-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$

GCN第一代公式（最基本的图卷积公式）

$X_{:,j}^{k+1}=\sigma ({\sum }_{i=1}^{f_{k-1}}U{\theta }_{i,j}^k{U}^T{X}_{:,i}^k),j=1,2,...,k$

${\theta }_{i,j}^k$可学习参数组成的对角矩阵

$f_{k-1}$是输入channel的个数,$f_k$是输出的channel个数。对于每一个输入的卷积核（k个卷积核之一）求卷积会把输入通道中每一个做卷积然后再求和

$\sigma ()$激活函数比如relu

$X^k$输入层，$X^{k+1}$输出层

GCN第二代公式

因为拉普拉斯矩阵的PSD分解$U\lambda U^T=L$所以我们把$g_{\theta }$这个卷积核看成是

$\left(\begin{array}{cccc}{\sum }_{j=0}^K{\alpha }_j{\lambda }_1^j& & & \\ & {\sum }_{j=0}^K{\alpha }_j{\lambda }_2^j& & \\ & & \cdots & \\ & & & {\sum }_{j=0}^K{\alpha }_j{\lambda }_N^j\end{array}\right)={\sum }_{j=0}^K{\alpha }_j{\Lambda }^j$

$j$代表的是多项式的次方，我们把卷积核中的每个值看作是通过拉普拉斯矩阵特征值的多项式计算得到${\theta }_{i,i}=F({\lambda }_i)$

代入图卷积公式

$(y\ast x{)}_{\theta }=U{\sum }_{j=0}^K{\alpha }_j{\Lambda }^j{U}^{T}x$

$={\sum }_{j=0}^K{\alpha }_{j}U{\Lambda }^j{U}^{T}x$

$={\sum }_{j=0}^K{\alpha }_j{L}^{j}x$

这个时候计算的复杂度大大降低$K$比$N$小的多而且不用再算$U$

Chebyshev Spectral CNN

切比雪夫多项式

$T_0(x)=1$

$T_1(x)=cos\theta =x$

$T_2(x)=cos2\theta$

$T_3(x)=cos3\theta$

$⋮$

$T_n(x)=cosn\theta$

由于多倍角展开公式

$cosn\theta =2cos\theta cosn\theta -cos(n-1)\theta$

$T_n$满足递推关系式$T_{n+1}(x)=2x{T}_n(x)-T_{n-1}(x)$

$T_0(x)=1$ $T_0(\tilde{L})=I_N$

$T_1(x)=x$ $T_1(\tilde{L})=\tilde{L}$

$T_2(x)=2x^2-1$ $\vdots $

$T_3(x)=4x^3-3x$

$T_4(x)=8x^4-8x^2+1$

切比雪夫的重要性质：(1)$x_n$的系数是$2^{n-1}$; (2)只有偶(奇)次项只含有偶(奇)次方

定义$g_{\theta }$为切比雪夫多项式用于逼近（主要为了节约计算）

$g_{{\theta }^{\prime }}\approx {\sum }_{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\Lambda })$

其中$\tilde{\Lambda }=\frac{2}{{\lambda }_{max}}\Lambda -I_N$，${\lambda }_{max}$代表$L$的最大特征值，这个rescale是为了保证范围在$[-1,1]$

${\theta }^{\prime }\in R^K$是切比雪夫系数vector

因为切比雪夫是可以迭代运算的再一次下降了计算复杂度

$g_{{\theta }^{\prime }}\star x\approx {\sum }_{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{L})x$，这里的$\star$是卷积的意思

参考

https://zhuanlan.zhihu.com/p/81502804谱聚类方法推导和对拉普拉斯矩阵的理解

https://zhuanlan.zhihu.com/p/60962304图卷积神经网络(Graph Convolutional Network, GCN)

https://www.zhihu.com/question/54504471如何理解 Graph Convolutional Network（GCN）

https://www.zhihu.com/question/346245009傅里叶变换具有卷积定理，和傅里叶基函数是拉普拉斯算子的特征函数，之间有什么关系？

http://liao.cpython.org/scipy09/ SciPy切比雪夫多项式逼近

https://blog.csdn.net/ppdouble/article/details/91785697拉普拉斯矩阵

https://blog.csdn.net/qq_24699745/article/details/100640256基于谱方法的图卷积(卷积，图卷积，切比雪夫图卷积)

https://blog.csdn.net/qq_34650111/article/details/89920461Spectral-based graph convolutional neural network

《SEMI -SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》论文