Spectral-based graph convolutional neural network

Spectral-based graph convolutional neural network

1. 来自对《A Comprehensive Survey on Graph Neural Networks》的spectral-based GCN部分的翻译

1.1 图卷积的背景(background)

Spectral-based方法在图信号(graph signal processing)处理中已经有了一个非常好的基础。在Spectral-based的模型中，图通常被假定为无向图。对无向图比较鲁棒的表示方法是归一化的拉普拉斯矩阵（Normalized graph Laplacian matrix）,归一化的拉普拉斯矩阵L被定义为：
$$L=I_n-D^{-1/2}A{D}^{-1/2},$$
其中D是图的对角度数矩阵，A为图的邻接矩阵，所以有：
$$D_{ii}=\sum _j(A_{i,j}).$$
归一化的图的拉普拉斯矩阵L是一个实对称的半正定矩阵。根据这个性质，可以将拉普拉斯矩阵L分解为：
$$L=U\Lambda U^T,其中U=[u_0,u_1,u_2,...,u_{n-1}]\in R^{N\times N}$$
上述的表达式中，U是奇异值向量的矩阵。$\Lambda$是奇异值的对角矩阵，$\Lambda$对角线上的每一个元素是一个奇异值${\Lambda }_{ii}={\lambda }_i$。U中的奇异值向量构成了一个正交的空间，因而有性质$U^{T}U=I$。在图信号处理的过程当中。一个图信号$x\in R^N$是一个特征向量，其中每一个元素$x_i$是图中第i个结点的值。

有了上述的定义之后，可以定义图的傅里叶变换（graph Fourier transform）:
$$\overline{x}=\mathcal{F}(x)=U^{T}x$$
图的傅里叶逆变换可以被定义为：
$${\mathcal{F}}^{-1}(\overline{x})=U\overline{x}$$
从图的傅里叶变换的定义中我们可以理解：

1. 图的傅里叶变换是将输入的图信号x映射到由U中的奇异值向量所构成为的正交空间中去。
2. 傅里叶变换的结果$\overline{x}$是图信号在新的空间（由奇异值向量所构成的空间）对应的坐标。
3. 据此，我们可以写出输入的图信号x在新的空间中的表示：
   $$x=\sum _i{\overline{x}}_i{u}_i$$

根据图的傅里叶变换，可以定义图卷积，假设图的 输入信号为x，滤波器为$g\in R^N$，图卷积可以被定义为：
$$x{\ast }_{G}g={\mathcal{F}}^{-1}(\mathcal{F}(x)\odot \mathcal{F}(g))=U(U^{T}x\odot U^{T}g)$$
其中$\odot$表示Hadamard product. 如果换一种表示方法，把$g_{\theta }=diag(U^{T}g)$表示为滤波器，图卷积可以被简化为：
$$x{\ast }_G{g}_{\theta }=U{g}_{\theta }{U}^{T}x$$

以上就是spectral-based的图卷积网络的定义。不同的网络结构在于对滤波器$g_{\theta }$的选择。

1.2 图卷积的方法

1.2.1 Spectral CNN

Bruna ¹大佬提出了第一代的图卷积神经网络（spectral convolutional neural network), 简称Spectral CNN. 论文中假设滤波器为$g_{\theta }={\theta }_{i,j}^k$。${\theta }_{i,j}^k$是一系列的可训练的参数，可以定义图卷积神经网络的一个layer为：
$$X_{:,j}^{k+1}=\sigma (\sum _{i=1}^{f_{k-1}}U{\theta }_{i,j}^k{U}^T{X}_{:,i}^k)(j=1,2,...,f_k)$$
上述的表达式中：

1. $X^k\in R^{N\times f_{k-1}}$是当前层的输入
2. N是图中结点的个数
3. $f_{k-1}$是输入channel的个数$f_{k}是输出channel的个数。
4. ${\theta }_{i,j}^k$是对角矩阵，矩阵对角线上的每一个值都是可学习的参数
5. $\sigma ()$是激活非线性函数

1.2.2 Chebyshev Spectral CNN (chebNet)

Defferrard ² 大佬提出ChebNet. 在论文中，定义滤波器$g_{\theta }$为一系列的切比雪夫(Chebyshev polynomials)多项式。例如：
$$g_{\theta }=\sum _{i=0}^{K-1}{\theta }_i{T}_i(\overline{\Lambda })$$
其中，
$$\overline{\Lambda }=2\Lambda /{\lambda }_{max}-I_N$$
切比雪夫多项式可以通过递归地定义为：
$$T_k(x)=2x{T}_{k-1}(x)-T_{k-2}(x)$$$$T_0(x)=1$$$$T_1(x)=x$$
通过上述对滤波器$g_{\theta }$的定义，可以得到基于切比雪夫多项式的图卷积的表示：
$$x{\ast }_G{g}_{\theta }=U(\sum _{i=0}^{K-1}{\theta }_i{T}_i(\overline{\Lambda }))U^{T}x$$$$=\sum _i^{K-1}{\theta }_i{T}_i(\overline{L})x$$
其中 $\overline{L}=2L_{max}-I_N$

通过基于切比雪夫多项式的图卷积的表示，我们可以发现，chebNet有一个优点，这个优点就是能够避免计算图傅里叶变换的基，从而将图卷积的计算复杂度从$O(N)$减少为$O(KM)$

1.2.3 First order of chebNet (1stChebNet)

Kipf ³ 大佬提出了first-order approximation of ChebNet. 在Chebyshev Spectral CNN的基础上，假设$K=1$和${\lambda }_{max}=2$,从而基于切比雪夫多项式的图卷积可以被简化为:
$$x{\ast }_G{g}_{\theta }={\theta }_{0}x-{\theta }_1{D}^{-1/2}A{D}^{-1/2}x$$
进一步地，为了减少需要训练的参数，可以最进一步的假设$\theta ={\theta }_0={\theta }_1$,这样，卷积可以被进一步地化简为：
$$x{\ast }_G{g}_{\theta }=\theta (I_{\theta }+D^{-1/2}A{D}^{-1/2})x$$
有了上述的表达式之后，可以根据First order of chebNet来定义图卷积神经网络中的一层：
$$X^{k+1}=\overline{A}{X}^k\Theta$$
其中$\overline{A}=I_N+D^{-1/2}A{D}^{-1/2}$

---

Relate Papers

• M. Defferrard, X. Bresson, and P. Vandergheynst, “Convolutional neural networks on graphs with fast localized spectral filtering,” in Advances in Neural Information Processing Systems, 2016, pp. 3844–3852.
• T. N. Kipf and M. Welling, “Semi-supervised classification with graph convolutional networks,” in Proceedings of the International Conference on Learning Representations, 2017.
• M. Henaff, J. Bruna, and Y. LeCun, “Deep convolutional networks on graph-structured data,” arXiv preprint arXiv:1506.05163, 2015.
• R. Li, S. Wang, F. Zhu, and J. Huang, “Adaptive graph convolutional neural networks,” in Proceedings of the AAAI Conference on Artificial Intelligence, 2018, pp. 3546–3553.
• R. Levie, F. Monti, X. Bresson, and M. M. Bronstein, “Cayleynets: Graph convolutional neural networks with complex rational spectral filters,” IEEE Transactions on Signal Processing, vol. 67, no. 1, pp. 97–109, 2017.

参考文献

---

1. J. Bruna, W. Zaremba, A. Szlam, and Y. LeCun, “Spectral networks and locally connected networks on graphs,” in Proceedings of International Conference on Learning Representations, 2014. ↩︎

2. M. Defferrard, X. Bresson, and P. Vandergheynst, “Convolutional neural networks on graphs with fast localized spectral filtering,” in Advances in Neural Information Processing Systems, 2016, pp. 3844–3852. ↩︎

3. T. N. Kipf and M. Welling, “Semi-supervised classification with graph convolutional networks,” in Proceedings of the International Conference on Learning Representations, 2017. ↩︎