2.《Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering》论文理解

在 《Spectral Networks and Deep Locally Connected Networks on Graphs》的基础上，
《Convolutional Neural Networks on Graphs
with Fast Localized Spectral Filtering》作出了改进：
作者提出，泛化卷积网络到图上需要以下3个基本的步骤：
（1）在图上设计出局部的卷积核
（2）将的相似节点聚类的图粗化过程
（3）将空间分辨率转化为更高的滤波器分辨率的图池化操作

1.在图上设计出局部的卷积核
定义无向图$G=(V,E,W)$,其中$V$是节点的集合，$|V|=n$，$E$是边的集合，$W$是由节点之间的连接权重得到的邻接矩阵，$D$是度矩阵，并且$D_{ii}={\sum }_j{W}_{ij}$，$L$是图的拉普拉斯矩阵，$L=D-W$。$U=[u_0,...,u_{n-1}]\in R^{n\times n}$是$L$的特征向量矩阵，$\Lambda =diag([{\lambda }_0,...{\lambda }_{n-1}])\in R^{n\times n}$，“${\ast }_g$”表示图上的卷积算子，所以
$$y=x{\ast }_{g}g=U((U^{T}x)⨀(U^{T}g))=U{g}_{\theta }{U}_{T}x\text{\hspace{1em}(1)}$$

其中，$g_{\theta }=diag[(u_0^{T}g,...,u_{n-1}^{T}g)]$,
因为对于$L$来说，特征值和特征向量一一对应，当${\lambda }_i$确定时，$u_i^T$就确定了，所以可以写成$g({\lambda }_i)=u_i^{T}g$，那么
$$g_{\theta }=diag[(g({\lambda }_0),...,g({\lambda }_{n-1}))]=g(diag([{\lambda }_0,...{\lambda }_{n-1}]))=g(\Lambda )=diag(\theta )\text{\hspace{1em}(2)}$$

其中，$\theta \in R^n$，所以$g_{\theta }$是个关于$\Lambda$的函数，所以
$$y=U{g}_{\theta }(\Lambda )U^{T}x\text{\hspace{1em}(3)}$$

由于$g_{\theta }(\Lambda )$是一个关于$\Lambda$的函数，由$K$阶矩阵级数展开得到：
$$g_{\theta }(\Lambda )\approx \sum _{k=0}^{K-1}{\theta }_k{\Lambda }^k\text{\hspace{1em}(4)}$$

将式(4)带入式(1)，得到：
$$y\approx U\sum _{k=0}^{K-1}{\theta }_k{\Lambda }^k{U}^{T}x=\sum _{k=0}^{K-1}{\theta }_k{L}^{k}x=g_{\theta }(L)x\text{\hspace{1em}(5)}$$

其中$(g_{\theta }(L){)}_{i,j}$表示卷积核$g_{\theta }$当中心在节点$i$上时对节点$j$的权值，$d_g(i,j)$表示节点$i,j$之间的最短路径的边的数目，当$d_g(i,j)>K-1$时，$(g_{\theta }(L){)}_{i,j}$的值为0，这意味这在计算节点$i$的邻域节点时，只计算$d_g(i,j)\le K-1$的节点作为邻域进行卷积。
在这里的多项式展开可以利用切比雪夫多项式展开，切比雪夫多项式满足：
$$T_k(x)=2x{T}_{k-1}(x)-T_{k-2}(x)\text{\hspace{1em}(6)}$$

其中，$T_0=1,T_1=x$。
而且切比雪夫多项式$\{T_n(x)\}$在$L^2([-1,1],dy/\sqrt{1-y^2})$为正交基，即${\int }_{-1}^1{T}_n(x)T_m(x)\frac{1}{\sqrt{1-x^2}}dx$=0(当n!=m),$\pi$(当n=m=0),$\pi /2$(当n=m!=0)。所以
$$g_{\theta }(\Lambda )=\sum _{k=0}^{K-1}{\theta }_k{T}_k(\tilde{\Lambda })\text{\hspace{1em}(7)}$$

其中，$\tilde{\Lambda }=2\Lambda /{\lambda }_{max}-I_n$。将$\Lambda$这个对角矩阵规范到$[-1,1]$之间。所以$\tilde{L}=2L/{\lambda }_{max}-I_n$。
令${\overline{x}}_k=T_k(\tilde{L})x$，由式（6）可知：$${\overline{x}}_k=2\tilde{L}{\overline{x}}_{k-1}-{\overline{x}}_{k-1},{\overline{x}}_0=x,{\overline{x}}_1=\tilde{L}x\text{\hspace{1em}(8)}$$

将式（8）带入式（7）推出：
$$y=g_{\theta }(L)x=[{\overline{x}}_0,...{\overline{x}}_{K-1}]\theta \text{\hspace{1em}(9)}$$

到此，其实已经构造完了局部卷积核，原来的卷积公式：$y=U{g}_{\theta }(\Lambda )U^{T}x$，新的卷积公式$y=[{\overline{x}}_0,...{\overline{x}}_{K-1}]\theta$,将求解$g_{\theta }(\Lambda )$部分变为求解$\theta$(即为卷积核的训练参数)，复杂度降低为$O(K)$，并且计算了求解特征矩阵$U$，变为计算$[{\overline{x}}_0,...{\overline{x}}_{K-1}]$,其复杂度为$O(K|E|)$，$|E|$表示图中边的数目。而且这个部分在训练的时候只需要计算一次，只于$x,L$有关，也就是只与输入有关，没有训练参数在其中。
当输入为多通道样本的时候：
$$y_{s,j}=\sum _{i=1}^{F_{in}}{g}_{{\theta }_{i,j}}(L)x_{s,i}=\sum _{i=1}^{F_{in}}[{\overline{x}}_{s,i,0},...{\overline{x}}_{s,i,K-1}]{\theta }_{i,j}\in R^n\text{\hspace{1em}(10)}$$

其中，$s$表示某个样本$s$，$x_{s,i}$表示样本的第$i$个特征，${\theta }_{i,j}\in R^K$表示第$j$个滤波器对样本$s$的第$i$个特征的切比雪夫系数，$\theta \in R^{F_{out}\times F_{in}\times K}=R^{J\times I\times K}$

2.将的相似节点聚类的图粗化过程
在池化操作的时候，需要在图像找到有意义的邻域节点，它们需要有一定的相似性。这里作者使用了$Graclus$分层聚类算法，首先选择了一个未标记的节点$i$,然后从其他未标记的节点中找出最大的局部归一化切割$W_{i,j}(1/d_i+1/d_j)$的节点$j$,将这两个节点进行标记，粗化后的权值等于这两个节点的权值之和，然后重复这个过程直到所有的节点都被标记。这个过程将节点的数量大约减少了一半，并且这个过程中会存在一些孤立节点以及未匹配点。

3.将空间分辨率转化为更高的滤波器分辨率的图池化操作
在池化操作中，需要完成两个步骤：
①：建立一个二叉树
②：重新排列节点变成一维信号
在粗化后，每个节点都将有两个子节点，即前一层粗化中是子节点，求和后得到后一个粗化中的节点。通过粗化创建的二叉树有以下特点：（绿色是常规节点，橙色是孤立节点，蓝色是假节点）
1):常规的节点和孤立节点有两个常规的子节点；图中$g_1$的0节点，它是个孤立节点，$g_1$中没有和它匹配的点，但是它的子节点在$g_0$中是一对配对的节点0,1;
2):孤立节点可以通过添加假节点（未连接的节点，其权值为0）进行配对，成为子节点；图中$g_2$的节点0，它的子节点是$g_1$中的孤立节点0以及假节点1；
3):假节点对应的子节点总都是假节点；
图中$g_1$的节点1，它是由于孤立节点0添加的，所以在$g_0$中的子节点为假节点2,3；

在图中左边部分是粗化过程，初始的图$g_0$有8个节点，并且希望经过第一次粗化得到$g_1$有5个点，所以需要在$g_0$中找到3对匹配的点，剩下的节点作为孤立节点于假节点匹配，得到$g_1$;之后第二次粗化希望$g_2$有3个点，那么需要找到2对匹配的点，然后剩下的孤立点与假节点匹配，在$g_1$中的假节点对应到$g_0$中需要添加两个假节点。到此，完成了粗化的过程。
图的右边是池化的过程，它的过程相当于将$g_0$中的12个节点按照粗化过程中的节点关系排列成为一维信号（$将g_2$节点排成一维信号后，反推出$g_0$中节点的顺序，即建立二叉树的过程），按照传统的池化窗口的形式进行池化操作即可