文献阅读19期：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

[ 文献阅读·图卷积网络 ] SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS [1]

推荐理由：用巧妙的方法推出层与层之间的传播规则，很好地实现了半监督节点分类。

1.摘要&简介

• 本文的“半监督”，首先体现在损失函数上，加入监督损失的损失函数长这样：
  $$\mathcal{L}={\mathcal{L}}_0+\lambda {\mathcal{L}}_{\mathrm{r}\mathrm{e}\mathrm{g}}$$
  其中，${\mathcal{L}}_0$为监督损失项，而${\mathcal{L}}_{\text{reg }}$的其具体表达式为：
  $${\mathcal{L}}_{\text{reg }}=\sum _{i,j}{A}_{ij}{\Vert f\left(X_i\right)-f\left(X_j\right)\Vert }^2=f(X{)}^{\top }\Delta f(X)$$
• 本文的工作有两部分组成：
  1. 提出一种简单且性能良好的直接作用于图的神经网络模型的逐层传播规则，并展示了如何从谱图卷积的一阶近似中激发它。
  2. 这种基于图的神经网络模型用于图中节点的快速和可伸缩的半监督分类。

2. 图的快速近似卷积

• 首先来看一下本文的层与层的传播规则：
  $$H^{(l+1)}=\sigma \left({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{(l)}{W}^{(l)}\right)\text{\hspace{1em}(2)}$$
  其中$\tilde{A}=A+I_N$，${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$，$H^{(0)}=X$，$\sigma (\cdot )$代表任何激活函数，比如ReLU等等。

2.1.谱图卷积

• 谱图卷积一般定义为信号$x\in {\mathbb{R}}^N$，与参数为$\theta \in {\mathbb{R}}^N$的滤波器$g_{\theta }=\mathrm{diag}(\theta )$的乘积：
  $$g_{\theta }\star x=U{g}_{\theta }{U}^{\top }x\text{\hspace{1em}(3)}$$
  其中$U$是标准化图拉普拉斯的特征向量，$\Lambda$是其特征值，$U^{\top }x$是信号x的图傅里叶变换。
• 标准化的图拉普拉斯的定义为：$L=I_N-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}=U\Lambda U^{\top }$，那$g_{\theta }$就可以理解为L特征值的函数$g_{\theta }(\Lambda )$。
• 但是式3的计算时间复杂度确实很高，所以本文引用了一个近似方法-切比雪夫多项式截断：
  $$g_{{\theta }^{\prime }}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\Lambda })\text{\hspace{1em}(4)}$$
  其中$\tilde{\Lambda }=\frac{2}{{\lambda }_{\max }}\Lambda -I_N$，而切比雪夫多项式被定义为一种递归式：$T_k(x)=2x{T}_{k-1}(x)-T_{k-2}(x)$，且$T_0(x)=1$以及$T_1(x)=x$
• 则易得：
  $$g_{{\theta }^{\prime }}\star x\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{L})x\text{\hspace{1em}(5)}$$
  其中$\tilde{L}=\frac{2}{{\lambda }_{\max }}L-I_N$，其时间复杂度直接从$\mathcal{O}\left(N^2\right)$降为$\mathcal{O}(|\mathcal{E}|)$

2.2.层层递进的线性模型

• 近似到${\lambda }_{\max }\approx 2$时，式5可以被简化为：
  $$g_{{\theta }^{\prime }}\star x\approx {\theta }_0^{\prime }x+{\theta }_1^{\prime }\left(L-I_N\right)x={\theta }_0^{\prime }x-{\theta }_1^{\prime }{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x\text{\hspace{1em}(6)}$$
  则进一步有：
  $$g_{\theta }\star x\approx \theta \left(I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\right)x\text{\hspace{1em}(7)}$$
  这种形式就是一开始展现过的层与层之间传递的形式。

3.半监督节点分类

3.1.Example

• 首先计算：$\hat{A}={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$，然后便是前向传播：
  $$Z=f(X,A)=\mathrm{softmax}\left(\hat{A}\mathrm{ReLU}\left(\hat{A}X{W}^{(0)}\right)W^{(1)}\right)\text{\hspace{1em}(9)}$$
  在此基础上规定一个Cross-entropy loss：
  $$\mathcal{L}=-\sum _{l\in {\mathcal{Y}}_L}\sum _{f=1}^F{Y}_{lf}\ln Z_{lf}\text{\hspace{1em}(10)}$$

4.论文实验

参考文献

[1] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.