图神经网络论文阅读(五) Structure-Aware Convolutional Neural Networks，NIPS2018

本文的作者来自中科院自动化所以及中科院大学人工智能学院。
为了拓展卷积操作到非欧图结构，本文提出了structure-aware convolution（结构感知卷积）将非欧式图与欧式图结构之间的差别抹平。从技术上讲，结构感知卷积中的滤波器被推广到单变量函数，该单变量函数能够聚合具有不同拓扑结构的局部输入。由于单变量函数需要确定无数个参数，所以使用函数逼近理论近似代替单变量函数，最终建立起模型Structure-Aware Convolutional Neural Networks(SACNNs)。在11个数据集上的大量实验有力地证明，SACNNs在各种机器学习任务上表现优于现有模型，包括图像分类和聚类、文本分类、基于骨架的动作识别、分子活动检测和出租车流量预测。

Model

Structure-aware convolution

卷积本质上是一个局部输入和滤波器之间的聚合运算。在实际应用中，局部输入不仅涉及输入值，还涉及拓扑结构（狭义的卷积只能聚合网格结构的拓扑图），因此需要泛化filter到一个单变量函数来聚合不同的拓扑结构。首先，用一维数据来阐释这种泛化。

其中，表示结点i的本地输入，i-m
其中，f(·)也叫做functional filter，，。此处的R代表了结点和邻居之间的关系。r∈R意味着（i-m+r）结点是结点i的第r个邻居。R反映了结点的局部关系信息，因此被叫做“局部结构表示”（local structure
representation）。正如公式中所展示的那样，经典的卷积中R是常数，这导致在每个顶点共享相同的fR。因此，经典的卷积仅适用于管理具有相同局部拓扑结构的数据，而不适用于不同拓扑结构的数据。我们可以通过直观的卷积操作来理解：

图中卷积核的大小为3，m=5。|R|=9,也就是说包含了一个结点所有的邻居结点以及他本身的信息。我们假定左上角的结点R=1，那么观察图中的卷积核知道f(1)=1，f(2)=0,f(3)=1······对应到公式里，y = f(1)×x1 + f(2)×x2 + ······f(9)×x9，刚好对应卷积核矩阵与局部感受野矩阵的乘积。
而在非欧空间上，R值并不固定，因此引入的一般结构表示代替经典卷积中的常数R来构建structure-aware convolution。

公式中的Ri随着不同的结点而发生变化，得益于这种修改，结构感知卷积能够将具有不同拓扑结构的局部输入聚合起来。并且，由于r_ij≠r_ji，所以SACNN也可以建模有向图。最终，structure-aware convolution如下面的公式定义：

Structure-aware convolutional neural networks

SACNN存在两个至关重要的问题：首先单变量的卷积操作需要学习无数个参数，需要提出一种逼近的方式快速学习；第二，局部结构表示(或关系矩阵R)可能很难预先定义，因此需要一种学习机制。
在函数逼近理论的指导下，用可学习参数对所开发的functional filter进行参数化，本文采用了切比雪夫多项式来近似代替。这样就只需要学习切比雪夫多项式里的参数（v_k）就行了：

其中t是截断多项式的个数，这也是后期需要调整的超参数。需要注意的是，这个切比雪夫多项式（截断）对应着狭义CNN里的filter，因此是被所有location所共享的。
有了functional filter的近似代替，接下来定义Local structure representations，也就是R：

其中M（c×c）就是需要学习的参数矩阵，它整合了结点i和i的location之间的关系。模型的输入是multi-channel的feature map：，n表示结点数，c表示channel数。T(·)是Tanh。正如前文所讨论的，此学习方法具有两个优点：

1. 参数共享，减少训练所需的参数。
2. r_ji可能不等于r_ij，因此可用于建模有向图。

经过简化，structure-aware convolution等价于：

其中表示切比雪夫多项式的系数，是由local structure表示Ri以及多项式确定的矩阵，是结点的local input。structure-aware convolution将卷积操作分为两个部分：Pi表示将m维的矩阵x压缩为t维度，Pi中聚合了邻域的结构信息。这部分相当于将不标准的图结构统一化表示。第二部分 与普通的卷积相同，使用共享参数v来聚合编码之后的局布输入。最终模型的结构图如下：

首先，假设输入是6*2（6个结点，2channel）。对于每个结点，都有假定的r值来表示structure-aware特征。对于结点1来说，一共r11,r21,r31三个邻居关系（要计算本身）。因此对于channel1，就使用单变量函数f1将不同的邻居信息映射为R。而且对于同一个channel1中的r66和r46，依然使用f1来映射，这样同一个channel之中的结构就做到了参数共享。之后，使用切比雪夫多项式的截断来逼近（图中并未给出）之后就可以得到估计值yi了。

Experiments

试验在6个欧式数据以及5个非欧数据集上验证了模型的效果，对比了CNN与GCNN作为对比的基线算法。同时，以忽略结构学习的SACNNs作为对比，验证结够学习的有效性。其Ri是通过均匀采样的方式得到的，而不是学习而来。
参数设置：欧式空间使用最大池化；非欧使用[1]中介绍的操作。RELU作为激活函数，输入使用批正则化。参数的初值通过U(-0.1,0.1)的正态分布来随机生成。多项式t的数量设置为度中心性最大的结点的度。优化的时候采取Adam，设置学习率为0.001。分类任务使用交叉熵作为损失函数；回归任务则使用前文定义的LOSS。
Table1将SACNN处理欧式空间数据的能力与其他的CNN模型作了比较。

Figure2四种典型的转换来干扰Mnist中的测试数据，包括高斯噪声、旋转、移位和尺寸，来验证SACNN的鲁棒性。同时，使用normalized total variation[2]比较了filter的平滑程度。

Table3展示了处理非欧式空间数据的能力。

Ablation study

Figure3中每一个子图都代表了一种变量更改之后的模型效果对比。

（a）通过增加多项式数量t，效果逐渐变好，但是数量过大就会饱和。
（b）通道数的增加有利于所有模型，但是SACNN效果更好，因为相比于SACNNs，前者聚合了的结构信息。
（c）少量数据的预训练使得模型可以迁移到新的数据集并保持良好的效果。
（d）适合半监督的任务，少量的标记样本提升可以带来更好的效果。
（e）使用不同的basis函数（f）对模型的影响：用Legendre多项式代替切比雪夫多项式，效果差别不大。说明模型对basis函数是鲁棒的。
（f）将ResNets的经典卷积替换为结构感知卷积可以得到更好的改善。这充分证明了结构感知卷积足以应用于一般的ClaCNNs，而不局限于简单和浅层网络。
（g）通过使用U(-α，α)的正态分布初始化参数使得模型的速度收敛更快。可能是因为filter共享参数，可以通过基地系数的调整来共同修正。
（h）探究每一层的参数分布。首先，SACNNs和ClaCNNs的参数具有几乎相同的标准差。第二，SACNNs的参数期望比ClaCNNs更接近于0。因为SACNNs的参数分布更为稀疏，因此模型也具有更好的鲁棒性。

【1】I. S. Dhillon, Yuqiang Guan, and Brian Kulis. Weighted graph cuts without eigenvectors A multilevel approach. IEEE Trans. Pattern Anal. Mach. Intell., 29(11):1944–1957, 2007.
【2】Avraham Ruderman, N. C. Rabinowitz, A. S. Morcos, and Daniel Zoran. Learned deformation stability in convolutional neural networks. CoRR, abs/1804.04438, 2018.