Simplifying Graph Convolutional Networks

背景

对图神经网络的简化，WU F, ZHANG T, JR. A H S, et al Simplifying Graph Convolutional Networks. ICML

模型

SGCN (Simplifying Graph Convolutional Networks)是图神经网络的简化。 SGCN指出图神经网络对特征进行邻近节点聚合后相当于多层线性感知机。多层神经网络目的是通过拟合非线性函数划分不同的数据类别。SGCN假定非线性不是GCN层之间的关键，认为GCN最关键的是对于邻居特征的聚合操作。因此SGCN 删除GCN层之间的非线性激活函数，保留最终特征的归一操作，得到线性模型。表示为模型可学习的参数。$\tilde{\mathbf{A}}={\hat{\mathbf{D}}}^{{}^{-\frac{1}{2}}}\hat{\mathbf{A}}{\hat{\mathbf{D}}}^{{}^{-\frac{1}{2}}}$，$\hat{\mathbf{A}}=\mathbf{A}+\mathbf{I}$， $\mathbf{I}$ 表示单位矩阵。
$$\hat{\mathbf{Y}}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\tilde{\mathbf{A}}\cdots \tilde{\mathbf{A}}\tilde{\mathbf{A}}\mathbf{X}{\begin{array}{c}\mathbf{W}\end{array}}^{(1)}{\begin{array}{c}\mathbf{W}\end{array}}^{(2)}\cdots {\begin{array}{c}\mathbf{W}\end{array}}^{(k)})$$

将$\tilde{\mathbf{A}}\cdots \tilde{\mathbf{A}}\tilde{\mathbf{A}}$进行折叠，改写为${\tilde{\mathbf{A}}}^K$，最终${\hat{\mathbf{Y}}}_{\mathrm{S}\mathrm{G}\mathrm{C}}$被表示为:

$${\hat{\mathbf{Y}}}_{\mathrm{S}\mathrm{G}\mathrm{C}}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\tilde{\mathbf{A}}}^K\mathbf{X}\begin{array}{c}\mathbf{W}\end{array})$$
${\hat{\mathbf{Y}}}_{\mathrm{S}\mathrm{G}\mathrm{C}}$表示SGC最终的分类输出结果，$\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\cdot )=\frac{e^{x_i}}{{\sum }_i{e}^{x_i}}$

代码

https://github.com/ChenaniahMe/codes/tree/main/GNN/comsgcn