论文笔记之AM-GCN: Adaptive Multi-channel Graph Convolutional Networks

AM-GCN: Adaptive Multi-channel Graph Convolutional Networks

文中提出在复杂网络中，现有的GCN方法融合节点属性信息和网络拓扑结构信息并不令人满意，并通过几个实验证实了这一观点。
文中提出了AM-GCN(Adaptive Multi-channel Graph Convolutional Networks)模型，增强融合节点属性信息和网络拓扑结构信息的capability.
文中intro部分有一句话很有意思，值得思考。The enormous success of GCN is partially thanks to that GCN provides a fusion strategy on topological structures and node features to learn node embedding, and the fusion process is supervised by an end-to-end learning framework.

AM-GCN的核心想法是，学习节点的embedding同时基于:1.节点属性信息 2.网络拓扑结构信息 3.两者的联系

文中给出了两个case来说明GCN不能自适应的从节点属性和网络结构中抽取信息。Case1:随机的拓扑结构和与label相关的节点属性. Case2:随机的节点属性和与label相关的拓扑结构. 在这两个case下，GCN都没有表现出很好的performance，从而印证了作者的观点。

AM-GCN: THE PROPOSED MODEL

AM-GCN的模型结构如上图，由三部分组成，分别是拓扑空间(原先的网络拓扑结构)、特征空间(由节点特征构建的图)、拓扑空间和特征空间参数共享的卷积模块。在属性图上学到表征ZF，在拓扑图上学到表征ZT，在参数共享的common convolution module学到表征ZCF和ZCT，约束项Lc使ZCF与ZCT更加相似，约束项Ld使ZF与ZCF以及ZT和ZCT更加不相似。最后使用attention机制，来结合各个embedding。

Specific Convolution Module

属性图采用的是节点属性的KNN图。KNN图的距离可以有多种度量方式，文中举了两个例子

之后选择每个节点的top k neighbor来构建KNN graph。
之后的GCN就是一个标准的GCN操作，

可以得到ZF和ZT。

Common Convolution Module

为了捕捉属性空间和拓扑空间之间的联系，文中使用参数共享的GCN来得到两个空间共享的embedding。其实就是使用共享的参数矩阵W再属性图和拓扑图上分别做GCN

得到ZCT和ZCF后，两个空间的common embedding ZC为

Attention Mechanism

使用attention机制来学习ZT、ZF、ZC的重要性。以node i的ZT为例，attention weight的计算方式如下：

最后，对三个attention weight用softmax做归一化。

最终的embedding Z为

Objective Function

Consistency Constraint

ZCT与ZCF虽然共享了参数矩阵W，文中加入了约束项来进一步确保它们的一致性。
对embedding matrix做L2-norm得到ZCTnor和ZCFnor，从而可以得到相似度矩阵ST和SF

通过ST和SF的相似来约束两者embedding matrix的一致性。具体的约束项为

Disparity Constraint

为了确保ZT和ZCT能够捕捉不同的信息，加入了差异约束。(符号的具体含义可见原论文)

同理，对于ZF和ZCF，有约束项

最终的disparity constraint为

Optimization Objective

最终对embedding Z做softmax得到预测值，节点分类任务的loss用cross-entropy

最终的目标函数为(加上约束项)

γ和β为超参数。