2019 NeurIPS | Graph Transformer Networks

2019 NeurIPS | Graph Transformer Networks

Paper: https://arxiv.org/abs/1911.06455
Code: https://github.com/seongjunyun/Graph_Transformer_Networks

2019 NeurIPS | 图transformer网络

问题

大部分GNN（graph neural network）应用要求输入的graph为fixed and homogeneous，其中homogeneous指的是graph中的节点属于同一个类型，边也属于同一个类型。但是实际应用中的graph往往是heterogeneous.比如citation network中的节点有author也有paper，conference等。直接忽略这些类型差异显然使得model suboptimal。一种解决思路是手工设计meta-path（可能是多跳heterogeneous edges形成的path，本质上是composite relation，因为每条边都可以看成是一个关系二元组，多跳自然就是多个二元组的级联，形成一个合成关系），利用meta-path来从原始heterogeneous graph中提取homogeneous graph作为GNN的输入。这种方式的缺点是需要手工构造meta-path，其质量直接影响下游任务。

模型

在本文中，作者提出了能够生成新图结构的图转换网络(GTNs)，它涉及到识别原始图上未连接节点之间的有用连接，同时以端到端方式学习新图上的有效节点表示。Graph Transformer层是GTNs的核心层，它学习了边类型的软选择和复合关系，以生成有用的多跳连接，即所谓的元路径。

Graph Transformer Layer

一个Graph Transformer Layer。输入有K个通道，每个通道为NN矩阵，然后经过11K的卷积进行处理生成NN的中间态邻接矩阵Q1。而卷积核是由W经softmax处理得到。Q的计算公式如下所示：

meta-path生成
两个软选择的邻接矩阵Q1,Q2。因此，新生成meta-path图对应的邻接矩阵就是A(1)=Q1Q2。考虑到数据稳定性，可进行归一化处理。于是乎，给定任意长度l，它的meta-path图对应的邻接矩阵可表示为：


A(l)的生成过程进行理解（注意：上图中11卷积为C通道，因此Q为C通道，A(l)也为C通道）。但上述meta-path生成方式不能包含原始图中的边信息，也会丢失短meta-path信息。解决此问题可在原始图的邻接矩阵集合中添加单位矩阵E。

结果