带有关于特征线性模块的图神经网络：GNN-FiLM

带有关于特征线性模块的图神经网络：GNN-FiLM

  

链接：https://arxiv.org/pdf/1906.12192

    该文介绍了一种新的图神经网络（GNN）类型，关于特征的线性模块（FiLM）。许多GNN变量沿着图的边传播信息，仅仅计算每条边的源表示信息。在GNN-FiLM中，额外地使用一条边的目标节点表示来计算可用于所有进入信息的转换，使用的是基于过去信息的关于特征的模块。在GNN-FiLM和一系列基准方法上的实验以及相关的扩展显示了GNN-FiLM优于基准方法，同时速度也没有明显变慢。

                                                                            模型

标记: 定义L为边类型的有限集（通常较小）。图G = (V, E) ，其中V为节点，有类型的边E ⊆V×L×V，(u, l, v) E 代表从节点u到节点v的边，类型为l，通常写作uv。

图神经网络: 每一个节点与初始表示（比如从那个节点的标签或其他模型组件获得）。然后GNN层使用该节点在图中邻居的节点表示来更新该节点的表示，产生表示。这个过程可按时间重复地使用相同的更新函数来展开，并产生表示...。或者，不同层的这种GNN更新机制可以被堆叠，直观上与按时间展开相似，但在每一个时间步使用不同的参数增加了GNN的容量。

在门控图神经网络（GGNN）中，更新使用的是递归单元r（也就是GRU或LSTM cell）在前一个时间步的节点表示，产生以下定义式子：

学习的模型参数是基于边类型的权重Wl ，递归网络cell的参数θr 。

在关系图卷积网络（R-GCN）中，门单元由简单的非线性函数σ代替（即双曲正切函数）。

这里cv, l 是归一化常数，通常是在节点v结束的边类型为l的边数。学习的模型参数是基于边类型的权重Wl 。有必要指出在这个设置中，边类型集L假设存在自循环vv，这样就包含特殊的边类型0，所以和节点相关的状态被保留。

在图注意力网络（GAT）中，新的节点表示是由计算邻居节点表示的权重和来获得的，如下所示（从原始定义泛化到支持不同的边类型）。

这里，αl是可学习的行向量用来对节点表示的注意力（相关性）分数的计算中对不同特征维度施以权重，x||y是向量x和y的连接，(av)uv 是对那条边计算softmax获得的权重。学习的模型参数是基于边类型的权重Wl 和注意力参数αl 。实践中，GAT经常使用以下注意力头以独立地实现以上机制，使用的是不同的可学习参数。使用不同注意力头的结果在每一轮传播进行连接以产生的值。

虽然有许多GNN变体的存在，但以上三个形式是总趋势的普遍表示。值得注意的是在所有这些模型中，信息从一个节点到另一个是基于学习到的权重以及边的源表示。边的目标表示只是更新，作为下一个进入的信号，或用来对一条边的相关性施以权重。

HYPERNETWORKS

Hypernetework已被成功地应用到不同的任务中。直观上，hypernetwork与高阶函数相关。因此使用信息传播的目标来计算函数，这允许它专注于特征，这与目标节点表示的更新相关。

动态关系图神经网络（RGDCN）

一个尝试是替换可学习的信息转化参数Wl 为一些可学习的操作在目标表示上的函数f的运行结果。然而对于D大小的表示，f需要从D大小的输入中产生D2大小的矩阵。因此如果用简单线性层实现，f会有O(D3)级别的参数，很快会让它在大多数环境中难以实现。对于这种情况，切分节点表示为C个块，维度是K =   ，模型参数（θf,l,c）的数量减少了。

带有关于特征线性模块的图神经网络（GNN-FiLM）

在图设置中，可以使用每一个节点的表示作为输入来决定进入信息的元素级别仿射转换，让模型动态地基于一条边的目标节点信息表示来调整特征权重，这个过程产生一些更新规则：

可学习的模型参数为hypernetwork参数θg,l 和权重Wl 。实践中g是一个简单线性层。

实验及结果

该论文展示了在PPI和QM9两个任务上的结果，也包括VarMisuse任务上的初步结果。在引用网络数据上的初步实验显示，模型可以与基准方法一比，但随机种子的改变会导致结果的波动。实验结果如表1、表2、和表3所示：