LEARNING GRAPHICAL STATE TRANSITIONS

LEARNING GRAPHICAL STATE TRANSITIONS （ICLR 2017）

Idea：图结构对于构建多个实体之间的关系是十分重要的，也可以被用于去表示真实世界中的多种数据结构。本文提出了一种门控图变换神经网络，该模型可以基于输入构建和修改图，并且可以生成各种的图输出。

 

BACKGROUND                   

GRU：是循环网络的一种，每个单元都作用于重置门和更新门。

 

GG-NN AND GGS-NN

在门控图神经网络中，图 包含节点集合V和定向边集合，，e代表节点v到v‘的定向边。每个节点包含三个状态，注释状态x，隐层状态h，并且每条边都代表一种类型。

• GG-NNs用每个节点的注释x来初始化隐层状态h。然后进行一系列的传播。
• 在每个步骤中，信息在节点之间传播，边的类型决定发送什么样的信息。
• 每个节点汇聚所有邻域节点的信息作为输入，并且根据邻域信息来更新自己的状态，方法与GRU类似。
• 最后，所有节点的状态来决定全局性质的聚合输出，或者是对每个单独的节点进行分类。

 

DIFFERENTIABLE GRAPH TRANSFORMATIONS

  对图进行重新的定义，集合V不变，变为一个连通矩阵，Y代表可能边的类型。节点还多了一个属性s，其代表该节点存在的信念程度，1代表存在，0代表应当忽略。

 

 

 

其中图的变换有五种形式：

• 节点添加：基于输入向量添加新的节点和分配给它们x和s来修改图。
• 节点状态更新：修改每个节点的内部状态。
• 边更新：根据两个节点的状态和外部输入更新边。
• 传播：允许节点根据边交换信息，然后根据接收到的信息更新内部状态。
• 聚合：利用attention机制来选择节点，然后输出一个全局性的图输出。

 

其中每个变种都有可训练的参数，可以根据任务来任意组合拆分定制。

 

GATED GRAPH TRANSFORMER NEURAL NETWORK (GGT-NN)

通过一系列的图转换操作，形成了一个中间的图结构，根据问题的序列,形成一个与图相关的表示，然后利用MLP+softmax层来产生单个词的向量化表示，或利用循环神经网络产生句子序列的向量化表示。

因为所有的图转换操作都是可微分的，所以可以通过与正确的输出进行对比，来更新网络的参数。

为了提供必要的监督信息，可以提供每一个时间步骤的正确的图，来使得该模型可以产生该图。针对节点和边，该模型设计了loss