Graph Neural Networks: A Review of Methods and Applications简介

Jie Zhou et al. 2018.

前言

刚刚看了PRML的图模型，想对图模型做进一步的了解，便看了这篇图神经网络（Graph Neural Networks）的综述。但发现，目前关于图神经网络的研究仅仅只是利用图结构来表示神经网络的输入，而没有利用任何与图相关的推断知识，相信图模型在神经网络中的应用有进一步的发展。

背景

图是一种使用广泛的数据结构，节点表示对象，边表示关系，其在机器学习领域也有着广泛的应用，如社交网络、生物工程、知识图谱等，主要用于节点分类（node classfication）、链接预测（link prediction）、聚类（clustering）等任务。

研究图与深度学习结合得到图神经网络的动机有二：（1）传统的CNN只能处理常规的基于欧式距离的图像，并且图可以表达CNN的三大思想，即局部连接、权重共享和多层模型；（2）图的向量表示技术众多，但无参数共享，并且泛化性能较差（无法处理动态图和新图）。

图神经网络及其变种

简单来说，图神经网络就是使用图结构去表示输入的神经网络，目标是学习图中各节点的状态信息（包含邻接信息），其有两个主要的函数，局部转换函数$h$（local transition function）和局部输出函数$g$（local output function），局部转换函数基于邻接节点更新当前节点的状态，局部输出函数产生最终的输出。如下所示：

基于Banach’s fixed point theorem，反复迭代上面第一个等式，可收敛$h$至保持不变。

损失函数定义如下（其中p是监督节点的数目）：

上述定义是最基本的图神经网络。存在以下几点不足：（1）迭代地更新隐藏状态十分低效；（2）迭代过程中每一步的参数是相同的，而大部分神经网络使用的是不同的参数；（3）图中的边上仍有一些有意义的信息特征；（4）fixed point处的信息比较平滑，不能区别各节点。

因此对基本的图神经网络做了五点改进：

• 考虑图的类型：有向图、异构图和带边信息的图。
• 考虑传播的类型（即节点与周围节点交互的方式）：卷积（包括谱方法和非谱方法）、门控制、注意力机制、跳跃连接等。
• 考虑训练方法：使用采样技术、替代计算、增加监督数据。

具体图神经网络的变种如下图所示：