2019-2020review3-图神经网络入门篇(Graph Neural Networks )

graph embeddiing 发展脉络:

一、初期出现的算法:deep walk、line、node2vec、sdne、eges等,详见2019-2020review5-embedding入门(https://www.jianshu.com/p/993f80d1b959)

二、进一步深化算法:图神经网络

1、从综述说起哈:

(1)图神经网络的大致分类【1】:

图神经网络(GNN) 被分成了 5 个类别:图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。图卷积网络在捕捉架构依存关系上扮演着核心角色:

2019-2020review3-图神经网络入门篇(Graph Neural Networks )_第1张图片
图神经网络分类

(2)我们关注的是图神经网络和网络嵌入:

图神经网络 vs. 网络嵌入。对图神经网络的研究与图嵌入或网络嵌入紧密相关,这也是数据挖掘和机器学习社区日益关注的一个话题 。网络嵌入旨在通过保留网络拓扑架构和节点内容信息,将网络顶点表示到低维向量空间中,以使任何后续的图分析任务(如分类、聚类和推荐)都可以通过使用简单的现成机器学习算法(如用于分类的支持向量机)轻松执行。许多网络嵌入算法都是无监督算法,它们大致可分为三组 ,即矩阵分解 、随机游走和深度学习方法。用于网络嵌入的深度学习方法同时还属于图神经网络,包括基于图自编码器的算法(如 DNGR 和 SDNE)和具有无监督训练的图卷积神经网络(如 GraphSage)。下图描述了网络嵌入和图神经网络的区别。

2019-2020review3-图神经网络入门篇(Graph Neural Networks )_第2张图片
网络嵌入和图神经网络

图嵌入的无监督学习。如果图中无可用类别标签,我们可以在一个端到端框架中以完全无监督的方式学习图嵌入。这些算法通过两种方式利用边级(edge-level)信息。一种简单的方法是采用自编码器框架,其中编码器使用图卷积层将图嵌进潜在表征中,然后使用解码器重构图结构 。另一种方法是利用负采样方法,采样一部分节点对作为负对(negative pair),而图中已有的节点作为正对(positive pair)。然后在卷积层之后应用 logistic 回归层,以用于端到端学习。

2、接下来开始重头戏GCN:

(1)先从直观上感受GCN

什么是图卷积神经网络【2】

2019-2020review3-图神经网络入门篇(Graph Neural Networks )_第3张图片
图卷积网络图示

如何理解图卷积算法?

第一步:发射(send)每一个节点将自身的特征信息经过变换后发送给邻居节点。这一步是在对节点的特征信息进行抽取变换。

第二步:接收(receive)每个节点将邻居节点的特征信息聚集起来。这一步是在对节点的局部结构信息进行融合。

第三步:变换(transform)把前面的信息聚集之后做非线性变换,增加模型的表达能力。

(2)再从框架图感受GCN

来自论文的原汁原味的框架图【3】:

2019-2020review3-图神经网络入门篇(Graph Neural Networks )_第4张图片
带有一阶滤波器的多层图卷积神经网络

具体来说,我们先看这个框架的大致idea:输入一张图,经过一层层特征抽取以及变换,最后输出一张图。

2019-2020review3-图神经网络入门篇(Graph Neural Networks )_第5张图片
GCN框架

(3)最后从公式上感受GCN

GCN,图卷积神经网络,实际上跟 CNN 的作用一样,就是一个特征提取器,只不过它的对象是图数据。GCN 精妙地设计了一种从图数据中提取特征的方法,从而让我们可以使用这些特征去对图数据进行节点分类(node classification)、图分类(graph classification)、边预测(link prediction),还可以顺便得到图的嵌入表示(graph embedding),可见用途广泛。

从论文原文原汁原味感受公式:

2019-2020review3-图神经网络入门篇(Graph Neural Networks )_第6张图片
公式详解

公式的直观感受:

公式直观感受

用我们通俗的话翻译一下:

2019-2020review3-图神经网络入门篇(Graph Neural Networks )_第7张图片
公式详解

公式特点说明:

2019-2020review3-图神经网络入门篇(Graph Neural Networks )_第8张图片
公式特点说明

GCN的一大特点:

node embedding基本自动聚类

前期了解完毕,下面是详细了解图卷积算子~

2019-2020review3-图神经网络入门篇(Graph Neural Networks )_第9张图片
图卷积算子

待补充论文公式详细推导过程。。。

参考文献

1、图神经网络概述第三弹:来自IEEE Fellow的GNN综述

https://www.jiqizhixin.com/articles/2019-01-07-8

2、浅析图卷积神经网络

https://zhuanlan.zhihu.com/p/37091549

3、论文原文 GRAPH CONVOLUTIONAL NETWORKS

https://tkipf.github.io/graph-convolutional-networks/

4、跳出公式,看清全局,图神经网络(GCN)原理详解

https://www.chainnews.com/articles/216961050590.htm

其他参考文献:
1、深度学习新星 | 图卷积神经网络(GCN)有多强大?

https://zhuanlan.zhihu.com/p/37894842

2、如何理解 Graph Convolutional Network(GCN)?

https://www.zhihu.com/question/54504471

3、卷积运算是什么?

https://www.zhihu.com/question/339496491

你可能感兴趣的:(2019-2020review3-图神经网络入门篇(Graph Neural Networks ))