图学习02—图神经网络的发展

图神经网络的历史

早在深度学习时代来临之前的2005年，图神经网络就已经出现了。一般来说，图神经网络旨在通过人工神经网络的方式将图和图上的节点（有时也包括边）映射到一个低维空间。也就是学习图和节点的低维向量表示。这个目标常被称为图嵌入或者图上的表示学习，反之，图嵌入和图表示学习并不仅仅包含图神经网络这一种方式。
早期的图神经网络采用递归神经网络，的方式。利用节点的邻接点和边递归的更新状态。直到到达不动点。当我们回头看这些模型，会惊奇的发现，它们和我们现在常用的模型已经非常接近了。但是很遗憾，由于模型本身的一些限制（例如，要求状态更新函数是一个压缩映射）和当时算力的不足，这些模型并灭有得到足够的重视。

谱域图神经网络

在基于不动点理论的递归图神经网络之后，图神经网络的发展史走上了另一条不同源却殊途同归的道路。随着卷积神经网络在图像处理和文本上的大规模流行。研究者门开始进行一些将卷积神经网络扩展到图结构上的尝试。为了解决空间领域的不规则性。

• Bruna等人从谱空间进行突破，提出了图上的谱网络，以及图谱理论的知识，它们吧图的拉普拉斯矩阵进行谱分解。并利用得到的特征值和特征向量在谱空间定义了卷积操作。它们还将此方法扩展到了大规模的实际数据的分类问题上，并研究了图结构没有预先给出的情况。但是，由此得到的网络计算复杂度很高，而且它们定义图卷积核依赖于拉普拉斯矩阵。所以没有办法扩展到其他图上。
• 为了解决复杂的问题，Defferrard等人提出了切比雪夫网络，将卷积核定义为多项式的形式，并且用切比雪夫展开来近似计算卷积核。大大提高了计算效率。
• Kipf和Welling简化了切比雪夫网络，只是用一阶乘近似的卷积核，并做了些许的符号变化，于是产生了我们所知的图卷积网络$GCN$,图卷积网络可以被看作一个空域上的图卷积。

空域图神经网络

• 门控图神经网络 GGNN
• 该网络用门控循环单元GRU**，取代了递归神经网络的节点更新方式。**从而消除了压缩映射的限制。
• GraphSAGE：将图神经网络从直推式学习的模式扩展到了归纳式学习，并通过邻居采样的方式加速图神经网络在大规模图数据上学习。
• 
• 图神经网络研究方兴未艾。除了不断提出更多的方式的图神经网络模型。研究者也开始研究关于图学习的更多方面，
  *** 如何在没有标签的情况下进行无监督学习。
• 如何将图神经网络模型扩展到动态图，
• 如何更好的学习图的层次结构和池化。
• 如何根据已有的数据生成新的相似却不重复的图
• 如何在图上进行对抗攻击，**

图神经网络的分类

• 谱域上的神经网络和空域上的神经网络。
• 卷积模式和循环模式。
• 有监督和无监督。
• 有监督类别又常常分为归纳式和直推式学习。
  • 归纳式模型不需要测试数据出现在训练中。
  • 而直推式则是半监督的。训练过程中已经包含了测试数据。
• 单图和多图

图神经网络的应用

图数据上的任务

• 按照元素和层级划分
  • 节点上的任务：节点的回归、分类和聚类等。
  • 边上的任务：边的分类、链路预测等。
  • 图上的任务：图的分类、图的生成、图的匹配等。
• 图的分类是基于图的表示整个图的性质进行预测。

应用领域

• 句子可以利用语法树来表示成图结构。从而获得更好的句子编码表示。

• 物理世界中的物体、交通网络中的传感器等，
  都可以描述成图结构中的节点，从而用图神经网络预测它们的状态或者****它们之间的交互。

• 

• 数据结构与算法也可以表示成图结构，然后对其进行建模和分析。

• 在知识图谱中，我们经常利用本来存在的关系推断出隐含的关系。
  

• 推荐系统：根据用户购买习惯对产品进行推断，可以看作一个异构图上的链路预测问题。
  

总结

会自己将这些知识应用于研究领域，并将其全部都搞定都行啦的样子与打算。