图神经网络和传统图模型以及原来的深度学习之间的关系

机器之心： 您可以介绍一下图神经网络和传统图模型，以及原来的深度学习之间的关系吗？

刘知远： 对于这个问题，我们需要看是从什么角度来考虑。

从研究任务的角度来看，比如数据挖掘领域的社会网络分析问题

• 像 DeepWalk、LINE 这些 graph embedding 算法，聚焦在如何对网络节点进行低维向量表示，相似的节点在空间中更加接近。
• 图神经网络（GNN）
  ① GNN可以对一个节点进行语义表示。
  GNN可以更好地考虑这个节点周围的丰富信息，对单个节点的表示也可以做的比过去方法更好。
  ② GNN可以表示子图的语义信息。
  GNN可以把网络中一小部分节点构成的社区（community）的语义表示出来，这是 graph embedding 不容易做到的。
  ③ GNN可以把网络当成一个整体进行建模。
  它可以在整个网络上进行信息传播、聚合等建模。

知识图谱

• TransE 等知识表示学习方法，一般是将知识图谱按照三元组来学习建模，学到每个实体和关系的低维向量表示，这样就可以去进行一些链接预测和实体预测任务。
• GNN 则有希望把整个知识图谱看成整体进行学习，并可以在知识图谱上开展注意力、卷积等操作，以学习图谱中实体与实体之间的复杂关系。即使实体间没有直接连接，GNN 也可以更好地对它们的关系建模。

关系

• 随机游走、最短路径等图方法利用知识图谱这种符号知识，但这些方法并没有办法很好地利用每个节点的语义信息。
• 传统的深度学习技术更擅长处理非结构文本、图像等数据。
• 简言之，我们可以将 GNN 看做将深度学习技术应用到了符号表示的图数据上来，或者说是从非结构化数据扩展到了结构化数据。GNN 能够充分融合符号表示和低维向量表示，发挥两者优势。

总结：传统图模型应该是要学习实体以及关系，不限于单个，但是没学好；传统的深度学习，只能学习单个实体的语义信息；图神经网络使得深度学习学习实体与实体之间的关系成为可能。

1. 原文：对话清华NLP实验室刘知远：NLP搞事情少不了知识库与图神经网络
2. 清华大学图神经网络综述：模型与应用
   Graph Neural Networks: A Review of Methods and Applications
3. DeepMind 等机构提出「图网络」：面向关系推理
   Relational inductive biases, deep learning, and graph networks