图深度学习：成功，挑战以及后面的路

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”

---

作者：Michael Bronstein

编译：ronghuaiyang

导读

介绍了图深度学习取得的一些成果，面对的挑战以及后面的发展之路。

图深度学习，也被称为几何深度学习(GDL)，图表示学习(GRL)，或关系归纳偏差，最近已成为机器学习领域最热门的话题之一。虽然早期关于图学习的研究至少可以追溯到十年前，毫无疑问，最近几年的进展已经把这个方法从商业领域应用到了机器学习的社区中，甚至到了科学领域。

图是一种强大的数学抽象，它可以描述从生物学、高能物理学到社会科学和经济学等领域中关系和相互作用的复杂系统。如今，由于这些领域中产生的图结构数据数量巨大(突出的例子是Twitter和Facebook等社交网络)，应用深度学习技术是非常诱人的，这种技术在其他数据丰富的环境中已经非常成功。

图学习问题有很多种不同的形式，在很大程度上依赖于应用。二分法是node-wise和graph-wise的问题，前者对图中的节点进行预测（比如在社交网络中恶意用户的预测），后者是对整个图的预测（比如预测化学分子的溶解度）。此外，与传统的ML问题一样，我们可以有监督学习和无监督（或自监督）学习的分别，还有转换和归纳问题。

与用于计算机视觉中的卷积神经网络类似，对图进行高效学习的关键是设计具有共享权值的局部操作，并在每个节点及其邻居之间传递消息。与处理网格结构数据的经典深度神经网络相比，主要区别在于，在图上，这些操作是排列不变的，即独立于邻居节点的顺序，因为通常没有规范的方式对它们排序。

尽管有一系列图表示学习的成功的例子，到目前为止我们没有看到任何接近卷积网络在计算机视觉上的成功。在下面，我会概述我的观点，可能的原因以及该领域在未来几年的可能的进展。

标准化的benchmark，像ImageNet这样的标准化benchmark无疑是计算机视觉领域深度学习的关键成功因素之一，一些文章甚至认为，在深度学习革命中，数据比算法更重要。在规模和复杂性方面，我们在图学习社区中还没有类似的ImageNet的基准。2019年推出的Open Graph Benchmark可能是朝着这个目标的第一次尝试，尝试在有趣的真实图结构数据集上引入具有挑战性的图形学习任务。其中一个障碍是，出于对GDPR等隐私法的担忧，利用用户活动生成多样而丰富的图的科技公司不愿分享这些数据。一个值得注意的例外是Twitter，作为RecSys挑战的一部分，在某些隐私保护限制下，Twitter制作了一个1.6亿条tweet的数据集和相应的用户参与图，供研究社区使用。我希望以后有更多的公司也能这样做。

软件库，许多开源的软件库在“民主化”深度学习和使其成为流行工具方面发挥了至关重要的作用。直到最近，图学习的实现主要还是写得很差的一些测试代码的集合，但是如今，有了像PyTorch Geometric或Deep Graph Library (DGL)这样专业团队维护的库。一个新的深度学习架构在arxiv上出现几周后就实现了，这是很常见的。

可扩展性，这限制工业应用的关键因素之一，这些应用经常需要处理非常大的图(想想Twitter社交网络，有数亿个节点和数十亿条边)和低延迟约束。直到最近，学术研究界几乎忽略了这一方面，文献中描述的许多模型完全不适合大规模的情况。此外，GPU与经典深度学习架构的完美结合是它们共同成功的主要推动力之一，但它不一定最适合图形结构数据。从长远来看，我们可能需要专门的硬件来处理图。

动态图，这是文献中很少提及的另一个方面。虽然图是建模复杂系统的常用方法，但是这样的抽象往往过于简单，因为现实世界的系统是动态的，并且随时都在发展。有时是时间行为提供了关于系统的关键见解。尽管最近取得了一些进展，设计能够有效处理以节点或边事件流表示的连续时间图的图神经网络模型仍然是一个有待研究的问题。

高层次结构，如图案，图表，或简单的复合物在复杂的网络中被认为是重要的，例如在生物学应用中描述蛋白质-蛋白质的相互作用。然而，大多数图神经网络仅限于节点和边。将这样的结构合并到消息传递机制中可以为基于图的模型带来更强的表达能力。

理论理解，对图神经网络表达能力的理论理解是相当有限的。这是很常见的，在某些情况下，使用图神经网络在性能上有显著的提高，而在其他情况下几乎没有区别。目前还不完全清楚，图形神经网络在什么时候以及为什么工作良好或失败。这个问题是困难的，因为人们必须同时考虑基础图的结构和其中的数据。图分类问题只关心图的连通性，最近的工作表明，神经网络图等价于Weisfeiler-Lehman图同构测试。这种形式解释了为什么，例如，图神经网络在不能通过简单的测试来区分的非同构图的实例上失败。如何在保持低线性复杂度的同时，超越Weisfeiler-Lehman层次测试结构，使图神经网络如此吸引人，是一个有待研究的问题。

鲁棒性和性能保证，图神经网络在噪声数据存在或受到攻击时的鲁棒性和保证性能是另一个有趣的领域，这在很大程度上也是原始的研究领域。

应用，这可能是这个领域中最令人满意的部分。从事图学习工作多年后，我结识了粒子物理学家、临床医生、生物学家和化学 —— 如果不是在各自领域的应用，我是不可能遇到这些人的。如果我要打赌，在未来几年里，图深度学习可能会产生最大影响的一个领域，我会选结构生物学和化学。在这些领域中，基于图的模型既可以作为分子的低级模型，也可以作为分子之间相互作用的高级模型。结合这些可能是关键的水平是用于制药行业，我们看到最初的迹象，今年的早些时候，使用了图神经网络用来发现了一个新的抗生素，还有预测蛋白质间的相互作用。如果图深度学习实现了它的承诺，那么发现、开发和测试新药这一传统上漫长而昂贵的过程可能永远不会和以前一样了。

—END—

英文原文：https://towardsdatascience.com/deep-learning-on-graphs-successes-challenges-and-next-steps-7d9ec220ba8

请长按或扫描二维码关注本公众号

喜欢的话，请给我个好看吧！