Explainability in Graph Neural Networks:A Taxonomic Survey

Explainability in Graph Neural Networks:A Taxonomic Survey

Abstract

• 深度学习方法在许多人工智能任务中实现了不断提高的性能。深度模型的一个主要限制是它们不具有可解释性。这种限制可以通过开发事后技术来解释预测来规避，从而产生可解释的领域。近年来，深度模型在图像和文本上的可解释性研究取得了显著进展。在图数据领域，图神经网络(GNNs)及其可解释性正经历着快速的发展。然而，对GNN解释方法并没有统一的处理方法，也没有一个标准的评价基准和试验台。在这个调查中，我们提供了一个统一的和分类的观点，目前的GNN解释方法。我们对这一问题的统一和分类处理，阐明了现有方法的共性和差异，并为进一步的方法论发展奠定了基础。为了方便评估，我们为GNN的可解释性生成了一组基准图数据集。我们总结了当前的数据集和评价GNN可解释性的指标。总之，这项工作为GNN的解释提供了一个统一的方法处理和一个标准化的评价试验台。

1 INTRODUCTION

• 深度神经网络的发展彻底改变了机器学习和人工智能领域。深度神经网络在计算机视觉[1]、[2]、自然语言处理[3]、[4]、图数据分析[5]、[6]等领域取得了良好的研究成果。这些事实促使我们开发深度学习方法，用于在跨学科领域的实际应用，如金融、生物学和农业[7]、[8]、[9]。然而必须要提供准确的预测和人类可理解的解释，特别是为跨学科领域的用户。这些事实要求发展解释技术来解释深层神经网络。
• 深层模型的解释技术通常研究深层模型预测背后的潜在关系。提出了几种方法来解释[10]、[11]、[12]、[13]、[18]0、[18]1、[16]、[17]、[18]、[19]、[20]、[21]图像和文本数据的深层模型。这些方法可以提供与输入相关的解释，例如研究输入特征的重要分数，或对深层模型的一般行为有较高的理解。这些方法可以提供与输入相关的解释，例如研究输入特征的重要分数，或对深层模型的一般行为有较高的理解。现有的方法[12]，[13]，[19]映射隐藏特征映射到输入空间和突出重要的输入特征。此外，通过遮挡不同的输入特征，我们可以观察和监控预测的变化，以识别重要的特征[14]，[15]。与此同时，一些[10]、[16]研究侧重于提供独立于输入的解释，例如研究能够最大化某类预测得分的输入模式。进一步探究隐藏神经元的含义，理解[17]、[22]的整个预测过程。近年来对[23]、[24]、[25]、[26]等方法进行了较为系统的评价和分类。然而，这些研究只关注图像和文本域的解释方法，忽略了深度图模型的可解释性。
• 近年来，图神经网络(Graph Neural network, gnn)越来越受欢迎，因为许多真实世界的数据都以图形的形式表示，如社交网络、化学分子和金融数据。其中，节点分类[27]、[28]、[29]、图分类[6]、[30]、链路预测[31]、[32]、[33]等与图相关的任务得到了广泛的研究。此外，许多高级的GNN操作被提出来提高性能，包括图卷积[5]，[34]，[35]，图关注[36]，[37]，图池化[38]，[39]，[40]。然而，与图像和文本领域相比，图模型的可解释性研究较少，这是理解深度图神经网络的关键。近年来，人们提出了几种解释gnn预测的方法，如XGNN[41]、gnexplainer[42]、PGExplainer[43]等。这些方法是从不同的角度发展起来的，提供了不同层次的解释。此外，它仍然缺乏标准的数据集和度量来评估解释结果。因此，需要对GNN解释技术的方法和评价进行系统的调查。
• 为此，本研究提供了对不同GNN解释技术的系统研究。我们的目的是提供对不同方法的直观理解和高层次的洞察，让研究者选择合适的方向，这项工作的贡献总结如下:
  • 本研究对现有的深图模型解释技术进行了系统和全面的回顾。据我们所知，这是第一次也是唯一一次关于这一主题的调查工作。
  • 我们提出了一个针对现有GNN解释技术新的分类法。我们总结了每个类别的关键思想，并提供了深刻的分析。
  • 我们详细介绍了各种GNN解释方法，包括其方法论、优缺点以及与其他方法的区别。
  • 我们总结了常用的GNN解释任务的数据集和评估指标。我们讨论了它们的局限性，并推荐了几个令人信服的度量标准。
  • 通过将句子转换为图表，我们从文本领域构建了三个人类可理解的数据集。这些数据集不久将向公众开放，并可直接用于GNN解释任务。
• Explainability versus Interpretability: 可解释人工智能是一个新兴的研究领域，术语的使用并不是完全标准化的。特别是，“Explainability”和“Interpretability”这两个术语的区别并没有被完全定义。在一些研究中，这两个术语可以互换使用[26]，而在另一些研究中则存在一些细微的差别。在本文中，我们认为这两项应该被区分。特别地，我们根据现有的工作[44]来区分这两个术语。我们认为，一个模型是“interpretable”，模型本身可以提供人类可以理解的解释其预测。注意，这样的模型在某种程度上不再是一个黑盒。例如，决策树模型是“interpretable”模型。同时，一个“explainable”模型意味着这个模型仍然是一个黑匣子，它的预测可以通过事后解释技术来理解。我们表达了这样的差异，希望随着这个领域的成熟，社区最终能够开发出术语的标准化使用。

2 THE CHALLENGES

• 解释深图模型是一项重要但具有挑战性的任务。在本节中，我们将讨论在解释GNN时遇到的常见挑战。
• 首先，与图像和文本不同，图形不是网格数据，这意味着没有位置信息，每个节点有不同数量的邻居。相反，图包含重要的拓扑信息，并表示为特征矩阵和邻接矩阵。为了解释特征的重要性，我们可以直接将图像数据的解释方法扩展到图数据。然而，邻接矩阵表示拓扑信息，只包含离散值。那么现有的方法就不能直接应用。例如，常用的输入优化方法[10]、[16]来解释图像分类器的一般行为。它将输入视为可训练变量，并通过反向传播优化输入以获得抽象图像来解释模型。然而，离散邻接矩阵不能以同样的方式优化。此外，[14]、[45]等几种方法学习软蒙版来捕捉重要的图像区域。然而，在邻接矩阵上应用软掩模会破坏其离散性。
• 此外，对于图像和文本，我们研究每个像素或单词的重要性。然而，研究图数据的结构信息更为重要。首先，图中的节点可以是无标签的，整个图的标签由图的结构决定。那么研究每个节点可能没有意义，因为那些未标记的节点不包含语义意义。此外，对于生物化学、神经生物学、生态学和工程学中的图，图的子结构与它们的功能[46]高度相关。一个例子是网络motif，它可以被认为是许多复杂网络[47]、[48]的构建块。这样的结构信息在解释任务中不应该被忽略。然而，现有的图像域方法不能对结构进行解释。其次，对于节点分类任务，每个节点的预测由来自其邻居的不同消息遍历来确定。调查这样的信息传递是有意义的，但也是具有挑战性的。现有的图像域方法都不能考虑这样的步态信息，这需要进一步的探索。
• 此外，图形数据不如图像和文本直观。为了理解深度模型，数据集领域知识是必要的。对于图像和文本，理解输入数据的语义是简单而直接的。对于它们的解释，人类可以很容易地理解它们，即使它们的解释非常抽象。然而，由于图可以表示复杂的数据，如分子、社会网络和引文网络，因此对人类来说理解图的含义是具有挑战性的。此外，在化学和生物等跨学科领域，还有许多未解之谜，领域知识仍然缺乏。因此，获取对图模型的人类可理解的解释是非常重要的，从而提高了对解释任务的标准数据集和评估指标的需求。

3 AN OVERVIEW OF THE TAXONOMY

• 近年来，人们提出了几种解释深图模型预测的方法。这些方法关注于图模型的不同方面，并提供不同的视图来理解这些模型。他们通常会回答几个问题;其中一些是，哪个输入边更重要?哪个输入节点更重要?哪个节点特性更重要?什么样的图形模式将最大化某个类的预测?为了更好地理解这些方法，我们为GNN提供了不同解释技术的分类。我们分类法的结构如图1所示。根据提供的解释类型，不同的技术分为两大类:实例级方法和模型级方法。
• 首先，实例级方法为每个输入图提供依赖于输入的解释。给出一个输入图，这些方法通过识别用于预测的重要输入特征来解释深度模型。根据重要性得分的获取方式，我们将这些方法分为4个不同的分支:基于梯度/特征的方法[53]1、[50]，基于微扰的方法[42]、[53]0、[53]3、[52]、[53]，分解方法[53]2、[50]、[54]、[55]，以及替代方法[56]、[57]、[58]。具体来说，基于梯度/特征的方法使用梯度或特征值来表示不同输入特征的重要性。此外，基于扰动的方法监测预测的变化与不同的输入扰动，以研究输入的重要性得分。分解方法首先将预测得分(如预测概率)分解到最后一隐藏层的神经元中。然后逐层反向传播这些分数，直到输入空间，并使用这些分解后的分数作为重要分数。与此同时，对于给定的输入示例，基于代理的方法首先从给定示例的邻居中采样数据集。接下来，这些方法拟合一个简单的和可解释的模型，如决策树，以采样数据集。然后使用代理模型的解释来解释最初的预测。第二，模型级方法不考虑任何特定的输入实例来解释图神经网络。独立于输入的解释是高层次的，解释一般行为。与实例级方法相比，这个方向的研究仍然较少。现有的模型级方法只有基于图生成的XGNN[41]。它生成图形模式来最大化某个类的预测概率，并使用这些图形模式来解释该类。
• 总之，这两类方法从不同的角度解释了深度图模型。实例级方法提供了特定于示例的解释，而模型级方法提供了高层次的见解和对深度图模型如何工作的一般理解。要验证和信任深度图模型，需要人工监督检查解释。对于实例级方法，需要更多的人工监督，因为专家需要探索不同输入图的解释。对于模型级方法，由于解释是高层次的，因此涉及的人力监督较少。此外，实例级方法的解释基于真实的输入实例，因此它们很容易理解。然而，对模型级方法的解释可能不是人类能够理解的，因为获得的图形模式甚至可能不存在于现实世界中。总之，这两种方法可以结合起来更好地理解深度图模型