图神经网络的可解释性是目前比较值得探索的方向,这篇综述论文针对近期提出的 GNN 解释技术进行了系统的总结和分析,归纳对比了该问题的解决思路。作者还为GNN解释性问题提供了标准的图数据集和评估指标,将是这一方向非常值得参考的一篇文章。
在这篇论文中,作者对目前的GNN解释技术从统一和分类的角度进行了总结,阐明了现有方法的共性和差异,并为进一步的方法发展奠定了基础。此外,作者专门为GNN解释技术生成了基准图数据集,并总结了当前用于评估GNN解释技术的数据集和评估方法。
解释黑箱模型很重要
深层模型的解释技术大致分为两类:
这些研究只关注图像和文本领域的解释方法,而忽略了深度图模型的可解释性。
近年来,图神经网络很火,因为许多真实世界的数据都是用图来表示的。近年来,人们提出了几种解释 GNN 预测的方法,如XGNN[43]、gnexplainer[44]、PGExplainer[45]和subgraphx[46]等。这些方法是从不同的角度提供了不同层次的解释。但至今仍然缺乏标准的数据集和度量来评估解释结果。
本研究提供了对不同GNN解释技术的系统研究,论文贡献如下:
术语区分:‘’Explainability‘’ 与 ‘’Interpretability‘’
interpretable:能够对其预测提供人类可理解的解释的模型(决策树模型)
explainable:该模型仍然是一个黑盒子,其预测有可能被一些事后解释技术所理解
解释方法一般都会从几个问题出发实现对图模型的解释:
实例级方法与特征工程的思想有些类似,旨在找到输入数据中最能够影响预测结果的部分特征,为每个输入图提供 依赖输入 的解释。给定一个输入图,实例级方法旨在探究影响模型预测的重要特征实现对深度模型的解释。根据特征重要性分数的获得方式,作者将实例级方法分为四个不同的分支:
模型级方法直接解释图神经网络的模型,不考虑任何具体的输入实例。这种 独立于输入 的解释是高层次的,能够解释一般性行为。与实例级方法相比,这个方向的探索还比较少。现有的模型级方法只有XGNN[43],它是基于图生成的,通过生成 图模式 使某一类的预测概率最大化,并利用 图模式 来解释这一类。
实例级方法的解释是基于真实的输入实例的,因此它们很容易理解。然而,对模型级方法的解释可能不便于人类理解,因为获得的图模式可能在现实世界中甚至不存在。
代理方法能够为图像模型提供实例级解释。其**基本思想是化繁为简,既然无法解释原始深度图模型,那么采用一个简单且可解释的代理模型来近似复杂的深层模型,实现输入实例的邻近区域预测。**需要注意的是,这些方法都是假设输入实例的邻近区域的关系不那么复杂,可以被一个较简单的代理模型很好地捕获。然后通过可解释的代理模型的来解释原始预测。将代理方法应用到图域是一个挑战,因为图数据是离散的,包含拓扑信息。那么 如何定义输入图的相邻区域,以及什么样的可解释代理模型是合适的,都是不清楚的。
代理方法的一般框架:给定一个输入图及其预测,目的是解释给定输入图的预测。方法是它们首先对一个局部数据集进行采样,(这个局部数据集包含多个相邻数据对象及其预测);然后拟合一个可解释模型来学习局部数据集,(不同的代理方法拟合不同的可解释模型);最后,将可解释模型的解释视为原始深度模型对输入图的解释。
不同的代理方法的关键区别在于两个方面:
GraphLime[59]将LIME[69]算法扩展到深度图模型,并研究不同节点特征对节点分类任务的重要性。
给定输入图中的一个目标节点,将其N-hop 邻居节点及其预测值视为局部数据集,其中N的合理设置是训练的GNN的层数。然后采用非线性代理模型HSIC Lasso[70]来拟合局部数据集。根据HSIC Lasso中不同特征的权重,可以选择重要的特征来解释HSIC Lasso的预测结果。这些被选取的特征被认为是对原始GNN预测的解释。
但是,GraphLime只能提供节点特征的解释,却忽略了节点和边等图结构,而这些图结构对于图数据来说更为重要。另外,GraphLime是为了解释节点分类预测而提出的,但不能直接应用于图分类模型。
RelEx[60]结合代理和扰动的思想,研究节点分类模型的可解释性。
在给定一个目标节点及其计算图(N-hop邻居节点)的情况下,它首先从计算图中随机采样连接的子图,并将这些子图反馈给训练好的GNN,从而获得一个局部数据集。具体地说,它从目标节点开始,以BFS的方式随机选择相邻节点。RelEx采用GCN模型作为代理模型来拟合局部数据集。与GraphLime不同,RelEx中的代理模型是不可解释的。训练后,它进一步应用基于扰动的方法,如生成Sigmoid掩码或Gumbel-Softmax掩码来解释预测结果。与GraphLime相比,它可以提供关于重要节点的解释
RelEx的解释过程包含了多个近似步骤,比如使用代理模型来近似局部关系,使用掩码来近似边的重要性,从而使得解释的说服力和可信度较差。此外,由于可以直接采用基于扰动的方法来解释原有的深度图模型,因此没有必要再建立一个不可解释的深度模型作为代理模型来解释。RelEx如何应用于图分类模型也是未知的。
PGM-Explainer[58]建立了一个概率图模型,为GNN提供实例级解释。
局部数据集是通过随机节点特征扰动获得的。具体来说,给定一个输入图,每次PGM-Explainer都会随机扰动计算图中几个随机节点的节点特征。然后对于计算图中的任何一个节点,PGM-Explainer都会记录一个随机变量,表示其特征是否受到扰动,及其对GNN预测的影响。通过多次重复这样的过程,就可以得到一个局部数据集。通过Grow-Shrink(GS)算法[66]选择依赖性最强的变量来减小局部数据集的大小。最后采用可解释的贝叶斯网络来拟合局部数据集,并解释原始GNN模型的预测。
PGM-Explainer可以提供有关图节点的解释,但忽略了包含重要图拓扑信息的边。此外,与GraphLime和RelEx不同的是,PGM-Explainer可以同时用于解释节点分类和图分类任务。