Analysis of Explainers of Black Box Deep Neural Networks for Computer Vision: A Survey

Analysis of Explainers of Black Box Deep Neural Networks for Computer Vision: A Survey----《计算机视觉黑盒深度神经网络解释器分析综述》

摘要

  深度学习是一种对大量或复杂数据进行推理的最先进技术。作为一种黑盒模型，由于其多层非线性结构，深度神经网络经常被批评为不透明且其预测无法被人类追踪。此外，这些模型从人工生成的数据集中学习，而这些数据集往往不能反映现实。基于深度神经网络的决策算法，可能会由于缺乏透明度而在不知不觉中促进偏见和不公平。因此，已经开发了几种所谓的解释器。解释器试图通过分析输入和输出之间的联系来深入了解机器学习黑匣子的内部结构。在本综述中，我们介绍了用于计算机视觉任务的深度神经网络解释系统的机制和特性。我们对相关研究的分类进行了全面的概述，并比较了几篇涉及一般可解释性的调查论文，指出了研究的不足和缺陷，并总结了进一步研究的思路。

引言

  基于人工智能(AI)的技术越来越多地被用于分类或回归问题的推理：医疗、保险、广告、公共视频监控、求职申请或信用评分等领域的自动图像和文本解读，节省了工作人员和时间，并在实践中取得了成功。严重的缺点是，这些技术中的许多都是黑盒，结果很难被用户理解。Das和Rad[1]建议，根据今天的标准，不要盲目相信高度预测分类器的结果，因为在机器学习(ML)中，数据偏差、可信赖性和对抗例子的强烈影响。这些发现被越来越多地观察到，因此，可解释的ML现在被应用于一些问题，例如探索COVID-19[2-4]。

动机:道德问题

  最近的模型更加复杂，特别是深度学习(deep learning, DL)体系结构正变得越来越深，包括数百万个参数。此后，分类过程仅是人类可以理解的。准确性或平均精度等指标取决于手工注释数据的质量。然而，这些指标通常是评估学习算法本身的唯一值。
  近年来，人们发现了深度学习模型的一些弱点（即使是高性能模型也会受到影响）。例如，通过对输入图像进行微小的更改或创建人工对抗性示例，可以轻松愚弄对象检测器[5,6]。此类攻击可能会揭示出所谓的良好模型并不稳健，或者侧重于对对象进行分类的不太相关的特征；请参阅下面的示例。问题在于神经网络仅从训练数据中学习，而训练数据应该表征任务。然而，合适的训练数据的创建和注释是繁琐的；因此，它们并不总是完美的。如果训练数据存在偏差，模型也会学习它。现在，提出对神经网络的示例性攻击：
  由于训练图像背景存在偏差，狗或狼分类器被证明只是一个很好的雪探测器 [7]。原因是，训练狼的照片大部分是在有雪的天气里拍摄的，而狗的照片是在没有雪的风景中拍摄的。有几种情况凸显了 DNN 的负面特征：仅更改输入图像中的一个像素或句子中的一个字母，甚至添加小幅度的扰动都可能改变预测 [8-10]；另请参见图 1（我们已获得必要的版权许可，可以转载此图以及本作品中的所有其他图）。图2-4显示了其他例子。所有这些案例都表明，在没有质量控制的情况下，依赖一个据称具有良好性能结果的黑盒是多么有害。然而，目前应用的DNN方法和模型都是这样的脆弱的黑匣子。



  自2018年5月欧盟通过新的《通用数据保护条例》（GDPR）以来，该条例限制了机器学习和自动化个人决策的使用，并重点保护个人敏感数据，例如年龄、例如，性别、血统、姓名或居住地。GDPR 还对人工智能领域的数据质量提出了要求，因为训练数据集的质量对结果至关重要。如果结果影响用户，他们应该能够要求模型对他们做出的决定做出解释[15]。解释必须以精确、透明和易于理解的形式以及清晰简单的语言进行传达。例如，如果医生犯了错误，患者想知道原因。该错误是否可以原谅，或者该错误是否反映了疏忽，甚至是故意的或由于其他因素而发生的？
  同样，如果模型失败并导致不良临床事件或医疗事故，医生需要能够理解其产生结果的原因以及为什么做出这样的决定。参考文献[16]在他关于道德医学人工智能的工作中提出了十诫作为实践指南。
  个人的决定并非没有偏见，但应确保选择程序的模型，例如工作提案或缓刑，不应因性别、出身等而歧视一般人。在这里，可能会对个人、群体或整个社会产生不利影响。例如，由于性别词汇偏见，普遍情况可能会越来越恶化[17]。一个有趣的例子是自然语言处理（NLP）算法从训练数据集创建的词嵌入[18]，这些数据集只是特定来源的任何可用文本[19]。由于作者的普遍或特定偏见，对妇女、残疾人、黑人等的歧视似乎深深植根于这些文本中，导致模型得知这是真实的严重后果。这可能会加剧歧视和不公平。内隐联想测试[20]揭示了人们没有意识到的刻板印象偏见。如果模型假设——并且研究[18,21,22]表明——医生是男性，护士是女性，此外，女性是敏感的，男性是成功的，那么它将筛选出所有申请担任主任医生的女性——仅因为他们的性别——无需检查他们的资格。如果训练数据中，外国人的收入主要是收入较低、失业率上升，那么自动信用评分模型就会建议较高的利率，甚至仅因为出身而拒绝请求，而不考虑个人的财务状况。总而言之，这意味着受污染数据训练的模型可能会传播偏见和歧视，并且不公平现象可能会加剧。

贡献

  了解和深入了解模型应该可以发现指定的问题。模型的透明度和可解释性等属性是建立提供商信任和公平的基础。如果成功的话，歧视和严重错误的根源就可以避免。通过做出不带偏见的自动化决策，我们有机会改善社会。我们对实现这一目标的贡献是通过区分最先进的解释器的机制和技术特性来概述其分类学。我们的工作并不局限于解释方法，还研究了理解机器的一般意义。据我们所知，这是第一篇主要关注用于计算机视觉任务的 ML 黑盒 DNN 的调查论文，但也总结了其他一些相关的 ML 领域。

DNN 解释系统概述

  我们简要介绍了解释机器学习内部操作的早期方法。之后我们重点了解 DNN。

早期机器学习解释系统

  机器学习黑匣子的早期解释系统可以追溯到 1986 年的广义加法模型 (GAM) [25]。GAM 是使用平滑函数的全局统计模型，使用散点图平滑器进行估计。该技术适用于任何基于似然的回归模型，为识别指数族模型和其他基于似然的回归模型中的非线性协变量效应提供了灵活的方法，并且具有完全自动化的优点。在最一般的形式下，该算法可以应用于任何情况，其中一个准则是优化涉及一个或多个平滑函数。后来，决策树被证明是提供个体解释的成功分类工具[26,27]。决策树是决策及其可能结果的树状图，它将只包含条件控制语句的算法可视化。分类从应用根节点测试开始，其结果确定到后续节点的分支，其中内部节点是在分类期间应用于实例的测试，并且来自内部节点的分支对应于可能的测试结果。递归地应用该过程，直到到达叶节点。最后，实例被标记为叶节点的类[28]。另一种方法[29]显示了一个或两个特征对使用部分依赖图(pdp)预测学习技术的边际效应。该方法给出了特征之间的整体关系，以及特征与结果之间的关系是线性的、单调的还是更复杂的。PDP是个体条件期望(ICE)对所有特征的平均。
  [33]提出的程序基于一组假设，这允许解释为什么模型预测单个实例的特定标签，以及对于使用决策树的几个分类模型，哪些特征对该特定实例最有影响。该框架提供了局部解释向量作为类概率梯度，生成数据空间中每个感兴趣点的相关特征。对于这样的梯度信息不能明确计算的模型，作者采用了模型的概率近似模拟来解释。对于解释随机森林系统[34]、朴素贝叶斯分类器[35-37]、支持向量机[38,39]或其他早期机器学习预测方法[40]的早期研究，我们不做进一步评论。

DNN解释器的方法和性质

  在过去的几年里，DNN在推理任务中的重要性迅速增长，随着这些模型的复杂性的增加，对更好的解释的需求也在增加。最常用的用于图像或视频处理的DNN[41-43]是卷积神经网络(Convolutional Neural Networks, CNNs)[44]，用于视频的[43]或文本序列的循环神经网络(Recurrent Neural Networks, RNNs)[45]，特别是用于语言建模的[46]Long - short - term Memory Networks (LSTMs)[47]。目前有一些关于解释几个机器学习黑盒(所谓的XAI)的方法的一般性调查，这些黑盒覆盖了基于人工智能的广泛范围;例如，见[48,49]。然而，我们只想专注于黑盒DNN并加深其洞察力，特别是在计算机视觉方面。在下文中，我们将描述这些任务中最先进的解释器的方法、算法和工具。获取知识的系统过程被描述为一种方法，而这个过程中的器皿被描述为一种工具。算法是明确定义的指令的有限序列，通常用于解决一类特定问题或在方法中执行计算。问题在于，一些解释方法反过来又是黑匣子。白盒解释器使用获得见解并显示所有因果效应的方法，例如线性回归或决策树。黑盒解释器不需要访问内部结构，也不会公开所有功能交互。
解释方法主要有两种：

• 预先或本质上可解释的模型[50]。预先系统从模型的输入开始，一个参数一个参数地解释模型，例如，使人们能够判断哪些决策是逐步做出的，直到预测;
• 事后技术需要将结果的可解释性放入模型中，例如标记输入数据的哪一部分负责最终决策，例如在LIMEs中。这些方法可以更容易地应用于不同的模型，但对整个模型的描述较少。

它们还可以分为:

• 局部的;该模型只能针对每个单一预测进行解释；
• 全局的;整个系统可以被解释，并且从输入到每个可能的结果都可以遵循逻辑。

它们还可以分为：

• 特定于模型，与特定类型的黑匣子或数据相关；
• 模型不可知，无差别可用。

一般来说，可以说事前的、全局的、与模型无关的系统优于事后的、局部的、特定于模型的系统。现在，我们研究解释器所使用的算法：

• 应用反卷积或反演 DNN 来创建适合网络所需输出、特殊层或单个单元的典型输入或输入部分（图 5 [51,52]）；
• 另一种方法是对网络部分（例如层）进行分解、隔离、转移或限制，以进一步了解架构的单个部分影响结果的方式[53]，或深度泰勒分解（DTD）[54]。自动规则提取和决策树也扎根于此领域；
  

决策树不适用于DNN解释

  TREPAN 是一种从经过训练的神经网络中提取可理解的符号表示的算法。它查询给定的网络以归纳出描述网络所代表的概念的决策树。作者证明，TREPAN能够生成精确且易于理解的决策树，并对从中提取决策树的网络保持高度的保真度。根据DeepRED的作者，他们的方法是首次尝试提取规则，使DNN的决策更透明。决策树自20世纪90年代以来就被用于解释机器学习任务，但在DNN中，决策树的生成成本很高，而且由于树的规模和数量必须不断增加，因此其可理解性受到了影响。决策树能够完整地解释一个模型，但DNN在可理解性方面存在冲突。问题是，难以理解的决策树可能并不比最初的DNN更具解释性。此外，无法编码循环使得大多数算法难以解释，更不用说由递归DNN编码的启发式算法了。

所选DNN解释器

  让我们对所选的解释器模型进行技术概述;我们专注于计算机视觉的范畴：反事实影响评估(counterfacts Impact Evaluation, CIE)方法[77,78]是一种对不同预测进行比较的局部方法。反事实是相对的。它们解释了为什么做出了一个决定而不是另一个决定。预测的反事实解释可以定义为对特征值的最小更改，从而将预测更改为预定义的输出。它们可以用于具有任何数据类型的DNN。
  一个经常与可视化和理解卷积神经网络相关的著名著作是DeconvNet [51]:DeconvNet是一个向后卷积网络的计算，它重用每一层的权值，从输出层返回到输入图像。所采用的机制是反卷积和反池化，它们是专为具有卷积、最大池化和ReLU的 CNN 设计的。该方法使创建输入图像的特征图成为可能，该特征图最能激活特定的隐藏单元，并与特定的预测相关联;参见图5。通过他们的传播技术，他们确定了该输出最可靠的模式。这些模式在输入空间中可视化。DeconvNet 仅限于最大池化层，但反池化使用近似逆。缺少可以直接将预测与创建的输入模式联系起来的特定理论标准。为了缩小这一差距，参考文献[55]在 Zeiler 和 Fergus 的初步尝试之后提出了一种新的有效方法。他们用步幅增加的卷积层取代了最大池化，并将该方法称为全卷积网络。图像识别基准测试的表现也相似。通过这种方法，他们能够通过引入 DeconvNet 的新颖变体来分析神经网络，以可视化 CNN 更高网络层学到的概念。最大池层的问题是它们通常是不可逆的。这就是 Zeiler 和 Fergus 计算每个池化区域内最大值位置并在 DeconvNet 中使用这些“开关”进行判别性重建的原因。Springenberg 等人不使用最大池化。可以直接显示学习到的特征，而无需以图像为条件。此外，对于更高的层，它们比以前的方法产生了更清晰、更容易识别的描述性图像区域的可视化。这与更高层次学习更多不变表示的事实是一致的。Nie等人[79]批评了DeconvNet或GBP等方法，它们产生的可视化效果比地图更容易被人理解，而不是对类别敏感。他们仅进行了部分图像重建，没有强调与类相关的像素或呈现学习到的权重，因此没有提供任何附加或解释价值。在他们的工作中，作者从随机三层 CNN 开始，后来将其推广到更现实的案例。他们解释说，GBP和DeconvNet基本上都是在执行局部图像恢复，这验证了它们的类不敏感属性，而不是显著性映射。除此之外，DeconvNet依赖max-pooling来恢复输入。Nie等人揭示，GBP和DeconvNet都使用的反向ReLU，以及 CNN 中的局部连接，负责人类可解释的可视化。最后，作者原则上得出结论：DeconvNet 或 GBP 与神经网络的决策无关。
  Yosinski等人[61]介绍了两种工具来帮助以全局方式解释 DNN。首先，他们展示了经过训练的CNN处理图像或图像序列时，每一层产生的神经元的激活情况。他们发现，观察响应输入图像而发生变化的活动，有助于建立有关这些神经网络内部机制的有价值的直觉。第二个工具是建立在以前的版本上的，用来计算辨识度较低的图像。一些新的正则化方法结合在一起产生了质量上更清晰和更可解释的可视化效果，并通过图像空间的正则化优化在每一层绘制特征。
  一种基于梯度的方法是分层关联传播(Layerwise Relevance Propagation, LRP)[53]，该方法存在梯度破碎问题；参见图7。它依赖于守恒原理来传播结果决策而不使用梯度。其背后的想法是将预测函数分解为分层相关值的总和。当LRP应用于深度ReLU网络时，LRP可以理解为预测的深度泰勒分解。这一原则确保预测活动通过所有层完全重新分配到输入变量上。有关如何用深度泰勒分解解释非线性分类决策的更多信息，请参阅[54]。他们将网络分类决策分解为其输入元素的贡献，并评估单个像素在图像分类任务中的重要性。他们的方法通过将输出的解释反向传播到输入层并在热图中显示连接，有效地利用了网络的结构。参考文献[60]研究了计算机视觉应用中计算热图的不同方法。他们得出的结论是，分层相关性传播（例如 LRP）在解释 DNN 得出特定分类决策的原因方面在质量和数量上优于基于敏感性的方法或反卷积方法 [51]。较差的方法噪音更大，不太适合识别分类任务中最重要的区域。他们的工作没有给出如何对图像区域的优先级进行更详细的分析，甚至如何量化热图质量的答案。参考文献[80]批评DeconvNet、引导反向传播和LRP等解释方法并不能对线性模型产生理论上正确的解释，而且它们对理解的贡献也很少。基于对线性模型的分析（另见[54,81]），他们提出了一种概括，通过考虑数据分布，产生了两种神经元解释技术PatternNet（用于信号可视化）和PatternAttribution（用于分解方法）。他们证明了他们的方法是合理的，并且在解释和理解 DNN 方面实现了理论、定性和定量的改进。

  此外，全局和事前模型是[82]提出的描述和预测的联合框架。该模型通过透明近似（BETA）创建黑盒解释。它学习一个紧凑的两级决策集，其中每个规则明确地解释模型行为的一部分，并且是一个组合目标函数，用于优化以下方面：解释和模型之间的高度一致性；解释中的决策规则之间很少有重叠；解释决策集是轻量且小的。
  [59] 实现了另一种技术。为了找到原型类成员，他们创建了最有可能被预测为经过训练的 CNN 的某些类别的输入图像（图 8）。他们的工具是泰勒级数，基于偏导数来显示图像中的输入灵敏度。几年后，参考文献[58]通过深度生成器网络合成神经网络中神经元的首选输入以实现激活最大化，从而进一步发展了这一想法。第一个算法是生成器，它创建看起来真实的合成原型类成员。第二种算法是人工图像的黑盒分类器，其分类概率应最大化。要查看原型图像，请参见图 9。另一种相关的基于导数的方法是 DeepLift [84]。它通过网络传播激活差异而不是梯度。偏导数不能解释单个决策，而是指出图像中的哪些变化可能会导致预测发生变化。


  参考文献[85]表明一些卷积层充当无监督对象检测器。他们使用全局平均池化并创建了 pre-softmax 层的热图，该热图指出了图像中负责预测的区域。该方法称为类激活映射（CAM）。在此基础上创建了梯度加权类激活映射（Grad-CAM）[86]（见图 10），它适用于多个 CNN 模型系列、分类、图像字幕、视觉问答、强化学习或再训练。GradCAM 可以通过使用梯度信息来解释结果决策，以了解 CNN 最后一个卷积层中每个神经元的重要性。Grad-CAM 局部化与现有的高分辨率可视化相结合，以获得既高分辨率又具有类别区分性的引导 Grad-CAM 可视化。在 CAM 和 Grad-CAM 方法的基础上构建了 Grad-CAM++ [87]，它为基于 CNN 的多个任务（例如分类、图像字幕或动作识别）的预测提供了人类可解释的视觉解释。Grad-CAM++ 将卷积后层的特征图的正偏导数与加权特殊类别分数相结合。该方法可以为 CNN 预测提供更好的视觉解释，特别是更好的对象定位，并通过考虑图像中多个对象实例的出现来进行解释。

  为了标记图像中最负责的像素或像素区域以进行特殊类别的预测，这是增强人类理解的一个有前途的想法。[88] 的方法侧重于 RNN 生成的标题中的单个单词，并突出显示对于该单词最重要的图像区域；参见图 11。它通过相关图像标题“一只狗站在硬木地板上”的单词“狗”的突出显示区域显示注意力图的可视化。底层机制依赖于 RNN 和交叉注意力的组合，针对为给定图像生成标题的任务进行训练。这样的任务需要相应的数据，即图像及其相关标题的组合。解释是正确的，尽管分类器的标题并不完全正确，因为狗躺在地板上而不是站立。解释者只是解释给定的预测或其中的某个部分，无论它是否错误。

  更通用的是[7]提出的局部可解释模型不可知论解释(LIMEs)，它可以解释任何不可知论的黑盒分类器和任何数据的预测;参见图6。这是一个事后的、局部的模型，是可解释的和模型无关的。LIMEs关注特征的重要性，并给出结果解释:它们突出显示输入图像区域的超像素，或与给定预测相关的文本或表格中的单词。当模型的复杂性保持在低水平时，模型将解释与预测之间的距离最小化。这确保了可解释性和局部保真度之间的权衡。透明度的一个挑战是，LIMEs本身就是一个黑匣子，文献[89]指出，与其他被考虑的解释者Grad-CAM、Smooth-Grad和IG(下文描述)相比，LIMEs在其提出的评估指标正确性、一致性和可信度方面表现不佳。此外，我们只能解释可以分割成超像素的图像。作者没有描述如何解释视频对象检测或分割网络。一个有趣的方法是在LIMEs上使用原型评估器。Submodular Pick (SP-LIME)模型可以判断你是否可以信任整个模型。通过子模块优化，用LIMEs选取了一组精选的具有代表性的实例。用户应该根据所选实例的特征词来评估黑盒。可以想象，它还认识到对对抗性例子的偏见或系统敏感性。有了这些知识，也可以改进糟糕的模型。SP-LIME 是用文本数据进行研究的，但作者声称它可以转移到任何数据类型的模型中。

  另一种专注于图像中最具辨别力的区域来解释自动决策的方法是深度视觉解释（DVE）[90]；参见图 12。这是受到 CAM 和 Grad-CAM 的启发，并在 COCO 数据集 [91] 中随机选择的图像上测试了解释器，并将其应用于使用 Kullback–Leibler (KL) 散度 [92] 的预训练神经网络 VGG-16。他们通过考虑傅里叶空间中高低空间尺度的激活来捕获输入图像的判别区域。

  文献[93]利用条件多元模型预测差异分析(PDA)，重点解释了在分类任务中自然图像和医学图像的可视化。他们的目标是改进和解释dnn。他们的技术是基于[94]的单变量方法和输入特征相对于类的相关性可以通过测量在特征被移除时预测的变化来估计。Zintgraf等人利用他们对图像的了解，通过有策略地选择连通像素块作为特征集，一次去除几个特征。他们考虑的不是所有单独的像素，而是所有特殊大小的补丁，以滑动窗口的方式实现。他们可视化了不同窗口大小以及边缘采样与条件采样的效果，并显示了不同隐藏层和最高得分类别的特征图。
  参考文献 [95] 描述了 Smooth-Grad，它可以减少视觉噪声，从而改善 DNN 如何做出分类决策的视觉解释。将他们的工作与几种基于梯度的灵敏度图方法（例如 LRP、DeepLift 和 Integrated Gradients (IG) [96]）进行比较，这些方法估计每个像素的全局重要性并创建显着图，结果表明 Smooth-Grad 专注于局部灵敏度和计算具有由输入图像的几个小扰动产生的平滑效果的平均图。通过对这些噪声图像进行进一步训练，并最终通过锐化它们来影响敏感度图的质量，可以增强效果。[89]的工作评估了解释器 LIME、Grad-CAM、Smooth-Grad 和 IG 的属性正确性、一致性和置信度，得出的结果是 Grad-CAM 通常比其他解释器表现更好。
  为了提高和扩展对多模态解释(multi - modal Explanation, ME)的理解[97]，一种局部的事后方法通过众包的方式，在两个新的解释数据集的帮助下，给出了预测的视觉和文本证明。采用的任务为活动识别的分类决策和视觉问题回答;参见图13。视觉解释是由一种注意力机制创造的，这种机制传达了关于图像中哪个区域对决策至关重要的知识。该解释指导从 LSTM 特征生成文本论证，这是对所有可能论证的分类问题的预测。

  [98] 创建了一种新的、广泛的可视化方法（见图 14），显示深度学习模型已经学习了哪些特征以及这些特征如何相互作用以进行预测。他们的模型称为 Summit，结合了两个可扩展的工具：（1）激活聚合发现重要神经元；(2)受神经元影响的聚集识别这些神经元之间的关系。创建了一个属性图，揭示和总结了有助于模型结果的关键神经元关联和子结构。Summit结合了著名的方法，例如计算特征的合成原型，以及展示来自数据集的示例，以最大化不同层的特殊神经元。在图的更深处，我们将研究底层特性是如何结合起来创建高级特性的。同样新颖的是，它利用了神经网络的激活图谱[63];参见图15。该方法使用特征反演来可视化图像分类网络中的数百万个激活，以创建一个可探索的网络已学习特征的激活图谱。他们的方法能够揭示模型中的视觉抽象，甚至可以揭示模型中可以利用的高级误解。激活图集是一种观察卷积视觉网络的新颖方法，代表了隐藏层中概念的全局、分层和人类可解释的概述。


  在表 1 中，我们概述了所提供的 DNN 解释器，按日期和年份排序。介绍了主要技术和性能并进行了简要比较。与模型无关的属性缩写为 agn。您可以首先根据数据类型和所需方法来确定自己的方向，以找到合适的模型。在每种情况下选择进一步开发的变体是有意义的，例如，用全卷积网络代替 DeconvNet，或用 GRAD-Cam 代替 LIME、IG 或 Smooth-Grad。

理解与解释方法分析

  通过概述机器学习的可解释性，参考文献[64]尝试描述解释。他们定义了一些关键术语，并回顾了一些实现经典可解释人工智能系统的方法，同时也关注深度学习任务。此外，他们研究了单层、单个单元和表示向量在解释深度网络表示中的作用。最后，他们提出了一个分类法来检查这些解释所解释的内容。他们总结说，解释指标的最佳目的或类型并不是显而易见的，也不应该是，并建议将不同领域的解释观点结合起来。
  另一种理解方法是评估解释的人类可解释性[110]。他们研究了ML系统的输出与输入的一致性以及假设的基本原理。因此，他们进行了用户研究，以确定哪种复杂性的增加对人类验证基本原理所需的时间有最主要的影响，以及哪种似乎更不敏感。他们的研究量化了人类最能理解的解释。作为主要结果，他们发现，一般来说，更复杂的问题会导致更高的响应时间和更低的满意度。
  即使是简单的可解释的解释器也大多不会量化用户是否可以信任它们。一项关于信任在黑盒模型和事后解释中的研究[111]提供了文献和黑盒系统类型中的主要问题。他们评估了三种不同的解释方法:(1)基于用户的初始信任，(2)使用者对三种不同的事后解释方法所提供的解释的信任程度，(3) 通过受试者内设计研究建立对黑匣子的信任。参与者被问到他们是否相信一个特殊的模型在现实世界中运行良好，是否认为它能够区分不同的类别，以及为什么。他们的工作结果得出这样的结论：虽然黑盒预测模型和解释是相互独立的，但信任解释方法是信任预测模型的一个重要方面。
  [112] 的研究中讨论了一些现有的扰动分析方法；参见图 16。他们的工作基于[103]，发现扰动对网络输出产生对抗性影响。极值扰动是输入图像中对 DNN 中某个神经元的激活影响最大的区域。测量图像扰动的影响是一系列重要的归因方法。归因的目的是通过观察网络输入的哪些部分是决定其预测的最主要的部分来描述DNN的响应，这主要是通过几种反向传播来实现的。Fong等人研究了它们作为面积函数的作用。特别是，他们使用表示反转技术可视化了扰动和未扰动激活之间的差异。他们引入了 TorchRay [113]，一个 PyTorch 可解释性库。

  Fan等[114]综述了现有可解释性研究的关键思想、意义和局限性。他们提出了一个以医学为重点的解释方法的综合分类学。为了克服现有深度重构网络的弱点，同时将基于模型的方法的可解释性传递给混合dnn，他们使用了他们最近提出的ACID框架。这允许数据驱动的先验和压缩感知(CS)模型的先验的协同集成。一些结果可以从他们自己的实现中可视化，并链接到GitHub上的开源相关代码;见[115]。最后，他们得出结论，一个统一的、负责任的解释框架是将可解释性研究提升到一个新的水平的关键。
  Burkart和Huber[116]在他们的工作中，对不同的解释方法进行了形式化的描述，并对整个解释链的相应分类和回归文献进行了回顾。他们给出了可解释性的原因和评估，并介绍了需要XAI的示例域。概念和定义已经制定出来。在主要部分中，描述了代理模型，其中解释是直接从黑盒模型推断出来的。除此之外，作者还指定了可以直接生成解释的方法。还强调了数据、数据质量和本体的各个方面。这项广泛研究的结论是，在给出解释时，人们能争取的最多的是一种近似于人类可以理解的决策过程。这就是为什么在解释中，各种环境条件都会发挥作用，因为讲述故事的人试图建立对她/他的决定的信任和理解。
  另一篇论文[117]概述了可解释性方法，并定义了可解释性ML的新特征，例如隐私性、鲁棒性、因果性或信仰性。相关的开源软件工具有助于探索和理解ML模型的行为，并描述神秘和不清楚的ML模型。这些工具有助于构建可解释的模型，并包括各种可解释的机器学习方法，帮助人们理解输入和输出变量之间的联系，通过解释和验证预测模型的决策，以实现算法决策政策的清晰性、问责性和公平性。

理解 DNN 和未来工作中的未决问题

  当总结解释器的功能时，我们会注意到一些事实是难以衡量的:首先，理解决策所需的时间是难以获得的。局部工作解释者可以为每个预测提供一个根本案例，但是：需要查看多少示例才能确保所有结果以及黑匣子都是可靠的？除此之外，几种解释者的模型复杂性也有所不同。复杂性通常被视为与可解释性相对的一个术语。例如，黑盒的复杂性可以表示为神经网络中非零权值的数量或决策树的深度。然而，解释的复杂性可能取决于黑匣子的复杂性。
  在数据探索方面还需要做更多的工作:上述文章中可解释的数据主要是图像、文本和表格数据，这些数据对人类来说都是很容易解释的数据。缺少的是一般数据，如矢量、矩阵或复杂的时空数字。当然，在分析之前，它们必须经过转换，才能为我们的大脑所理解。序列、网络等可能是黑盒的输入，但直到现在，这些模型还没有得到解释。
  如何量化解释的质量和等级，目前尚无定论。这些都是有待解决的问题。开发解释器的适当词汇表并使其与领域的语义和词汇表保持一致是一个挑战。有人提出了一些评价解释者的指标，例如因果关系([68]或[89])，但不幸的是，其中许多指标往往存在重大缺陷，如计算成本[118]或只关注一个好的解释者的一个理想属性[119]。然而，具有DNN模型特性的定义，如可靠性、健全性、完整性、紧凑性、可理解性，以及算法的断点知识仍然缺乏。这对于dnn来说是非常困难的，因为dnn具有深刻的非线性结构，并且需要以一致、可理解和透明的方式对大量参数进行优化和最终解释。然而，为了描述模型的必要属性，需要关注统一的定义。考虑鲁棒性是很重要的，鲁棒性表明系统对架构或测试数据的小变化有多大的鲁棒性[67120]，这可以作为可靠性的参考。为了比较甚至评估模型，也需要公平，这需要模型保证群体免受[48]歧视的保护，可靠性需要量化。除此之外，一个能够发现偏见或识别并抵御敌对攻击的评估者将是有益的。我们的进一步工作将在这里进行。

总结

  在本文中，我们总结了目前关于深度神经网络的解释和研究现状。首先，我们给出了理解黑盒dnn的必要性的原因:人类无法理解的敌对攻击对dnn的鲁棒性构成了严重威胁。此外，我们还阐述了模型会学习到受污染的训练数据从而造成偏见；因此，通过广泛应用，它们可能对加剧不公平负有部分责任。另一方面，新的法律要求用户有权询问智能决策系统如何做出决策。第一个解决方案是开发解释器。我们对解释系统的主要定义、属性、工具和方法进行了分类介绍。与其他人不同的是，据我们所知，我们专注于经过验证的解释模型，主要是在计算机视觉领域，并解释了它们的发展和优缺点。我们给出了解释的不同表示，并根据应用程序、数据和属性区分了解释者。最后，我们介绍了分析或评估解释系统的调查和研究，并试图从总体上量化机器理解。这导致人们认识到，解决开放问题仍然需要对解释器进行统一的定义和评价系统。最后，展望进一步的想法，如量化解释的等级或直接评估模型，使这项工作有价值。