1. 原文：Towards Explanation of DNN-based Prediction with Guided Feature Inversion
作者来自德州农机大学
关键词：机器学习解释；深度学习；中间层；引导特征反演
1.1 引言
DNN通常可解释性不高且易受原始数据偏误影响，提高模型可解释性可优化上述两个问题。模型层面通常解释一组神经元的行为，实例层面通常解释一组数据的特征，后者比前者直观。传统实例层面通常使用局部表示方法，仅观察输入输出的相应变化，这忽略了对内部层的解释且可能导致网络本身的变化。常用的比如CNN的特征反演又不够精确。通过添加类依赖约束和利用中间激活值作为掩码的集成，本文提出了一种有监督的实例层面的DNN特征反演。
1.2 相关工作
通过特征反演可视化DNN特征表示和基于DNN的预测的实例级解释是本文最相关的两条工作。Mahendran和Vedaldi按顺序反转来自不同层的中间CNN特征来表示对CNN的工作机制的认知。现有解释方法的很大一部分基于灵敏度分析，即根据输入计算分类输出的灵敏度。基于梯度的方法使用反向传播计算类别得分相对于输入图像的偏导数。基于扰动的解释的思路是扰乱原始输入并观察DNN模型的预测概率变化。除了这两种解释之外，最近的一些工作提出通过调查DNN隐藏层来提供解释。
1.3 基于DNN的预测解释
这里介绍了解释基于DNN的预测的解释框架：主要思路是识别同时编码目标对象的位置信息并匹配原始图像的特征表示的图像区域。
1.3.1 问题阐述
找出输入x中的导致DNN进行预测的因素，并在图像识别上做验证：具有较高分数的像素表示分类任务的较高相关性。
1.3.2 通过特征反演进行解释
来自前几层特征的重建结果几乎保留了所有详细的图像信息，而来自最后几层的反演仅包含原始图像的粗略形状。在层1_0处反转特征表示的过程可以被视为计算表示f_l0（xa）的近似反演f-1。反演结果和原始数据的差距应尽可能小:
用于量化输入像素和输出之间的相关性的贡献分数可以从反演结果确定，预期的反转图像表示被重新表示为原始图像x_a和另一个噪声背景图像p的加权和：
这里不是直接找到反演图像表示，而是优化权重向量m。该方程不仅创建了与第1_0层的内部特征表示相匹配的图像Φ（x_a，m），而且还保留了m中的对象定位信息：
1.3.3 类区分解释
前述方法没有利用其他层的信息，也未作本地特征间的区分。为此，我们渲染引导特征重建结果Φ（xa）以强烈激活给定目标标签c的CNN的最后隐藏层L处的softmax概率值fL c，并减少对其他类的激活。
1.3.4 利用中间层的正则化
上述方法仍然具有产生不希望的伪特征的弱点，而没有对优化过程施加正则化。为了解决这个问题，我们通过利用CNN的中间激活特征在之前施加更强的自然图像。这里优化如下：
在应用于目标函数之前，我们仍然需要将掩模从小分辨率放大到与原始输入相同的分辨率，我们期望引导的反演表示Φ（x_a，m）和背景表示Φbд（x_a，m）变得不太可能受到伪像的影响。
1.4 实验
首先，本文在模型体系结构的各种设置下可视化ImageNet数据集上的解释结果，在实验设置和可视化之后，展示在对抗性攻击下的不同CNN网络的解释结果。
其次，本文通过将其应用于弱监督对象本地化任务来测试本地化性能，在不同显著性下测试每种网络不同层的本地结果。
第三，本文讨论了算法的类可辨性，在指向游戏中的性能与Grad，Grad-CAM和基线方法中心进行比较，该中心利用图像中心作为最大点。
最后，本文通过将其应用于显着对象检测任务来评估所提出方法的引导特征反演部分，基于量化的弱监督显著物体检测。
1.5 在显著性检测中，本文在精度召回和MAE上取得了比SS和SIM更好的得分。