Explainable AI初探

1. 我们为什么需要可解释性？

可解释性其实没有严格的数学定义，通常我们可以理解为机器学习的可解释性刻画了「人类对模型决策或预测结果的理解程度」，机器学习模型的可解释性越高，我们就越容易理解模型为什么做出某些决策或预测。

关于机器学习可解释性(Interpretability)，或者说是 XAI(Explainable Artificial Intelligence)，其实就是机器学习研究者们始终存在的一个担忧：我们不理解现有的很多深度神经网络为什么会做出某些决策。我们知道现在的模型既可以完胜世界围棋冠军，图形识别语音识别接近满分，但我们始终对这些预测抱有一丝戒备之心，因为我们不完全了解他们的预测依据是什么，不确定他们什么时候会出现错误。

作为人类，我们作出的大多数决策都是基于逻辑和推理，因此被视为“黑盒子”的深度模型作出决策的模式无疑会受到怀疑。在很多现实情况下，有偏差的模型可能会导致真正的负面影响。这包括预测潜在的犯罪、司法量刑、信用评分、欺诈发现、健康评估、贷款借款、自动驾驶等，其中模型的理解和解释是最重要的。K. Crawford在《Artificial Intelligence’s White Guy Problem》这篇文章中向我们展示了机器学习应用的案例，包括图像分类、犯罪风险预测、交付服务可用性等等，这些应用对黑人极不友善。 如果我们想利用机器学习来解决这些问题，所有这些真实世界的场景都在告诉我们模型解释是多么的重要。

同时，对模型的理解与解释也有助于我们对模型进行调试与审核，它为模型的改进提供了指导方向。

2. 可解释性方法的分类

根据不同的标准对可解释性方法进行分类：¹

（1）自解释 or 事后解释

• 自解释性 是指本身就具有可解释性的模型；
• 事后可解释性 是指模型训练完成后运用解释方法来对其进行解释，这是与模型无关的。
  事后解释方法也可以应用于自解释模型上。例如，可以计算决策树的置换特征重要性。

（2）特定于模型(Model-specific)的 or 与模型无关(Model-agnostic)的

• 特定于模型的解释方法 用于对特定的模型进行解释；
• 与模型无关的解释方法 可以用于任何机器学习模型，并在模型训练完成之后应用（即事后解释方法）。这些与模型无关的方法通常通过分析特征的输入和输出对来实现。

（3）全局(Global) or 局部(Local)

• 全局可解释性 是基于对模型特征和每个学习部分（例如权重、其他参数和结构）的整体认知来理解模型是如何做出决策的。全局的可解释性有助于基于特征来理解结果的分布。
  比如 SHAP方法²(SHapley Additive ExPlanations)，通过计算每个特征对预测的贡献来解释实例 $x$ 的预测。
• 局部可解释性 ：对于局部可解释性，我们不关心模型的内在结构或假设，只把它当作一个黑箱子。为了理解单个数据点的预测决策，我们专门关注该数据点，并在该点附近的特征空间中查看局部子区域，并尝试根据此局部区域了解该点的模型决策。
  比如 LIME方法³(Local Interpretable Model-Agnostic Explanations)，在输入值的周围做微小的扰动，观察模型的预测行为，然后根据这些扰动的数据点距离原始数据点的距离分配权重，基于它们学习得到一个可解释的模型和预测结果。

3. 读论文：Benchmarking Deep Learning Interpretability in Time Series Predictions⁴

这篇文章主要介绍的是深度神经网络在时间序列分类问题上的可解释研究。

3.1 问题定义

• 深度神经网络的输入是一个多元时间序列：$X=[x_1,x_2,...,x_T]\in R^{N\times T}$
  其中，$N$ 表示特征的数量，$T$ 表示时间步的数量。
  $X_{i,t}$ 表示在时间 $t$ 时的特征 $i$
  $X_{:,t}\in R^N$ 表示在 $t$ 时间的所有输入特征
  $X_{i,:}\in R^T$ 表示在所有时间的输入特征 $i$
• 深度神经网络的输出：$S(X)=[S_1(X),S_2(X),...,S_C(X)]$
  其中 $C$ 是类别的数量。
• Saliency method 的输出：$R(X)\in R^{N\times T}$， $R_{i,t}(X)$ 表示 特征 $i$ 在时间 $t$ 的相关性分数。

3.2 数据集说明

（1）合成数据集

通过实验发现，通过 显著图(saliency map) 来对多元时间序列数据集进行可解释性评估是不可行的，于是作者设计多个合成数据集，并将 有识别能力的信号(discriminating signal) 分散在由 time 和 feature 组成的坐标系中，使其能够分别反映出时间维度和特征维度的重要性。

每个合成数据集由7个不同的过程生成：

• 均值和单位方差为零的高斯分布
• 带有高斯噪声的标准自回归时间序列的独立序列
• 带有高斯噪声的标准连续自回归时间序列
• 根据高斯过程混合模型采样
• 从调和函数中非均匀抽样
• 带高斯噪声的标准非线性自回归移动平均时间序列
• 非均匀采样的伪周期函数与高斯噪声

（2）MNIST

MNIST数据集是手写数字集，这里将图像数据看成是一个时间序列问题的数据，如果一副图像的大小为N1*N2，则N1表示特征维度，N2表示时间维度。

---

1. Molnar C. Interpretable machine learning[M]. Lulu. com, 2020. ↩︎

2. Lundberg S M, Lee S I. A unified approach to interpreting model predictions[J]. Advances in neural information processing systems, 2017, 30. ↩︎

3. Ribeiro M T, Singh S, Guestrin C. " Why should i trust you?" Explaining the predictions of any classifier[C]//Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016: 1135-1144. ↩︎

4. Ismail A A, Gunady M, Corrada Bravo H, et al. Benchmarking deep learning interpretability in time series predictions[J]. Advances in neural information processing systems, 2020, 33: 6441-6452. ↩︎