可解释性AI

1 可解释性AI

    如今，AI已经可以做决定，但我们仍不知道这个决定是如何做出的。AI就像一个黑匣子，能自己做出决定，但是人们并不清楚其中缘由。比如我们建立一个AI模型，输入数据，然后再输出结果，但有一个问题就是我们不能解释AI为何会得出这样的结论。人们需要了解AI如何得出某个结论背后的原因，而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。

    端到端的深度学习，一个广为诟病的问题是其不透明性或不可解释性，比如说识别一张照片中的物体，机器做出的判断是基于哪些有效特征，我们无从得知。在计算机视觉中，神经网络是准确的，但无法解释。决策树是可解释的，但不准确。

    随着神经网络模型越来越复杂，在准确性越来越高的同时，我们不得不在模型的准确性和可解释性之间做出妥协，因为两者常难以兼顾。尤其随着在深度学习模型上进一步推进，经常会牵扯到几百万个乃至数十亿的参数。结果是，有时候研究人员做出一个行之有效的模型，却并不能完全理解其中的缘由。如用一个高准确率的模型来预测一个人患病的几率，却只能给医生呈现一个数字，或是“阳性”的诊断，而无具体佐证，那么，即便得到的结论是正确的，在医生看来也用处不大——因为医生并不知其结论是如何被推导出的。

    这意味着金融和医学等应用领域的从业者被迫陷入两难境地：选择一个无法解释的、准确的模型，还是一个不准确的、可解释的模型。

2 决策树

    另一种方法是用可解释的模型代替神经网络。深度学习之前，决策树是准确性和可解释性的黄金标准。下面演示决策树的可解释性，它通过将每个预测分解为一系列决策来工作。

    与仅仅预测“super burger”或“waffle fries”不同，上面的决策树将输出一系列导致最终预测的决策。然后可以分别对这些中间决策进行验证或质疑。因此，经典的机器学习将这种模型称为“可解释的”。
但是，就准确性而言，决策树在图像分类数据集上落后于神经网络达40%。神经网络和决策树混合算法也表现不佳，甚至在 CIFAR10 数据集上都无法和神经网络相提并论。

3 进入神经支持的决策树

    将神经网络和决策树结合起来，保持高层次的可解释性，同时用神经网络进行低层次的决策。如下图所示，研究者称这种模型为「神经支持决策树（NBDT）」，并表示这种模型在保留决策树的可解释性的同时，也能够媲美神经网络的准确性。

具体算法参考

• https://arxiv.org/pdf/2004.00221.pdf
• https://zhuanlan.zhihu.com/p/136015811utm_source=qq&utm_medium=social&utm_oi=977115204467802112