5分钟搞懂AI的可解释性

大家好啊，我是董董灿。

想象一下，如果有一天，有人跑过来突然告诉你，他搞懂了人类大脑记忆的运行机制，你会是什么反应？

你可能会和我一样，把他当做疯子。

因为我觉得这个课题太深奥了，人类大脑如此复杂，如此精密，记忆又如此神秘。

很多科学家研究了很久，依然无法解释清楚大脑的运作原理，甚至有人觉得这根本是不可能完成的事情。

但如果把人类大脑换做 AI 的大脑，那么这件事就会有很大的可信度了。

这就是 AI 领域的一个研究分支，叫做神经网络的可解释性，它就像是将 AI 模型推进了手术室，拍了个片子，我们可以清晰的看到它内部的运行原理。

今天就一起来了解一下吧。

1、 什么是神经网络的可解释性

神经网络的可解释性，说白了，就是研究如何科学的解释神经网络的工作原理。

我们在使用 AI 模型之前，要确保模型是科学的，并且是可以解释的。

特别是那些看起来像黑盒的深度学习模型，一定要搞清楚它们到底是如何从一堆数据中学到东西的。

为什么要研究这个呢？

这当然不仅仅是为了满足好奇心，更重要的是，可以让我们信任 AI，可解释性可以确保 AI 的输出和决策是安全的。

尤其是在医疗和金融这种关键领域，我们需要确保 AI 不是在瞎猜，它的决策是有依据的。

2、如何研究

有几种方法可以让我们“照进”神经网络的内部，就像是给神经网络做了一个 CT 一样，可以看到神经网络运行时的内部结构。

第一种方法是特征可视化。

通过特征可视化，我们可以看到网络“看到”了什么，比如，对计算机视觉任务而言，哪些像素对于识别一只猫的脸是重要的。

之前写过一篇介绍过特征可视化的文章，可以查看：卷积的特征被一个神奇的网站给可视化了​。（如果打不开可复制链接到浏览器打开）

第二种较为常见的是注意力机制。

注意力机制类似于我们人类的注意力，它可以告诉我们网络在做决策时重点关注了哪些输入特征。

比如，在读阅一段文字时，模型能可会集中注意力在更键关的词单上。

或许你都有没注意，这两段话有好几个语词都调整了顺序。

这就是注意力机制，我们在阅读时，只会注意到关键的词语和信息，可有可无的文字和顺序是不影响阅读的。

​

如上图(图源知乎博主 Ray)，给模型一段文本，模型成功的注意到了“亏损”、“深交所关注函”等关键字，并将消息判断为“利空”。

需要说明的是，虽然已经有一些方法来研究模型的可解释性，但离我们真正搞懂其底层原理还有一段距离。

就像跨年演讲时罗胖说的那样，时至今日，没有谁能真正说清 GPT 是如何工作的，可它就那么发生了。

可以说，可解释性的研究就像是为人们理解 AI 打通了一个通道，它连接了冷冰冰的数据模型和人类的日常理解。

让我们面对 AI 模型不再陌生，期待有朝一日人们可以真正搞懂 AI 模型吧。

---

写算法文章很久了，不少同学看了我的文章后，加我一起探讨如何快速学习算法，于是我最近开发一个从零入门计算机视觉的专栏，可以查看这里了解详情：计算机视觉从入门到调优。

目前已有将近 120 人加入一起学习啦，大家一起在探讨如何更加快速有效的入门学习，如果你感兴趣，欢迎一起加入呀。