李宏毅老师-机器学习的可解释性 Part2

慢慢来，会更好！
大家好，我是一个想研究又不会研究的研究生
陪伴大家一起学习成长！

我们接着来学习Global explanation
通俗来讲，就是让模型知道一只猫应该长什么样子。

假设已经训练好一个CNN，将一张图片X经过Convolution层之后，得到一个feature map。
以filter1为例，通过filter1得到的feature map中大的值可以理解为filter1检测到的该图片的主要特征（pattern）。

现在我们想知道，对于任意一张图片，filter1想要看的pattern到底长什么样的。
所以我们要创造一张图片，这张图片包含filter1所要detect的pattern。
通过看图片中的内容，就可以知道filter1到底负责detect什么东西。

怎么找这张图片呢？

假设filter1对应的feature map中的每个特征值为 [公式] ，找到一个X，让 [公式] 的总和最大，记录这个X为X*。
通过观察X*长什么样子就可以推断出filter1可以detect一张图片中的什么特征。

以手写数字为例，
我们现在想找到一个X，让输出的某一类别的可能性越高越好。
从下图可以看出，让整个网络输出的某一类别的可能性最高，对应是并不是我们的手写数字
而是一堆什么都不知道的杂讯，没有办法看到数字

但是，这不足为奇。我们以前就学过可以添加一些杂讯还能让机器判断出正确的结果

假如我们需要看到的数字，那该怎么办呢？
可以加一些限制

如果想要看到非常清晰的资料，我们可以使用generator

上一篇文章主要讲NN如何识别一张图片是猫，本篇文章主要让NN知道猫应该长什么样子

最后，我们还可以利用一个线性模型去拟合一个黑盒子的行为，
这样就可以利用一个线性模型分析一个黑盒子在做什么
如果黑盒子比较复杂，我们也可以看黑盒子local部分在做什么