李宏毅老师-机器学习的可解释性 Part1

慢慢来，会更好！
大家好，我是一个想研究又不会研究的研究生
陪伴大家一起学习成长！

我们除了要知道答案之外，还要让机器给我们一个答案的理由，
这就是Explainable machine 

那为什么我们需要Explainable ML呢？

神马：当旁边有人围观的时候，它就能根据身边人的反应，通过剁马蹄来计算数学问题
而当没有人围观的时候，它就计算不出来

decision tree：有很多节点，每个节点都有一个问题，决定向左向右，走到末尾做出最终决定

但是，decision tree就是我们所需要的吗？
decision tree也有可能是非常复杂的
我们在现实中往往使用的是很多decision tree

那么，explainable ML的目标是什么呢？

说白了，就是我们需要一个理由让身边的人满意。

Explainable ML有2大类
一是local explanation：为什么那是一只猫
二是Global explanation：现在没有给任何图片，当我们有一堆参数的时候，
对于参数而言，一只猫看起来是什么样的

我们先来看local explanation
为什么看起来像一只猫
其实我们只需要判断它的哪一个一组成部分在起着真正的作用，让其认为是一只猫

具体方法：我们可以删除或者修改某一组成部分，看看它对于结果的影响
若结果有较大变化，则说明有很大影响。反之，则没有。

接下来，还有一个更进阶的方法

我们来看一个宝可梦和数码宝贝的例子

那机器到底是根据什么样的规则来判断出来的呢？

再看一个“搞笑”的例子
机器通过识别左下角的英文字符来判断那是一匹马，而不是通过马的特征来判断

那么有没有什么好的方法呢？
我们可以使用smoothgrad

但是呢，gradient不总是反应一个组成部分的重要性

我们可以使用IG来判断一个组成部分的重要性

那么，一个network是如何处理输入的数据的呢？ 
1.用人眼观察
2.用probing