机器学习可解释性01--shap

摘要

本文介绍shap原理，并给出一个简单的示例揭示shap值得计算过程；
然后介绍如何将shap值转化为我们更容易理解的概率。

什么是shap

image.png

让机器学习获得可解释性，能够计算出每个特征对结果的一个贡献度。
shap的论文
github链接
参考blog

shap的理论是什么

博弈论和机器学习

SHAP值基于Shapley值，Shapley值是博弈论中的一个概念。但博弈论至少需要两样东西：一个游戏和一些玩家。这如何应用于机器学习的可解释性？假设我们有一个预测模型，然后：

“游戏”是复现模型的结果

“玩家”是模型中包含的特征

Shapley所做的是量化每个玩家对游戏的贡献。SHAP所做的是量化每个特征对模型所做预测的贡献。

需要强调的是，我们所谓的“游戏”只涉及单一的观察样本。一个游戏：一个观察样本。实际上，SHAP是关于预测模型的局部可解释性的。

幂集

特征的power set（幂集）
举个例子，我们可以想象一个机器学习模型(假设是线性回归，但也可以是其他任何机器学习算法)，知道这个人的年龄、性别和工作，它可以预测一个人的收入。

Shapley值是基于这样一种想法，即应该考虑每个玩家可能的组合的结果来决定单个玩家的重要性。在我们的例子中，这对应于f特征的每个可能组合(f从0到F， F是所有可用特征的数量)。

在数学中，这被称为“power set”，可以用有向无环图表示

示例

通过年龄、工作、性别来预测收入的模型

• 第一步：对特征构建幂集如下：

  
  
  image.png
• 第二步：根据构建的幂集分别构建模型

• 第三步：计算一个样本的关于年龄的shap值如下
  将该样本输入模型得到不同的结果如下：

  
  
  image.png

先计算年龄的贡献度

image.png

通过GAG计算权值

image.png

最后得到年龄的shap值

image.png

分别计算各个特征的shap值如下：
SHAP_Age(x₀) = -11.33k $

SHAP_Gender(x₀) = -2.33k $

SHAP_Job(x₀) = +46.66k $

给出计算shap值得公式如下：

image.png

• 通常情况下对于单个样本得到的shap值可以表示如下：

  
  
  image.png
  
  

  或者如下：

  
  
  image.png
  
  或者以表格的形式出现
  
  image.png

如何将shap值以概率的形式进行展示

参考博文
示例：将shap值进行概率转换，然后计算差值，看该特征是否增加了生存的概率

image.png

让我们以一个个体为例。假设已知除年龄外的所有变量，其SHAP和为0。现在假设年龄的SHAP值是2。

我们只要知道f()函数就可以量化年龄对预测的生存概率的影响：它就是f(2)-f(0)。在我们的例子中，f(2)-f(0) = 80%-36% = 44%

毫无疑问，生存的概率比SHAP值更容易被理解。
概率计算公式：

image.png

最终得出每个样本的各个特征的shap值

image.png

为什么同样特征下不同样本的概率不一样？

拥有一张三等舱的票会降低第一个乘客的生存概率-4.48%(相当于-0.36 SHAP)。请注意，3号乘客和5号乘客也在三等舱。由于与其他特征的相互作用，它们对概率的影响(分别为-16.65%和-5.17%)是不同的。

将多个样本的单个特征列出进行分析：年龄对生存的影响

image.png

将多个样本的双个特征列出进行分析：乘客票价与客舱等级对生存的影响

image.png

可以得出的结论：
我们可以用概率来量化效果，而不是用SHAP值。例如，我们可以说，平均来说，60-70岁的人比0-10岁的人(从+14%到-13%)的存活率下降了27%

我们可以可视化非线性效应。例如，看看乘客票价，生存的可能性上升到一个点，然后略有下降

我们可以表示相互作用。例如，乘客票价与客舱等级。如果这两个变量之间没有相互作用，这三条线就是平行的。相反，他们表现出不同的行为。蓝线(头等舱乘客)的票价稍低。特别有趣的是红线(三等舱乘客)的趋势：在两个相同的人乘坐三等舱时，支付50 - 75英镑的人比支付50英镑的人更有可能生存下来(从-10%到+5%)。

项目地址