机器学习可解释性01--shap

摘要

本文介绍shap原理,并给出一个简单的示例揭示shap值得计算过程;
然后介绍如何将shap值转化为我们更容易理解的概率。

什么是shap

image.png

让机器学习获得可解释性,能够计算出每个特征对结果的一个贡献度。
shap的论文
github链接
参考blog

shap的理论是什么

博弈论和机器学习

SHAP值基于Shapley值,Shapley值是博弈论中的一个概念。但博弈论至少需要两样东西:一个游戏和一些玩家。这如何应用于机器学习的可解释性?假设我们有一个预测模型,然后:

“游戏”是复现模型的结果

“玩家”是模型中包含的特征

Shapley所做的是量化每个玩家对游戏的贡献。SHAP所做的是量化每个特征对模型所做预测的贡献。

需要强调的是,我们所谓的“游戏”只涉及单一的观察样本。一个游戏:一个观察样本。实际上,SHAP是关于预测模型的局部可解释性的。

幂集

特征的power set(幂集)
举个例子,我们可以想象一个机器学习模型(假设是线性回归,但也可以是其他任何机器学习算法),知道这个人的年龄、性别和工作,它可以预测一个人的收入。

Shapley值是基于这样一种想法,即应该考虑每个玩家可能的组合的结果来决定单个玩家的重要性。在我们的例子中,这对应于f特征的每个可能组合(f从0到F, F是所有可用特征的数量)。

在数学中,这被称为“power set”,可以用有向无环图表示

示例

通过年龄、工作、性别来预测收入的模型

  • 第一步:对特征构建幂集如下:


    image.png
  • 第二步:根据构建的幂集分别构建模型
  • 第三步:计算一个样本的关于年龄的shap值如下
    将该样本输入模型得到不同的结果如下:


    image.png

先计算年龄的贡献度


image.png

通过GAG计算权值


image.png

最后得到年龄的shap值


image.png

分别计算各个特征的shap值如下:
SHAP_Age(x₀) = -11.33k $

SHAP_Gender(x₀) = -2.33k $

SHAP_Job(x₀) = +46.66k $

给出计算shap值得公式如下:

image.png
  • 通常情况下对于单个样本得到的shap值可以表示如下:


    image.png

    或者如下:


    image.png

    或者以表格的形式出现
    image.png

如何将shap值以概率的形式进行展示

参考博文
示例:将shap值进行概率转换,然后计算差值,看该特征是否增加了生存的概率

image.png

让我们以一个个体为例。假设已知除年龄外的所有变量,其SHAP和为0。现在假设年龄的SHAP值是2。

我们只要知道f()函数就可以量化年龄对预测的生存概率的影响:它就是f(2)-f(0)。在我们的例子中,f(2)-f(0) = 80%-36% = 44%

毫无疑问,生存的概率比SHAP值更容易被理解。
概率计算公式:


image.png

最终得出每个样本的各个特征的shap值


image.png

为什么同样特征下不同样本的概率不一样?

拥有一张三等舱的票会降低第一个乘客的生存概率-4.48%(相当于-0.36 SHAP)。请注意,3号乘客和5号乘客也在三等舱。由于与其他特征的相互作用,它们对概率的影响(分别为-16.65%和-5.17%)是不同的。

将多个样本的单个特征列出进行分析:年龄对生存的影响


image.png

将多个样本的双个特征列出进行分析:乘客票价与客舱等级对生存的影响


image.png

可以得出的结论:
我们可以用概率来量化效果,而不是用SHAP值。例如,我们可以说,平均来说,60-70岁的人比0-10岁的人(从+14%到-13%)的存活率下降了27%

我们可以可视化非线性效应。例如,看看乘客票价,生存的可能性上升到一个点,然后略有下降

我们可以表示相互作用。例如,乘客票价与客舱等级。如果这两个变量之间没有相互作用,这三条线就是平行的。相反,他们表现出不同的行为。蓝线(头等舱乘客)的票价稍低。特别有趣的是红线(三等舱乘客)的趋势:在两个相同的人乘坐三等舱时,支付50 - 75英镑的人比支付50英镑的人更有可能生存下来(从-10%到+5%)。

项目地址

你可能感兴趣的:(机器学习可解释性01--shap)