SHAP解释模型
环境配置
以下实验使用当前最新版本shap：0.39.0
$ pip install shap
注意xgboost也需要使用对应的较新版本，如：
$ pip install xgboost==0.82
为使用交互界面，notebook环境下，加载用于可视化的JS代码
import shap
shap.initjs()
实验数据
import shap
shap.initjs()
X,y = shap.datasets.boston()
model = xgboost.train({"learning_rate": 0.01}, xgboost.DMatrix(X, label=y), 100)
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X) SHAP实验
SHAP的可解释性，基于对每一个训练数据的解析。比如：解析第一个实例每个特征对最终预测结果的贡献。
shap.plots.force(shap_values[0])
（图一）
对如此图中，红色特征使预测值更大（类似正相关），蓝色使预测值变小，而颜色区域宽度越大，说明该特征的影响越大。（此处图中数字是特征的具体数值） 其中base_value是所有样本的平均预测值，output_value即f(x)是本实例的预测值。本例分析了回归问题，对于分类问题，可以看到base_value和output_value并不在0-1之间，这是由于对数转换造成的。
进而可以画出每个特征对结果影响程度的具体大小（此处图中数字是特征权重）
shap.plots.waterfall(shap_values[0])
（图二）
以上都是对于单个实例的解释，更多的时候我们看到的是这种图：
shap.plots.beeswarm(shap_values)
（图三）
它对所有实例作图，相当于把图一上的每个特征旋转90度画成点图。这样可以看到特征对预测影响的大小，需要注意的是：这里的横坐标是shap-value即影响的权重，而非特征的具体值，特征值大小对结果的影响通过颜色表示（红色为值大，蓝色为值小，紫色邻近均值）。因此，区域分布越宽说明它的影响力越大，因此这个图一般是上宽下窄（影响大的放在上面）。 图中最后一行显示了Sum of other features，如果不需要显示这一行，则可使用函数：
shap.summary_plot(shap_values, test, max_display=5)
上只是罗列结果，并未进行统计处理，而对模型产生最大影响的前N的特征，一般是通过各个特征绝对值的均值（abs()->mean()）得到的，使用绝对值解决了正负抵消的问题，更关注相关性的大小。 从这个图中就没办法看出是正相关还是负相关了，但使用shap工具可以得到具体的shap value，可以自行处理。
shap.plots.bar(shap_values)
（图四）
此处可引申出SHAP更多的用法，尤其对于研究和归因，比如研究模型对“老年男性”或者“入院第五天”人群的特征重要性。做柱图的bar函数支持cohort参数，通过传入list（与实例个数相等），来划分人群（当前版本（0.39.0）支持cohort分群逻辑）。
import numpy as np
idx = ['aa' for i in range(506)] # 定义群及对应标签 idx[5]='bb'
idx[8]='bb'
shap.plots.bar(shap_values.cohorts(idx))
（图五）
上述bar画出的是统计图，有时还是想在图中看出特征是正相关还是负相关，使用force函数可将多个实例的特征贡献度画在一张图上。
shap.plots.force(explainer.expected_value, shap_values.values[:10])
（图六）
force()工具非常灵活，横纵坐标都可以选择，每个横坐标对应一个实例，可选择：按输出排序，按实例顺序排序，按近似实例排序；纵向可以选择查看哪个些特征，默认是查看所有特征。通过转入不同的shap value数组，可以研究部分或全部实例。
保存图片
静态图可通过plt.savefig保存(只支持单实例)，注意设置matplot和show参数：
shap.force_plot(explainer.expected_value[0], shap_values[0], data_arry, matplotlib=True,show=False)
plt.savefig('存储路径/xx.jpg'动态图只能保存成html，具体使用:
xx = shap.force_plot(....)
shap.save_html('xx.html', xx)参考
不再黑盒，机器学习解释利器：SHAP原理及实战
https://zhuanlan.zhihu.com/p/106320452
SHAP：Python的可解释机器学习库
https://zhuanlan.zhihu.com/p/83412330