一文读懂常用机器学习解释性算法:特征权重,feature_importance, lime,shap

目录

1.线性回归中的特征权重β:

2. 树模型中的feature_importance:

3. lime:

4. shap:

5. 各种算法对比:


1.线性回归中的特征权重β:

线性模型中,特征可以归类为:数值特征(比如气温)、二进制特征(性别0/1)、范畴特征(天气:下雨、阴天、晴天,使用one-hot编码,让具体类别有自己的二进制选项)

一文读懂常用机器学习解释性算法:特征权重,feature_importance, lime,shap_第1张图片2. 树模型中的feature_importance:

无论是经典的决策树算法,还是基于决策树算法的boost算法(xgboost)还是bagging算法(随机森林),都能利用基尼系数,信息增益和分裂次数,添加权重计算特征重要性。

一文读懂常用机器学习解释性算法:特征权重,feature_importance, lime,shap_第2张图片

3. lime:

Lime(Local Interpretable Model-Agnostic Explanations)是使用训练的局部代理模型来对单个样本进行解释。假设对于需要解释的黑盒模型,取关注的实例样本,在其附近进行扰动生成新的样本点,并得到黑盒模型的预测值,使用新的数据集训练可解释的模型(如线性回归、决策树),得到对黑盒模型良好的局部近似。

一文读懂常用机器学习解释性算法:特征权重,feature_importance, lime,shap_第3张图片

​实现步骤

  1. 如上图是一个非线性的复杂模型,蓝/粉背景的交界为决策函数;

  2. 选取关注的样本点,如图粗线的红色十字叉为关注的样本点X;

  3. 定义一个相似度计算方式,以及要选取的K个特征来解释;

  4. 在该样本点周围进行扰动采样(细线的红色十字叉),按照它们到X的距离赋予样本权重;

  5. 用原模型对这些样本进行预测,并训练一个线性模型(虚线)在X的附近对原模型近似。

这样就可以使用可解释性的模型对复杂模型进行局部解释。

4. shap:

基于博弈论计算边际效益来计算各个特征对结果的贡献:

小明,小军,小强(是的,就是他们小学课本三人组),组队参加王者农药大赛,大赛设定哪个队先拿100个人头,可以获得一万元奖金。终于在他们三个的通力配合下,赢得了比赛,获得一万元奖金,但到了分钱阶段,分歧出现了,因为他们三个人的水平、角色不一,小强个人实力最强善用高输出角色,光是他自己就拿了大半的人头;但若是按照人头数分,也不合适,因为前期小强有几次差点挂掉,多亏队友及时治疗,另外有好多人头也是靠攻速抢到的。那么,应该怎么分配这一万块钱,才是最公平的呢?

_

机智(厚脸皮)的小老弟登场了,这个问题,我们可以从贡献出发:

小强自己可以干掉35个人,小军可以干掉15个人,小明可以干掉10个人,显然,他们每个人都无法独立完成目标。

小强和小军联手可以干掉70个人,小强和小明可以干掉60个人,小军和小明联手可以干掉40个人,同样,无法完成任务。

而只有当三个人联手时候,才可以干掉100个人,达成目标。

(可以理解为小军小强小明有辅助有输出有坦克)

考虑先后顺序,他们三个人一共有6种组队方式。

我们定义边际贡献:假定初始组合为小强一个人,贡献35,加入小军后,他们俩的组合贡献为70,则小军的边际贡献就是70-35=35,再加入小明,三个人的组合贡献为100,则小明的边际贡献为100-70=30;

根据组合次序计算全部的组合及组合中每个人的边际贡献,如表格所示,则可以求得每个人的贡献度。

一文读懂常用机器学习解释性算法:特征权重,feature_importance, lime,shap_第4张图片

因此,最合理的分配方案就是小强小军小明分别获得4916、2917、2167。

大家可能奇怪上面的故事和本文主题有啥关系,实际上,上面的问题就是通俗的解释了SHAP方法的核心:shapley value(沙普利值)的简化版计算方法。

结果展示:

一文读懂常用机器学习解释性算法:特征权重,feature_importance, lime,shap_第5张图片

5. 各种算法对比:

  1. 线性算法的权重需要可以非常清晰的表明特征的重要程度,以及对结果的影响,但是缺点是需要做标准化,并缺模型准确度不高。

  2. 树类型算法的feature_importance也非常实用,特别是最近大火的xgboost, lightgbm都基于树算法,树类型算法无需对数据样本进行标准化,但是无法实现对单一样本对预测结果影响的刻画。

  3. lime和shap都能实现单一单一样本对预测结果影响的刻画,但是对整个样本对预测结果的刻画上稍显不足,可以用在各种类型算法的解释性,以及线上模型突然结果恶化的场景描述上。

你可能感兴趣的:(机器学习与数据挖掘,机器学习,算法,决策树)