树模型中, 特征重要性的计算方法

主要查看了三个文档: DecisionTree, XGBoost, LightGBM.

sklearn中GradientBoostingClassifier(GBDT)和RandomForest没有找到特征重要性计算方法的详述.

Decision Tree

http://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html#r251

DecisionTree

该特征带来的信息增益的总量(需要经过标准化). 也被称为基尼重要性.

XGBoost

https://xgboost.readthedocs.io/en/latest/python/python_api.html

XGBoost

• weight: 该特征被选为分裂特征的次数.

• gain: 该特征的带来平均增益(有多棵树).

• cover: 该特征对每棵树的覆盖率.

LightGBM

https://lightgbm.readthedocs.io/en/latest/Python-API.html

LightGBM

• split: 使用该特征的次数.

• gain: 该特征的总增益.