特征选择方法小结

特征选择方法：

（1）方差法

看特征是否发散，如果方差接近于0，也就是该特征基本没有差异，对于样本的区分基本没用，应该删去。

计算各个特征的方差，然后设定阈值，选择方差大于阈值的特征。

（2）皮尔森相关系数

皮尔森相关系数衡量特征与目标值之间的相关性，只能衡量线性相关性。

（3）卡方检验

检验定性自变量对定型因变量的相关性。

（4）互信息法

互信息计算公式：

====以上四种方法为过滤式方法=====

 

（5）递归特征消除法（Wrapper包裹式）

使用一个基模型来进行多轮训练，每轮训练后消除若干权值系数的特征，再基于新的特征集进行下一轮训练。

（6）基于树模型的特征选择法（Embedd 嵌入式）

树模型中的GBDT可用来作为基模型进行特征选择