特征选择--基于sklearn

• https://scikit-learn.org/stable/modules/feature_selection.html#univariate-feature-selection
• For regression: f_regression, mutual_info_regression
• For classification: chi2, f_classif, mutual_info_classif

一、分类问题

1、卡方检验

    特征变量为类别变量，目标变量为目标变量。

2、f_classif

        原理是方差分析，计算方差分析（ANOVA）的F值 (组间均方 / 组内均方)。可以根据样本的某个特征的f值来判断特征对预测类别的帮助，F值越大，越有信心拒绝独立的假设，预测能力也就越强，相关性就越大，从而基于此可以进行特征选择。

        要求其中一个变量是离散型的类别变量，在这个场景下就支持特征变量为连续变量的场景了。但不支持两个变量都连续的问题。

3、mutual_info_classif

       互信息，互信息方法可以捕捉任何一种统计依赖，但是作为非参数方法，需要更多的样本进行准确的估计。从互信息的定义可知它对特征变量是连续还是离散没有要求。

 

二、回归问题

1、f_regression

相关系数，计算每个变量与目标变量的相关系数，然后计算出F值和P值。

2、mutual_info_regression

互信息，互信息度量 X 和 Y 共享的信息：它度量知道这两个变量其中一个，对另一个不确定度减少的程度。对特征变量是连续还是离散没有要求。

 

参考网址：

https://scikit-learn.org/stable/modules/feature_selection.html#univariate-feature-selection

https://www.jianshu.com/p/b3056d10a20f

https://blog.csdn.net/jetFlow/article/details/78884619