二分类问题特征选择的常用两个方法

二分类问题特征选择的常用两个方法

             by dylanfan  at  2014-6-25

 

（1）互信息。值越大，相关性越强

 

w是特征，t是目标。反应的是特征出现和不出现对目标值的影响。

 

 

（2） 卡方检验

 

其中 A = N(w = 1, t = 1)、 B = N(w = 1, t = 0)、 C = N(w = 0, t = 1)、 D = N(w =

0, t = 0)

 

卡方值越大，相关性越强。

卡方检验是统计假设特征和目标值独立不相关，然后从实际分布结果来看是否拒绝原假设。卡方值越高，拒绝的概率越高。 

下面是个卡方值对应的分布图。