特征选择_过滤特征选择

一：方差选择法：
使用方差作为特征评分标准，如果某个特征的取值差异不大，通常认为该特征对区分样本的贡献度不大
因此在构造特征过程中去掉方差小于阈值特征

from sklearn.datasets import  load_iris
iris=load_iris()
print('iris特征名称\n',iris.feature_names)
print('iris特征矩阵\n',iris.data)

#特征选择——方差选择法
from sklearn.feature_selection import  VarianceThreshold
vt = VarianceThreshold(threshold = 1)#threshold为方差的阈值，默认为0
vt = vt.fit_transform(iris.data)#函数返回值为特征选择后的特征
print('方差选择法选择的特征\n',vt)
#小结：只保留第三列，其他的都去掉了

二.单变量特征选择
采用 卡方检验法（相关性）（分类问题）
使用统计量卡方检验作为特征评分标准，
卡方检验值越大，相关性越强（卡方检验是评判定性自变量对定性变量相关性的统计量）

#载入数据
from sklearn.datasets import load_iris
iris = load_iris()

#特征选择
from sklearn.feature_selection import SelectKBest #移除topK外的特征
from sklearn.feature_selection import  chi2 #卡方检验

skb = SelectKBest(chi2,k=2)
new_data  = skb.fit_transform(iris.data,iris.target)
new_data
#保留了第三列，第四列，其他的都去掉

三.单变量特征选择
采用 皮尔森相关系数法（相关性）（回归问题）
使用pearson系数作为特征评分标准。
相关系数绝对值越大，相关性越强（相关系数越接近1或-1时，相关系越强；相关系数越接近0时，相关性越弱）
特点：皮尔森相关系数能够衡量线性相关的特征集

#载入数据
from sklearn.datasets import load_iris
irisdata = load_iris()

#特征选择
from sklearn.feature_selection import SelectKBest #移除topK外的特征
from scipy.stats import pearsonr   #计算皮尔森相关系数
from numpy import array

'''
函数返回值：保留topk特征，移除topk外的特征
#第一个参数：皮尔森相关系数（输入特征矩阵和目标向量，输入二元组（评分，p），二数组第i项为第i个特征的评分和p值）
#第二个参数：topk个数
'''
skb = SelectKBest(lambda X,Y:tuple(map(tuple,array(list(map(lambda x:pearsonr(x,Y),X.T))).T)),k=3)
skb = skb.fit_transform(irisdata.data,irisdata.target)
skb
#保留三个特征