python数据挖掘--特征工程篇（附代码）

记录数据挖掘路上遇到的常用特征工程方法和技巧（附代码），方便自己，方便他人，持续更新。

1.哑编码

对某一列数据进行pandas自带的（定性数据哑编码，定量数据二值化），并附上名字

pd.get_dummies(all['MSSubClass'], prefix='MSSubClass')

2.卡方特征选择

从已有的特征中选择出影响目标值最大的特征属性

常用方法：{ 分类：F统计量、卡方系数，互信息mutual_info_classif

{ 连续：皮尔逊相关系数 F统计量 互信息mutual_info_classif

ch2 = SelectKBest(chi2,k=10)

X_train = ch2.fit_transform(X_train, Y_train)

X_test = ch2.transform(X_test)

print(ch2.get_support(indices=True))

 

3.PCA降维进行特征选择

pca = PCA(n_components=0.9)

X_train = pca.fit_transform(X_train)

X_test = pca.transform(X_test)

 

4.特征多项式扩展

pf=PolynomialFeatures(degree=2, interaction_only=True, include_bias=True)

x_train=pf.fit_transform(x_train)

x_test=pf.transform(x_test)

 

5.缺失值填充

 

6.数据标准化

 

7.连续特征离散化

 

8.word2vec

 

9.TF-IDF