大师兄的数据分析学习笔记(十一）：特征预处理（二）

大师兄的数据分析学习笔记(十）：特征预处理（一）
大师兄的数据分析学习笔记(十二）：特征预处理（三）

三、特征选择

• 特征选择是数据规约的一种处理方式(抽样是另一种规约的处理方式)。
• 特征选择的含义是，剔除不相关或冗余的特征，减少特征的个数。
• 特征选择可以减少模型训练的时间和过拟合，甚至提升模型的准确度。
• 特征选择通常通过统计学方法或者数据模型特征，进行与标签影响大小的排序后，剔除排序靠后的特征，进行数据降维。
• 特征选择通常在特征处理之前，或在特征变换后进行。

1. 过滤思想

• 过滤思想就是直接评价某个特征与标注的相关性特征。
• 如果与标注的相关性小则去掉。
• 在下方的案例中，过滤掉了Age特征：

>>>import os
>>>import pandas as pd
>>>from sklearn.feature_selection import SelectKBest

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X = df.loc[:, ["Age", "Education", "HourlyRate"]]  # 特征
>>>Y = df.loc[:, "JobSatisfaction"]  # 标注

>>>skb = SelectKBest(k=2)  # 过滤思想
>>>skb.fit(X, Y)  # 拟合
>>>print(skb.transform(X))
[[ 2 94]
 [ 1 61]
 [ 2 92]
 ...
 [ 3 87]
 [ 3 63]
 [ 3 82]]

2. 包裹思想

• 包裹思想就是假设所有的特征是个集合x, 最佳的特征集合是x的一个子集，目标是找到这个子集。
• 包裹思想首先要确定一个评价指标，再遍历特征子集找到这个评价指标下最佳的子集。
• 也可以先将x拆分成数个大子集，在针对最优的特征子集不断迭代拆分，直到评价指标下降过快或低于阈值。
• 包裹思想下常用的方法是RFE(recursive feature elementation):

第一步：列出集合x。
第二步：构造简单的模型进行训练，根据系数去掉比较弱的特征。
第三步：余下的特征重复这个过程吗，直到评价指标下降较大或低于阈值。

• 同样的输数据，用RFE留下的特征是Age和Education:

>>>import os
>>>import pandas as pd
>>>from sklearn.svm import SVR
>>>from sklearn.feature_selection import RFE

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X = df.loc[:, ["Age", "Education", "HourlyRate"]]  # 特征
>>>Y = df.loc[:, "JobSatisfaction"]  # 标注

>>>rfe = RFE(estimator=SVR(kernel="linear"), n_features_to_select=2, step=1)  # 包括思想
>>>print(rfe.fit_transform(X,Y))
[[41  2]
 [49  1]
 [37  2]
 ...
 [27  3]
 [49  3]
 [34  3]]

3. 嵌入思想

• 嵌入思想中嵌入的主体是一个特征，被嵌入的实体是一个简单模型。
• 也就是根据一个简单的模型来分析特征的重要性。
• 常用正则化的方式来做特征选择。
• 同样的数据，用嵌入思想，去掉了“Education”特征：

>>>import os
>>>import pandas as pd
>>>from sklearn.tree import DecisionTreeRegressor
>>>from sklearn.feature_selection import SelectFromModel

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>X = df.loc[:, ["Age", "Education", "HourlyRate"]]  # 特征
>>>Y = df.loc[:, "JobSatisfaction"]  # 标注

>>>sfm = SelectFromModel(estimator=DecisionTreeRegressor(), threshold=0.2)  # 嵌入思想
>>>print(sfm.fit_transform(X, Y))
[[41 94]
 [49 61]
 [37 92]
 ...
 [27 87]
 [49 63]
 [34 82]]