SKLEARN-4
目录
- 所有用于处理特征的类不接受一维矩阵
- 1. 数据挖掘步骤
- 2. 数据预处理 Preprocessing & Impute
-
- 2.1 数据无量纲化
-
- preprocessing.MinMaxScaler
- preprocessing.StandardScaler
- StandardScaler和MinMaxScaler选哪个？
- 2.2 缺失值
-
- impute.SimpleImputer
- 2.3 处理分类型数据:编码与哑变量
-
- preprocessing.LabelEncoder：标签专用，能够将分类转换为分类数值
- preprocessing.OrdinalEncoder：特征专用，能够将分类特征转换为分类数值
- preprocessing.OneHotEncoder：独热编码，创建哑变量
- 2.4 处理连续型特征：二值化与分段（箱）
-
- sklearn.preprocessing.Binarizer
- preprocessing.KBinsDiscretizer分箱
- 3. 特征选择feature selection
-
- 3.1 Filter过滤法
-
- 1.方差过滤VarianceThreshold
-
- 方差过滤对模型的影响
- 3.2 相关性过滤
-
- 1. 卡方过滤
-
- 选取超参数k
- 2. F检验
- 3. 互信息法
- 3.2 Embedded嵌入法
-
- feature_selection.selectFromModel
- 3.3 包装法Wrapper
-
- feature_selection.RFE
- 3.4 特征选择的总结
所有用于处理特征的类不接受一维矩阵
1. 数据挖掘步骤
1. 获取数据
2. 数据预处理
数据预处理是从数据中检测，纠正或删除损坏，不准确或不适用于模型的记录的过程
可能面对的问题有：数据类型不同，比如有的是文字，有的是数字，有的含时间序列，有的连续，有的间断。
也可能，数据的质量不行，有噪声，有异常，有缺失，数据出错，量纲不一，有重复，数据是偏态，数据量太
大或太小
数据预处理的目的：让数据适应模型，匹配模型的需求
3. 特征工程：
特征工程是将原始数据转换为更能代表预测模型的潜在问题的特征的过程，可以通过挑选最相关的特征，提取
特征以及创造特征来实现。其中创造特征又经常以降维算法的方式实现。
可能面对的问题有：特征之间有相关性，特征和标签无关，特征太多或太小，或者干脆就无法表现出应有的数
据现象或无法展示数据的真实面貌
特征工程的目的：1) 降低计算成本，2) 提升模型上限
4. 建模，测试模型并预测出结果
5. 上线，验证模型效果
2. 数据预处理 Preprocessing & Impute
模块preprocessing：几乎包含数据预处理的所有内容
模块Impute：填补缺失值专用
2.1 数据无量纲化
将不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布，这种需求统称为将数据“无量纲化”。
譬如梯度和矩阵为核心的算法中，譬如逻辑回归，支持向量机，神经
网络，无量纲化可以加快求解速度；而在距离类模型，譬如K近邻，K-Means聚类中，无量纲化可以帮我们提升模
型精度，避免某一个取值范围特别大的特征对距离计算造成影响。（一个特例是决策树和树的集成算法们，对决策
树我们不需要无量纲化，决策树可以把任意数据都处理得很好。）
数据的无量纲化可以是线性的，也可以是非线性的。线性的无量纲化包括中心化（Zero-centered或者Meansubtraction）处理和缩放处理（Scale）。中心化的本质是让所有记录减去一个固定值，即让数据样本数据平移到某个位置。缩放的本质是通过除以一个固定值，将数据固定在某个范围之中，取对数也算是一种缩放处理。
preprocessing.MinMaxScaler
当数据(x)按照最小值中心化后，再按极差（最大值 - 最小值）缩放，数据移动了最小值个单位，并且会被收敛到[0,1]之间，而这个过程，就叫做数据归一化(Normalization，又称Min-Max Scaling)。注意，Normalization是归一化，不是正则化，真正的正则化是regularization，不是数据预处理的一种手段。归一化之后的数据服从正态分布
在sklearn当中，我们使用preprocessing.MinMaxScaler来实现这个功能。MinMaxScaler有一个重要参数：feature_range
feature_range，控制我们希望把数据压缩到的范围，默认是[0,1]
preprocessing.StandardScaler
当数据(x)按均值(μ)中心化后，再按标准差(σ)缩放，数据就会服从为均值为0，方差为1的正态分布（即标准正态分布），而这个过程，就叫做数据标准化(Standardization，又称Z-score normalization)，公式如下
from sklearn.preprocessing import StandardScaler
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
scaler = StandardScaler() #实例化
scaler.fit(data) #fit，本质是生成均值和方差
scaler.mean_ #查看均值的属性mean_
scaler.var_ #查看方差的属性var_
x_std = scaler.transform(data) #通过接口导出结果
x_std.mean() #导出的结果是一个数组，用mean()查看均值
x_std.std() #用std()查看方差
scaler.fit_transform(data) #使用fit_transform(data)一步达成结果
scaler.inverse_transform(x_std) #使用inverse_transform逆转标准化
对于StandardScaler和MinMaxScaler来说，空值NaN会被当做是缺失值，在fit的时候忽略，在transform的时候保持缺失NaN的状态显示。并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然只允许导入至少二维数组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，现实案例中特征矩阵不太可能是一维所以不会存在这个问题。
StandardScaler和MinMaxScaler选哪个？
看情况。大多数机器学习算法中，会选择StandardScaler来进行特征缩放，因为MinMaxScaler对异常值非常敏感。在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，StandardScaler往往是最好的选择。MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛，比如数字图像处理中量化像素强度时，都会使用MinMaxScaler将数据压缩于[0,1]区间之中。建议先试试看StandardScaler，效果不好换MinMaxScaler。除了StandardScaler和MinMaxScaler之外，sklearn中也提供了各种其他缩放处理（中心化只需要一个pandas广播一下减去某个数就好了，因此sklearn不提供任何中心化功能）。比如，在希望压缩数据，却不影响数据的稀疏性时（不影响矩阵中取值为0的个数时），我们会使用MaxAbsScaler；在异常值多，噪声非常大时，我们可能会选用分位数来无量纲化，此时使用RobustScaler。更多详情请参考以下列表:
2.2 缺失值
机器学习和数据挖掘中所使用的数据，永远不可能是完美的。很多特征，对于分析和建模来说意义非凡，但对于实际收集数据的人却不是如此，因此数据挖掘之中，常常会有重要的字段缺失值很多，但又不能舍弃字段的情况。因此，数据预处理中非常重要的一项就是处理缺失值。
data = pd.read_csv(r"C:\work\learnbetter\micro-class\ week 3 Preprocessing\Narrativedata.csv",index_col=0)
导入数据时，加上index_col=0的目的是 防止将索引列当做特征
impute.SimpleImputer
class sklearn.impute.SimpleImputer (missing_values=nan,strategy=’mean’,fill_value=None,verbose=0,copy=True)
Age = data.loc[:,"Age"].values
这个数据是一维的，我们将其升维
Age = data.loc[:,"Age"].values.reshape(-1,1)
from sklearn.impute import SimpleImputer
imp_mean = SimpleImputer() #实例化，默认均值填补
imp_median = SimpleImputer(strategy="median") #用中位数填补
imp_0 = SimpleImputer(strategy="constant",fill_value=0) #用0填补
实例化三个模型
imp_mean = imp_mean.fit_transform(Age) #fit_transform一步完成调取结果
imp_median = imp_median.fit_transform(Age)
imp_0 = imp_0.fit_transform(Age)
直接返回填补好的数据
其中
import pandas as pd
data = pd.read_csv(r"C:\work\learnbetter\micro-class\week3Preprocessing\Narrativedata.csv",index_col=0)
data.head()
data.loc[:,"Age"] = data.loc[:,"Age"].fillna(data.loc[:,"Age"].median())
#.fillna 在DataFrame里面直接进行填补 median() 取的是中位数
data.dropna(axis=0,inplace=True)
#.dropna(axis=0)删除所有有缺失值的行，.dropna(axis=1)删除所有有缺失值的列
#参数inplace，为True表示在原数据集上进行修改，为False表示生成一个复制对象，不修改原数据，默认False
2.3 处理分类型数据:编码与哑变量
preprocessing.LabelEncoder：标签专用，能够将分类转换为分类数值
为了让数据适应算法和库，我们必须将数据进行编码，即是说，将文字型数据转换为数值型。
preprocessing.LabelEncoder：标签专用，能够将分类转换为分类数值
from sklearn.preprocessing import LabelEncoder
y = data.iloc[:,-1] #要输入的是标签，不是特征矩阵，所以允许一维
le = LabelEncoder() #实例化
le = le.fit(y) #导入数据
label = le.transform(y) #transform接口调取结果
le.classes_ #属性.classes_查看标签中究竟有多少类别
label #查看获取的结果label
le.fit_transform(y) #也可以直接fit_transform一步到位
le.inverse_transform(label) #使用inverse_transform可以逆转
data.iloc[:,-1] = label #让标签等于我们运行出来的结果
简介写法
from sklearn.preprocessing import LabelEncoder
data.iloc[:,-1] = LabelEncoder().fit_transform(data.iloc[:,-1])
preprocessing.OrdinalEncoder：特征专用，能够将分类特征转换为分类数值
from sklearn.preprocessing import OrdinalEncoder
#接口categories_对应LabelEncoder的接口classes_，一模一样的功能
data_ = data.copy()
#
OrdinalEncoder().fit(data_.iloc[:,1:-1]).categories_
返回值：第一列到倒数第二列上的 所有类别 和上边的classes_一样
[array( [ 'female ', 'male' ]， dtype=object)，array( [ 'c', 'Q'， 's'],dtype=object)]
#将每一列中都转化为分类数值
data_.iloc[:,1:-1] = OrdinalEncoder().fit_transform(data_.iloc[:,1:-1])
preprocessing.OneHotEncoder：独热编码，创建哑变量
我们来思考三种不同性质的分类数据：
1） 舱门（S，C，Q）
三种取值S，C，Q是相互独立的，彼此之间完全没有联系，表达的是S≠C≠Q的概念。这是名义变量。
2） 学历（小学，初中，高中）
三种取值不是完全独立的，我们可以明显看出，在性质上可以有高中>初中>小学这样的联系，学历有高低，但是学历取值之间却不是可以计算的，我们不能说小学 + 某个取值 = 初中。这是有序变量。
3） 体重（>45kg，>90kg，>135kg）
各个取值之间有联系，且是可以互相计算的，比如120kg - 45kg = 90kg，分类之间可以通过数学计算互相转换。这是有距变量。然而在对特征进行编码的时候，这三种分类数据都会被我们转换为[0,1,2]，这三个数字在算法看来，是连续且可以计算的，这三个数字相互不等，有大小，并且有着可以相加相乘的联系。所以算法会把舱门，学历这样的分类特征，都误会成是体重这样的分类特征。这是说，我们把分类转换成数字的时候，忽略了数字中自带的数学性质，所以给算法传达了一些不准确的信息，而这会影响我们的建模。
类别OrdinalEncoder可以用来处理有序变量，但对于名义变量，我们只有使用哑变量的方式来处理，才能够尽量
向算法传达最准确的信息：
from sklearn.preprocessing import OneHotEncoder
X = data.iloc[:,1:-1]#提取第一列到最后一列的前面的数据
enc = OneHotEncoder(categories='auto').fit(X)#categories='auto' 让他自己去遍历判断每一列有几类特征
result = enc.transform(X).toarray()#转化成数组，如果不转换就成了系数矩阵
result
#array([[0., 1., 0., 0., 1.],[1., 0., 1., 0., 0.],[1., 0., 0., 0., 1.],
最终的结果有多少列和你的数据有关
比方说你的第一列性别有两类，舱门有三类 最终的结果就有5列
简洁的写法：
#依然可以直接一步到位，但为了给大家展示模型属性，所以还是写成了三步
OneHotEncoder(categories='auto').fit_transform(X).toarray()
#依然可以还原
pd.DataFrame(enc.inverse_transform(result))
重要的属性
enc.get_feature_names()#返回系数矩阵中每个列的列名 即知道哑变量是那个类别
#array( [ 'x0_female', 'x0_male', 'x1_C'， 'x1_Q'， 'x1_S'],dtype=object)
#例如上边的数组 数字一样的是一列
如何将矩阵放入元数据列中？
axis=1,表示跨行进行合并，也就是将量表左右相连，如果是axis=0，就是将量表上下相连
newdata = pd.concat([data,pd.DataFrame(result)],axis=1)
将新数据 拼接原数据的后面 即新添加了五列数据
newdata.drop(["Sex","Embarked"],axis=1,inplace=True)
newdata.columns =
["Age","Survived","Female","Male","Embarked_C","Embarked_Q","Embarked_S"]
2.4 处理连续型特征：二值化与分段（箱）
sklearn.preprocessing.Binarizer
根据阈值将数据二值化（将特征值设置为0或1），用于处理连续型变量。大于阈值的值映射为1，而小于或等于阈值的值映射为0。默认阈值为0时，特征中所有的正值都映射到1。二值化是对文本计数数据的常见操作，分析人员可以决定仅考虑某种现象的存在与否。它还可以用作考虑布尔随机变量的估计器的预处理步骤（例如，使用贝叶斯设置中的伯努利分布建模）。
#将年龄二值化
data_2 = data.copy()
from sklearn.preprocessing import Binarizer
X = data_2.iloc[:,0].values.reshape(-1,1) #类为特征专用，所以不能使用一维数组
transformer = Binarizer(threshold=30).fit_transform(X)
data_2.iloc[:,0]=transformer #替换原数据
preprocessing.KBinsDiscretizer分箱
这是将连续型变量划分为分类变量的类，能够将连续型变量排序后按顺序分箱后编码。总共包含三个重要参数：
from sklearn.preprocessing import KBinsDiscretizer
X = data.iloc[:,0].values.reshape(-1,1)
est = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='uniform')
est.fit_transform(X)
#查看转换后分的箱：变成了一列中的三箱
set(est.fit_transform(X).ravel())# rabel是降维的方法
est = KBinsDiscretizer(n_bins=3, encode='onehot', strategy='uniform')
#查看转换后分的箱：变成了哑变量
est.fit_transform(X).toarray()
array([[1., 0., 0.],[0., 1.， 0.],[1., 0., 0.],[0., 1., 0.],[1., 0., 0.],[0., 1., 0.]])
3. 特征选择feature selection
当数据预处理完成后，我们就要开始进行特征工程了。
在做特征选择之前，有三件非常重要的事:跟数据提供者开会!跟数据提供者开会!跟数据提供者开会!一定要抓住给你提供数据的人，尤其是理解业务和数据含义的人，跟他们聊一段时间。技术能够让模型起飞，前提是你和业务人员一样理解数据。所以特征选择的第一步，其实是根据我们的目标，用业务常识来选择特征。来看完整版泰坦尼克号数据中的这些特征:
特征工程的第一步：理解业务
有四种方法可以用来选择特征：过滤法、嵌入法、包装法、和降维算法。
3.1 Filter过滤法
1.方差过滤VarianceThreshold
这是通过特征本身的方差来筛选特征的类。比如一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分没有什么作用。所以无论接下来的特征工程要做什么，都要优先消除方差为0的特征。VarianceThreshold有重要参数threshold，表示方差的阈值，表示舍弃所有方差小于threshold的特征，不填默认为O，即删除所有的记录都相同的特征。
可以看见，我们已经删除了方差为0的特征，但是依然剩下了708多个特征
明显还需要进一步的特征选择。然而，如果我们知道我们需要多少个特征，1方差也可以帮助我们将特征选择一步到位。比如说，我们希望留下一半的特征，那可以设定一个让特征总数减半的方差阈值，只要找到特征方差的中位数，再将这个中位数作为参数threshold的值输入就好了∶
方差过滤对模型的影响
对于KNN，过滤后的效果十分明显:准确率稍有提升，但平均运行时间减少了10分钟，特征选择过后算法的效率上升了1/3。
首先可以观察到的是，随机森林的准确率略逊于KNN，但运行时间却连KNN的1%都不到，只需要十几秒钟。其次，方差过滤后，随机森林的准确率也微弱上升，但运行时间却几乎是没什么变化，依然是11秒钟。
为什么随机森林运行如此之快?为什么方差过滤对随机森林没很大的有影响?这是由于两种算法的原理中涉及到的计算量不同。最近邻算法KNN，单棵决策树，支持向量机SVM，神经网络，回归算法，都需要遍历特征或升维来进行运算，所以他们本身的运算量就很大，需要的时间就很长，因此方差过滤这样的特征选择对他们来说就尤为重要。但对于不需要遍历特征的算法，比如随机森林，它随机选取特征进行分枝，本身运算就非常快速，因此特征选择对它来说效果平平。这其实很容易理解，无论过滤法如何降低特征的数量，随机森林也只会选取固定数量的特征来建模;而最近邻算法就不同了，特征越少，距离计算的维度就越少，模型明显会随着特征的减少变得轻量。因此，过滤法的主要对象是:需要遍历特征或升维的算法们，而过滤法的主要目的是:在维持算法表现的前提下，帮助算法们降低计算成本。
参数random_state)，但决策树在建模过程中随机抽取的特征数目却远远超过随机森林当中每棵树随机抽取的特征数目（比如说对于这个780维的数据，随机森林每棵树只会抽取10~ 20个特征，而决策树可能会抽取300~400个特征)，因此，过滤法对随机森林无用，却对决策树有用
也因此，在sklearn中，随机森林中的每棵树都比单独的一棵决策树简单得多，高维数据下的随机森林的计算比决策树快很多。
在我们的对比当中，我们使用的方差阈值是特征方差的中位数，因此属于阈值比较大，过滤掉的特征比较多的情况。我们可以观察到，无论是KNN还是随机森林，在过滤掉一半特征之后,模型的精确度都上升了。这说明被找1J
过滤掉的特征在当前随机模式(random_state =0)下大部分是噪音。那我们就可以保留这个去掉了一半特征的数据，来为之后的特征选择做准备。当然，如果过滤之后模型的效果反而变差了，我们就可以认为，被我们过滤掉的特征中有很多都有有效特征，那我们就放弃过滤，使用其他手段来进行特征选择。
3.2 相关性过滤
方差挑选完毕之后，我们就要考虑下一个问题:相关性了。我们希望选出与标签相关且有意义的特征，因为这样的特征能够为我们提供大量信息。如果特征与模型无关，那只会白白浪费我们的计算内存，可能还会给模型带来噪音。在sklearn当中，我们有三种常用的方法来评判特征与标签之间的相关性:卡方，F检验，互信息。
1. 卡方过滤
卡方过滤是专门针对离散型标签(即分类问题）的相关性过滤。卡方检验类feature_ selection.chi2计算每个非负特征和标签之间的卡方统计量，并依照卡方统计量由高到低为特征排名。再结合feature_selection.SelectKBest这个可以输入"评分标准"来选出前K个分数最高的特征的类，我们可以借此除去最可能独立于标签，与我们分类目的无关的特征。
另外，如果卡方检验检测到某个特征中所有的值都相同，会提示我们使用方差先进行方差过滤。并且，刚才我们已经验证过，当我们使用方差过滤筛选掉一半的特征后，模型的表现时提升的
因此在这里,我们使用threshold=中
位数时完成的方差过滤的数据来做卡方检验〈如果方差过滤后模型的表现反而降低了，那我们就不会使用方差过滤后的数据，而是使用原数据]:
实例化
SelectKBest(chi2,k)
这个k是我们需要k个特征
选取超参数k
通过学习曲线遍历，取出最好的值。（画学习曲线）
2. F检验
F检验，又称ANOVA，方差齐性检验，是用来捕捉每个特征与标签之间的线性关系的过滤方法。它即可以做回归也可以做分类，因此包含feature_selection.f_classif (F检验分类)和feature_ selection.f_regression (F检验回归） 两个类。其中F检验分类用于标签是离散型变量的数据，而F检验回归用于标签是连续型变量的数据。和卡方检验—样，这两个类需要和类SelectKBest连用
F检验的本质是寻找两组数据之间的线性关系，其原假设是"数据不存在显著的线性关系"。它返回F值和p值两个统计量。和卡方过滤一样，我们希望选取p值小于0.05或0.01的特征，这些特征与标签时显著线性相关的，而p值大于0.05或0.01的特征则被我们认为是和标签没有显著线性关系的特征，应该被删除。以F检验的分类为例，我们继续在数字数据集上来进行特征选择:
3. 互信息法
互信息法是用来捕捉每个特征与标签之间的任意关系（包括线性和非线性关系）的过滤方法。和F检验相似，它既可以做回归也可以做分类，并且包含两个类feature_selection.mutual info_classif(互信息分类)和
feature _selection.mutual_info_regression(互信息回归)。这两个类的用法和参数都和F检验一模一样，不过互信息法比F检验更加强大，F检验只能够找出线性关系，而互信息法可以找出任意关系。互信息法不返回p值或F值类似的统计量，它返回"每个特征与目标之间的互信息量的估计"，这个估计量在[0,1]之间取值，为0则表示两个变量独立，为1则表示两个变量完全相关。以互信息分类为例的代码如下:
所有特征的互信息量估计都大于0，因此所有特征都与标签相关。
3.2 Embedded嵌入法
嵌入法是一种让算法自己决定使用哪些特征的方法，即特征选择和算法训练同时进行。
过滤法中使用的统计量可以使用统计知识和常识来查找范围(如p值应当低于显著性水平0.0 5)，而嵌入法中使用的权值系数却没有这样的范围可找–我们可以说，权值系数为O的特征对模型丝毫没有作用，但当大量特征都对模型有贡献且贡献不一时，我们就很难去界定一个有效的临界值.这种情况下，模型权值系数就是我们的超参数，我们或许需要学习曲线，或者根据模型本身的某些性质去判断这个超参数的最佳值究竟应该是多少.在我们之后的学习当中，每次讲解新的算法，我都会为大家提到这个算法中的特征工程是如何处理，包括具体到每个算法的嵌入法如何使用.在这堂课中，我们会为大家讲解随机森林和决策树模型的嵌入法.
另外，嵌入法引入了算法来挑选特征，并且每次挑选都会使用全部特征，因此其计算速度也会和应用的算法有很大的关系。如果采用计算量很大，计算缓慢的算法，嵌入法本身也会非常耗时耗力。并且，在选择完毕之后，我们还是需要自己来评估模型。
feature_selection.selectFromModel
class sklearn.feature_selection.selectFromModel (estimator, threshold=None, prefit=False, norm_order=1,max_features=None)
SelectFromModel是一个元变换器，可以与任何在拟合后具有coef_，feature_jmportances_属性或参数中可选惩罚项的评估器一起使用（比如随机森林和树模型就具有属性feature_importances_，逻辑回归就带有l1和l2惩罚项，线性支持向量机也支持|2惩罚项)。
对于有feature_importances_的模型来说，若重要性低于提供的阈值参数，则认为这些特征不重要并被移除。feature_irmportances_的取值范围是[0.,1]，如果设置阑值很小，比如0.001，就可以删除那些对标签预测完全没贡献的特征。如果设置得很接近1，可能只有一两个特征能够被留下。
从图像上来看，随着阈值越来越高，模型的效果逐渐变差，被删除的特征越来越多，信息损失也逐渐变大。但是在0.00134之前，模型的效果都可以维持在0.93以上，因此我们可以从中挑选一个数值来验证一下模型的效果。
x_embedded = selectFromMode1(RFC_, threshold=0.00067).fit_transform(x,y)
x_embedded. shape
cross_val_score(RFC_,x_embedded ,y, cv=5).mean()
3.3 包装法Wrapper
包装法也是一个特征选择和算法训练同时进行的方法，与嵌入法十分相似
但不同的是，我们往往使用一个目标函数作为黑盒帮助我们选取特征，而不是自己输入某个评估指标或统计量的阈值。包装法需要的计算成本位于嵌入法和过滤法中间。
最典型的目标函数是递归特征消除法（Recursive feature elimination,简写为RFE)。它是一种贪婪的优化算法，旨在找到性能最佳的特征子集。它反复创建模型，并在每次迭代时保留最佳特征或剔除最差特征，下一次迭代时,它会使用上一次建模中没有被选中的特征来构建下一个模型，直到所有特征都耗尽为止。然后，它根据自己保留或剔除特征的顺序来对特征进行排名，最终选出一个最佳子集。包装法的效果是所有特征选择方法中最利于提升模型表现的，它可以使用很少的特征达到很优秀的效果。除此之外，在特征数目相同时，包装法和嵌入法的效果能够匹敌，不过它比嵌入法算得更快，虽然它的计算量也十分庞大，不适用于太大型的数据。相比之下，包装法是最高效的特征选择方法。
feature_selection.RFE
from sklearn.feature_selection import RFE
RFC_ = RFC(n_estimators =10 , random_state=0)#实例化
selector = RFE(RFC_, n_features_to_select=340，step=50).fit(x,y)#每迭代一次删掉50个特征
selector. support_.sum()#看上图 获取true的个数
selector.ranking_#看上图
x_wrapper = selector.transform(x)
cross_val_score(RFC_,x_wrapper ,y,cv=5).mean(
3.4 特征选择的总结
以上就是降维之外的所有特征选择的方法。这些方法的代码都不难但是每种方法的原理都不同，并且都涉及到不同调整方法的超参数。经验来说，过滤法更快速，但更粗糙。包装法和嵌入法更精确，比较适合具体到算法去调整，但计算量比较大，运行时间长。当数据量很大的时候，优先使用方差过滤和互信息法调整，再上其他特征选择方法。使用逻辑回归时，优先使用优先使用嵌入法。使用支持向量机时，优先使用包装法。迷茫的时候，从过滤法走起，看具体数据具体分析。
其特征选择，只是特征工程中的第一步。