scikit_learn学习笔记九——scikit_learn里的pipeline

scikit_learn里的 pipeline

pipeline 实现了对全部步骤的流式化封装和管理，可以很方便地使参数集在新数据集上被重复使用。

pipeline 可以用于下面几处：

• 模块化 Feature Transform，只需写很少的代码就能将新的 Feature 更新到训练集中。
• 自动化 Grid Search，只要预先设定好使用的 Model 和参数的候选，就能自动搜索并记录最佳的 Model。
• 自动化 Ensemble Generation，每隔一段时间将现有最好的 K 个 Model 拿来做 Ensemble。

要用 Pipeline 对训练集和测试集进行如下操作：

1. 先用 StandardScaler 对数据集每一列做标准化处理，（是 transformer）
2. 再用 PCA 将原始的 30 维度特征压缩的 2 维度，（是 transformer）
3. 最后再用模型 LogisticRegression。（是 Estimator）
4. 调用 Pipeline 时，输入由元组构成的列表，每个元组第一个值为变量名，元组第二个元素是 sklearn 中的 transformer
   或 Estimator。
5. 注意中间每一步是 transformer，即它们必须包含 fit 和 transform 方法，或者 fit_transform。
   6.最后一步是一个 Estimator，即最后一步模型要有 fit 方法，可以没有 transform 方法。

Pipeline对象接受二元tuple构成的list，每一个二元 tuple 中的第一个元素为 arbitrary identifier string，我们用以获取（access）Pipeline object 中的 individual elements，二元 tuple 中的第二个元素是 scikit-learn与之相适配的transformer 或者 estimator。

sklearn_pipeline.png

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline


df = pd.read_csv('data/bcw.csv', header=None)

X, y = df.values[:, 2:], df.values[:, 1]

encoder = LabelEncoder()
y = encoder.fit_transform(y)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.2, random_state=0)


pipe_lr = Pipeline([('sc', StandardScaler()),
                    ('pca', PCA(n_components=2)),
                    ('clf', LogisticRegression(random_state=1))
                    ])
pipe_lr.fit(X_train, y_train)
print('Test accuracy: %.3f' % pipe_lr.score(X_test, y_test))