【sklearn】如何使用Pipeline来整洁深度学习模型代码

Pipeline介绍

Pipeline是一种使数据预处理和建模代码井井有条的简单方法。
具体来说，Pipeline流程打包捆绑了（bundles）预处理和建模步骤，因此您可以像使用单个步骤一样使用整个捆绑包。

许多数据科学家在没有Pipeline的情况下将模型组合在一起，但Pipeline有一些重要的好处。其中包括：

• 更简洁的代码：在预处理的每个步骤中处理数据可能会变得混乱。使用管道，您无需在每个步骤手动跟踪您的训练和验证数据。
• 更少的错误：错误应用步骤或忘记预处理步骤的机会更少。
• 更易于生产：将模型从原型转换为可大规模部署的模型可能非常困难。我们不会在这里讨论许多相关的问题，但管道可以提供帮助。
• 模型验证的更多选项：例如交叉验证。

例子

使用Melbourne Housing dataset的例子

先加载数据，并划分训练集和验证集

这里不详细讲解数据加载步骤。相反，您可以想象您已经在 X_train、X_valid、y_train 和 y_valid.n 中拥有训练和验证数据。

import pandas as pd
from sklearn.model_selection import train_test_split

# Read the data
data = pd.read_csv('../input/melbourne-housing-snapshot/melb_data.csv')

# Separate target from predictors
y = data.Price
X = data.drop(['Price'], axis=1)

# Divide data into training and validation subsets
X_train_full, X_valid_full, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2,
                                                                random_state=0)

# "Cardinality" means the number of unique values in a column
# Select categorical columns with relatively low cardinality (convenient but arbitrary)
categorical_cols = [cname for cname in X_train_full.columns if X_train_full[cname].nunique() < 10 and 
                        X_train_full[cname].dtype == "object"]

# Select numerical columns
numerical_cols = [cname for cname in X_train_full.columns if X_train_full[cname].dtype in ['int64', 'float64']]

# Keep selected columns only
my_cols = categorical_cols + numerical_cols
X_train = X_train_full[my_cols].copy()
X_valid = X_valid_full[my_cols].copy()

我们使用下面的 head() 方法查看训练数据。
请注意，数据包含分类数据（categorical data）和具有缺失值的列（columns with missing values）。
有了Pipeline，两者都可以轻松处理！

X_train.head()

我们分三步构建完整的Pipeline。

第一步：定义预处理步骤（Define Preprocessing Steps）

类似于pipeline如何将预处理和建模步骤捆绑在一起，
我们使用 ColumnTransformer 类将不同的预处理步骤捆绑在一起。

以下代码：
估算 数值数据（numerical data) 中的缺失值，
估算缺失值并对 分类数据（categorical data) 应用 one-hot 编码。

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder

# Preprocessing for numerical data
numerical_transformer = SimpleImputer(strategy='constant')

# Preprocessing for categorical data
categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
])

# Bundle preprocessing for numerical and categorical data
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numerical_transformer, numerical_cols),
        ('cat', categorical_transformer, categorical_cols)
    ])

第二步: 定义模型 （Define the Model）

接下来，我们使用熟悉的 RandomForestRegressor 类定义一个随机森林模型。

from sklearn.ensemble import RandomForestRegressor

model = RandomForestRegressor(n_estimators=100, random_state=0)

第 3 步：创建和评估Pipeline （Create and Evaluate the Pipeline）

最后，我们使用Pipeline类来定义捆绑预处理和建模步骤的管道。
有几个重要的事情需要注意：

• 通过Pipeline，我们预处理训练数据并在一行代码中拟合模型。
  （相比之下，如果没有管道，我们必须在不同的步骤中进行插补、one-hot编码和模型训练。如果我们必须同时处理数值和分类变量，这会变得特别混乱！）
• 通过Pipeline，我们提供X_valid 中未处理的特征到 predict() 命令，管道在生成预测之前自动预处理特征。
  （但是，如果没有Pipeline，我们必须要记得在进行预测之前对验证数据进行预处理。）

from sklearn.metrics import mean_absolute_error

# Bundle preprocessing and modeling code in a pipeline
my_pipeline = Pipeline(steps=[('preprocessor', preprocessor),
                              ('model', model)
                             ])

# Preprocessing of training data, fit model 
my_pipeline.fit(X_train, y_train)

# Preprocessing of validation data, get predictions
preds = my_pipeline.predict(X_valid)

# Evaluate the model
score = mean_absolute_error(y_valid, preds)
print('MAE:', score)

MAE: 160679.18917034855

结论

Pipeline对于整洁机器学习代码和避免错误很有价值，对于具有复杂数据预处理的工作流尤其有用。