Kaggle学习笔记--Pipelines

kaggle课程连接 https://www.kaggle.com/alexisbcook/pipelines.

简介

sklearn.pipeline()处理机制:

Pipeline()的作用就是把所有模型塞到管道里，调用管道时依次对数据进行处理，得到最终的分类结果。使用管道的有点有：
1.更干净的代码：在预处理的每个步骤中考虑数据可能会变得混乱。
2.使用管道，您无需在每个步骤中手动跟踪培训和验证数据。
3.错误更少：错误地使用步骤或忘记预处理步骤的机会更少。
4.易于实现生产：很难将模型从原型过渡到可大规模部署的模型。

通常会按照以下顺序来构建管道：【数据标准化的学习器—特征提取的学习器—执行预测的学习器/分类器】其中最后一个模型一定要是估计器，例如分类器。
Pipeline就是把这几个模型塞到管子里合并成一个模型调用，当训练样本数据送进Pipeline进行处理时， 它会逐个调用每个模型的fit()和transform()方法，其中最后一个节点的fit()方法来拟合数据。
————————————————
原文链接：Python学习笔记外传之sklearn中的Pipeline串联用法（一）https://blog.csdn.net/u010230273/article/details/98493025.

#模型串联
pip=Pipeline(
[ #所有模型写进列表内
（‘模型一名称’,模型一调用）, #模型名称可以自己命名
（‘模型二名称’,模型二调用）,
（‘模型三名称’, 模型三调用）
]
)
#模型调用
model=pip.fit(x,y)

综上所诉，pipeline()的作用就是封装打包各个模块，下面简单介绍一下本文所设计的pipeline结构：

- clf(Pipeline)[
   preprocessor(ColumnTransformer)[
    numerical_transformer[
        SimpleImputer],
    categorical_transformer(Pipeline)[
        SimpleImputer,
        OneHotEncoder]],
model[RandomForestRegressor]
]

数据准备

import pandas as pd
from sklearn.model_selection import train_test_split

# Read the data
X_full = pd.read_csv('C:/Users/Administrator/Desktop/home-data-for-ml-course/train.csv', index_col='Id')
X_test_full = pd.read_csv('C:/Users/Administrator/Desktop/home-data-for-ml-course/test.csv', index_col='Id')

# Remove rows with missing target, separate target from predictors
X_full.dropna(axis=0, subset=['SalePrice'], inplace=True)
y = X_full.SalePrice
X_full.drop(['SalePrice'], axis=1, inplace=True)

# Break off validation set from training data
X_train_full, X_valid_full, y_train, y_valid = train_test_split(X_full, y,
                                                                train_size=0.8, test_size=0.2,
                                                                random_state=0)

# "Cardinality" means the number of unique values in a column
# Select categorical columns with relatively low cardinality (convenient but arbitrary)
categorical_cols = [cname for cname in X_train_full.columns if
                    X_train_full[cname].nunique() < 10 and
                    X_train_full[cname].dtype == "object"]

# Select numerical columns
numerical_cols = [cname for cname in X_train_full.columns if
                X_train_full[cname].dtype in ['int64', 'float64']]

# Keep selected columns only
my_cols = categorical_cols + numerical_cols
X_train = X_train_full[my_cols].copy()
X_valid = X_valid_full[my_cols].copy()
X_test = X_test_full[my_cols].copy()

步骤1：定义预处理步骤

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_error
# 数值数据的预处理SimpleImputer用于缺失值补全，constant用常量补全
#定义数值型特征预处理器
numerical_transformer = SimpleImputer(strategy='constant')

# 预处理分类数据
categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),#most_frequent频次最多的
    ('onehot', OneHotEncoder(handle_unknown='ignore'))#ignore表示当validation data中出现training data中没出现的值时，忽略。
])

# 捆绑预处理数字和分类数据
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numerical_transformer, numerical_cols),
        ('cat', categorical_transformer, categorical_cols)
    ])

# 定义模型--随机森林
model = RandomForestRegressor(n_estimators=100, random_state=0)

首先介绍一下本文用来处理缺失值的SimpleImputer类。

SimpleImputer类处理缺失值

SimpleImputer类提供了处理输入缺失值的基本策略。缺失值可以用常量值或使用缺失值所在列的统计信息（平均值、中位数或最频繁）进行填充。当使用’most_frequent’或’constant’策略时，SimpleImputer类还支持表示为字符串值或pandas分类的分类数据。
以下代码演示如何使用包含缺少值的列（轴0）的平均值替换缺少值。

import numpy as np
from sklearn.impute import SimpleImputer
 
imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean')
x = [[7, 2, 3], [4, np.nan, 6], [10, 5, 9]]
data = [[np.nan, 2, 3], [4, np.nan, 6], [10, np.nan, 9]]
 
Fit = imp_mean.fit(x)
print(Fit)

SimpleImputer(copy=True,fill_value=None,missing_values=nan,strategy=‘mean’,verbose=0)

查看用来填补每列的值使用：Fit.statistics_

Fit.statistics_

[7. 3.5 6.]

计算过程【（7+4+10）/3=7】【（2+5）/2=3.5】【（3+6+9）/3=6】
【注】mean是每列非‘nan’的数值的均值，如某列为[2,np.nan,np.nan]则mean为2/1=2

new_data = imp_mean.transform(data)
print(imp_mean.transform(data))

[[7. 2. 3.]
[4. 3.5 6.]
[10. 3.5 9.]]

SimpleImputer用法来源：https://blog.csdn.net/qq_40773512/article/details/82662191.

ColumnTransformer捆绑预处理步骤

与管道将预处理和建模步骤捆绑在一起的方式类似，本文使用ColumnTransformer类将不同的预处理步骤捆绑在一起，如在数字数据中估算缺失值，以及插补缺失值，并对分类数据应用一键编码。
sklearn文档ColumnTransformer简介：https://scikit-learn.org/stable/modules/generated/sklearn.compose.ColumnTransformer.html?highlight=columntransformer.

from sklearn.compose import ColumnTransformer
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numerical_transformer, numerical_cols),
        ('cat', categorical_transformer, categorical_cols)
    ])

transformers：（名称，转换器，列）元组的列表，指定要应用于数据子集的转换器对象。

步骤3：创建和评估管道

最后，我们使用Pipeline类来定义捆绑了预处理和建模步骤的管道。
通过管道，我们可以预处理训练数据并将模型拟合到一行代码中。

# 在管道中捆绑预处理和建模代码
clf = Pipeline(steps=[('preprocessor', preprocessor),
                      ('model', model)
                     ])

接下来就是常规操作了，通过管道，我们将X_valid中未处理的特征提供给predict（）命令，并且管道在生成预测之前自动对特征进行预处理。

# 预处理训练数据，拟合模型
clf.fit(X_train, y_train)

#预处理验证数据，获得预测
preds = clf.predict(X_valid)

print('MAE:', mean_absolute_error(y_valid, preds))

MAE: 17861.780102739725

# 预处理测试数据，拟合模型
preds_test =clf.predict(X_test)
# 保存至文件
output = pd.DataFrame({'Id': X_test.index,
                       'SalePrice': preds_test})
output.to_csv('.../submission_datawork5.csv', index=False)