天池赛学习笔记——使用sklearn+机器学习进行分类/回归任务之(二)数据集划分、预处理和特征工程

上一篇博文介绍了读取csv文件和可视化数据的过程,完成这两步后,我们对数据集和问题有了直观的理解,而天池、kaggle等竞赛会给我们需要提交结果的数据集和有标签的数据集。接下来,我们需要对数据集进行划分,以用于模型训练和验证.

数据集的划分

  • 将有标签的数据集划分为训练集和测试集,以验证我们最终提交模型的泛化能力.
from sklearn.model_selection import train_test_split
#x为数据,y为对应的标签,也可在提取完特征后划分,这里希望划分好用同一数据集测试,划分比例0.8:0.2
x_train,x_test,y_train,y_vest = train_test_split(x, y, test_size=0.2)
  • 方案一:交叉验证策略
    K折交叉验证,均分为K组,1组验证,K-1组训练,以K次训练在验证集上的平均指标作为性能指标.

    from sklearn.linear_model import LogisticRegression
    from sklearn.model_selection import KFold
    from sklearn.model_selection import cross_val_score
    #以逻辑回归,5折交叉验证为例
    kfold = KFold(n_splits=5, random_state=7)
    classify = LogisticRegression() 
    result = cross_val_score(classify, x_train, y_train, cv=kfold) #5折交叉验证
    

    -方案二:弃一交叉验证策略
    N个样本,每次用N-1个训练,1个验证,共进行N次,验证集上的平均指标作为性能指标.

    from sklearn.linear_model import LogisticRegression
    from sklearn.model_selection import LeaveOneOut
    from sklearn.model_selection import cross_val_score
    loocv = LeaveOneOut()
    classify = LogisticRegression()
    result = cross_val_score(classify, x_train, y_train, cv=loocv) #弃一交叉验证
    

数据预处理

scikit-learn提供两种标准的格式化数据方法.

  • 方法1:Fit and Multiple Transform
    先调用 fit()函数来准备数据转换的参数,然后调用 transform()函数来做数据的预处理.
    在一般使用中,会fit训练集,然后在验证集和测试集上做相同的t ransform(),切记不要再次 fit
  • 方法2:Combined Fit-and-Transform
    fittransform同时进行

主要数据预处理的方式有:最大最小归一化,正态归一化,标准化和二值化,其原理都比较简单,代码示例如下:

    #归一化
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import Normalizer
from sklearn.preprocessing import Binarizer
#最大最小归一化
MMScalar = MinMaxScaler(feature_range=(0,1)) #归一化到0,1
new_train_x1 = MMScalar.fit_transform(x_train) #训练集fit+transform
new_test_x1 = MMScalar.transform(x_valid) #验证集上transform
#归一化为正态分布(即均值为0,方差为1的正态分布)
SScaler = StandardScaler()
new_train_x2 = SScaler.fit_transform(x_train) #训练集fit+transform
new_test_x2 = SScaler.transform(x_valid) #验证集上transform
#标准化数据
NScaler = Normalizer()
new_train_x3 = NScaler.fit_transform(x_train) #训练集fit+transform
new_test_x3 = NScaler.transform(x_valid) #验证集上transform
#二值化,大于阈值设为1,小于阈值设为0
BScaler = Binarizer(threshold=0.0) #大于0设为1,小于0设为0
new_train_x4 = BScaler.fit_transform(x_train) #训练集fit+transform
new_test_x4 = BScaler.transform(x_valid) #验证集上transform

#除了上边说过的方法,还可以先Fit再Transform,以MinMaxScaler为例
MMScalar = MinMaxScaler(feature_range=(0,1)).fit(x_train)
new_train_x5 = MMScalar.transform(x_train) #训练集fit+transform
new_test_x5 = MMScalar.transform(x_valid) #验证集上transform

特征工程

这里的特征工程主要是选择最优的特征组合,这里主要涉及的方法有单变量,RFE和PCA,直接上代码吧!

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import RFE
from sklearn.decomposition import PCA
from sklearn.feature_selection import chi2
from sklearn.linear_model import LogisticRegression

#单变量特征选定,给定选定标准,选择得分最高的k个特征
SKBest = SelectKBest(Score_func=chi2, k=5) #以卡方检验评分为标准,选择评分最高的5个特征
x_train_choose1 = SKBest.fit_transform(new_train_x, y_train) #训练集上fit和tansform
x_test_choose1 = SKBest.transform(new_train_x) #验证集上transform

#递归特征消除(RFE),使用基模型来进行多轮训练,每轮训练后消除若干权值系数的特征,再进行下一轮,直到找到最大的数据特征
#以逻辑回归为例,选取最优的5个特征
classify = LogisticRegression()
rfe = RFE(classify,5) 
rfe.fit(new_train_x, y_train) #训练集上fit
x_train_choose2 = rfe.fit_transform(new_train_x)
x_test_choose2 = rfe.fit(new_test_x)

#主成分分析,利用PCA对数据进行降维,使数据更有发散性
pca = PCA(n_components=5)
pca.fit(new_train_x, y_train)
x_train_choose3 = pca.fit_transform(new_train_x)
x_test_choose3 = pca.fit(new_test_x)

在本人的实战经验中发现,对特征进行合理的筛选和线性组合可以达到更好的精度,特征工程大法好!
接下来会介绍分类/回归模型和结果的评估方法.

你可能感兴趣的:(机器学习,天池竞赛,sklearn,机器学习,数据集预处理,特征工程)