Python-sklearn包中自动调参方法-网格搜索GridSearchCV

sklearn包中自动调参方法-网格搜索GridSearchCV

一、GridSearchCV主要作用及函数参数
GridSearchCV:作用是在指定的范围内可以自动调参,只需将参数输入即可得到最优化的结果和参数。相对于人工调参更省时省力,相对于for循环方法更简洁灵活,不易出错。

from sklearn.model_selection import GridSearchCV
class sklearn.model_selection.GridSearchCV(
estimator, param_grid, scoring=None, fit_params=None, 
n_jobs=1, iid=True, refit=True, cv=None, verbose=0, 
pre_dispatch='2*n_jobs', error_score='raise', return_train_score=True)

参数释义:
estimator:所使用分类器
param_grid:值为字典或者列表,即需要最优化的参数的取值
scoring:准确度评价标准,默认为None,根据所选模型不同,评价准则不同,如可以选择scoring='accuracy’或者’roc_auc’等
cv:交叉验证参数,默认None(三折交叉验证,即fold数量为3),也可以是yield训练/测试数据的生成器
refit:默认为True,即在搜索参数结束后,用最佳参数结果再次fit一遍全部数据集
iid:默认为True,即默认个个样本fold概率分布一直,误差估计为所有样本的和,而非各个fold的平均
verbose:日志冗长度,int:
若冗长度为0,不输出训练过程;
若冗长度为1,偶尔输出(一般设置为1);
若冗长度>1,对每个子模型都输出
n_jobs:并行数,一般设置为-1
pre_dispatch:总共分发的并行任务数,当n_jobs大于1时,数据将在每个运行点进行复制,可能会导致OOM(内存溢出)。通过设置pre_dispatch参数,可以预先划分总共的job数量,使数据最多被复制pre_dispatch次

二、GridSearchCV常用方法及属性
grid.fit():运行网格搜索
grid.score():运行网格搜索后模型得分
grid_scores_:给出不同参数情况下的评价结果
best_params_:描述已取得最佳结果的参数的组合
best_score_:提供优化过程期间观察到的最好评分

三、举例

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import GridSearchCV
#GradientBoostingClassifier模型
GBC = GradientBoostingClassifier()
gb_param_grid = {'loss' : ["deviance"],
              'n_estimators' : [100,200,300],
              'learning_rate': [0.1, 0.05, 0.01],
              'max_depth': [4, 8],
              'min_samples_leaf': [100,150],
              'max_features': [0.3, 0.1] 
              }
modelgsGBC = GridSearchCV(GBC,param_grid = gb_param_grid, cv=kfold, 
                                     scoring="accuracy", n_jobs= -1, verbose = 1)
modelgsGBC.fit(experData_X,experData_y)

整个过程请参考:如何挤进Kaggle平台Titanic生存率预测项目TOP3%

你可能感兴趣的:(python学习)