xgboost算法使用grid_search 来调参

xgboost算法调参

XGBoost的作者把所有的参数分成了三类：
1 通用参数：宏观函数控制。
1）、booster[默认gbtree]
选择每次迭代的模型，有两种选择：
gbtree：基于树的模型
gbliner：线性模型
2）、silent[默认0]
当这个参数值为1时，静默模式开启，不会输出任何信息。
一般这个参数就保持默认的0，因为这样能帮我们更好地理解模型。
3）、nthread[默认值为最大可能的线程数]
这个参数用来进行多线程控制，应当输入系统的核数。
如果你希望使用CPU全部的核，那就不要输入这个参数，算法会自动检测它。
还有两个参数，XGBoost会自动设置，目前你不用管它。接下来咱们一起看booster参数。

2 Booster参数：控制每一步的booster(tree/regression)。
尽管有两种booster可供选择，我这里只介绍tree booster，因为它的表现远远胜过linear booster，所以linear booster很少用到。

1）、eta[默认0.3]
类似于learning rate 参数。在每次提升计算之后，算法会直接获得叶子结点的得分权重。eta通过缩减叶子结点的权重使提升计算过程更加保守。即通过减少每一步的权重，可以提高模型的鲁棒性。
典型值为0.01-0.2。
2）、min_child_weight[默认1]
叶子节点中最小的样本权重和。如果一个叶子节点的样本得分权重和小于min_child_weight则拆分过程结束。在线性回归模型中，这个参数是指建立每个模型所需要的最小样本数。调大这个参数能够控制过拟合。
这个参数用于避免过拟合。当它的值较大时，可以避免模型学习到局部的特殊样本。
但是如果这个值过高，会导致欠拟合。这个参数需要使用CV来调整。
3）、max_depth[默认6]
树的最大深度。
这个值也是用来避免过拟合的。max_depth越大，模型会学到更具体更局部的样本。
需要使用CV函数来进行调优。
典型值：3-10
4）、max_leaf_nodes
树上最大的节点或叶子的数量。
可以替代max_depth的作用。因为如果生成的是二叉树，一个深度为n的树最多生成n2 n^2n 2个叶子。如果定义了这个参数，GBM会忽略max_depth参数。
5）、gamma[默认0]
在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。
这个参数的值越大，算法越保守。这个参数的值和损失函数息息相关，所以是需要调整的。
6）、max_delta_step[默认0]
这参数限制每棵树权重改变的最大步长。如果这个参数的值为0，那就意味着没有约束。如果它被赋予了某个正值，那么它会让这个算法更加保守。
通常，这个参数不需要设置。但是当各类别的样本十分不平衡时，它对逻辑回归是很有帮助的。
这个参数一般用不到，但是你可以挖掘出来它更多的用处。
7）、subsample[默认1]
和GBM中的subsample参数一模一样。这个参数控制对于每棵树，随机采样的比例。
减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。
典型值：0.5-1
8）、colsample_bytree[默认1]
和GBM里面的max_features参数类似。用来控制每棵随机采样的列数的占比(每一列是一个特征)。
典型值：0.5-1
9）、colsample_bylevel[默认1]
用来控制树的每一级的每一次分裂，对列数的采样的占比。
我个人一般不太用这个参数，因为subsample参数和colsample_bytree参数可以起到相同的作用。但是如果感兴趣，可以挖掘这个参数更多的用处。
10）、lambda[默认1]
权重的L2正则化项。(和Ridge regression类似)。
这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数，但是这个参数在减少过拟合上还是可以挖掘出更多用处的。
11）、alpha[默认1]
权重的L1正则化项。(和Lasso regression类似)。
可以应用在很高维度的情况下，使得算法的速度更快。
12）、scale_pos_weight[默认1]
在各类别样本十分不平衡时，把这个参数设定为一个正值，可以使算法更快收敛
3 学习目标参数
这个参数用来控制理想的优化目标和每一步结果的度量方法。

1）、objective[默认reg:linear]
最常用的值有：
binary:logistic 二分类的逻辑回归，返回预测的概率(不是类别)。
multi:softmax 使用softmax的多分类器，返回预测的类别(不是概率)。
在这种情况下，你还需要多设一个参数：num_class(类别数目)。
multi:softprob 和multi:softmax参数一样，但是返回的是每个数据属于各个类别的概率。
2）、eval_metric[默认值取决于objective参数的取值，即目标函数不同，默认值不同]
logloss 负对数似然函数值
error 二分类错误率(阈值为0.5)
merror 多分类错误率
mlogloss 多分类logloss损失函数
auc 曲线下面积
3）、seed(默认0)
随机数的种子，可以用于产生可重复的结果（每次取一样的seed即可得到相同的随机划分）

2. XGBClassifier使用网格搜索，只能检测有限个值

代码如下：

#coding:utf-8
from __future__ import division
import sys
import pandas as pd
import xgboost
from numpy import loadtxt
from xgboost import XGBClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score,roc_auc_score, log_loss
#from sklearn.grid_search import GridSearchCV   #Perforing grid search
from sklearn.model_selection import GridSearchCV

if __name__ == "__main__":
    dataset = loadtxt("pima-indians-diabetes.csv", delimiter=",") 
    # split data into X and y
    X = dataset[:,0:8]
    Y = dataset[:,8]
 
    # 把数据集拆分成训练集和测试集
    seed = 7
    test_size = 0.33
    X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size, random_state=seed)
    #第一步调参：学习率和迭代次数       
    param_test1 = {
     'learning_rate':[i/10.0 for i in range(1,4)], #0.1
     'n_estimators':range(50,500,50) #50
    }
    #第二步调参：树的深度和叶子结点的最小权重
    param_test2 = {
     'max_depth':range(3,10,2), #3
     'min_child_weight':range(1,6,2) #5
    }
    param_test3 = {
    'gamma':[i/10.0 for i in range(0,5)] # 0.0
    }
    param_test4 = {
     'subsample':[i/10.0 for i in range(6,11)], #0.6
     'colsample_bytree':[i/10.0 for i in range(6,11)] #0.7
    }
    param_test5 = {
        'reg_alpha':[0, 0.001, 0.005, 0.01, 0.05] #0.005
    }
    #Step 6: Reducing Learning Rate:即 降低学习率并增加更多的树
    grid = GridSearchCV(estimator = XGBClassifier( 
        learning_rate =0.1, #学习率，控制每次迭代更新权重时的步长，默认0.3;调参：值越小，训练越慢;典型值为0.01-0.2
        n_estimators=50, # 总共迭代的次数，即决策树的个数
        max_depth=3, # 树的深度,默认值为6，典型值3-10;调参：值越大，越容易过拟合；值越小，越容易欠拟合
        min_child_weight=5, # 叶子节点最小权重;默认值为1;调参：值越大，越容易欠拟合；值越小，越容易过拟合
        gamma=0.0, # 惩罚项系数，指定节点分裂所需的最小损失函数下降值
        subsample=0.6, # 训练每棵树时，使用的数据占全部训练集的比例。默认值为1，典型值为0.5-1;调参：防止overfitting
        colsample_bytree=0.7,# 随机选择N%特征建立决策树;防止overfitting
        objective= 'binary:logistic', 
        nthread=4, 
        scale_pos_weight=1, # 解决样本个数不平衡的问题;正样本的权重，在二分类任务中，当正负样本比例失衡时，设置正样本的权重，模型效果更好。例如，当正负样本比例为1:10时，scale_pos_weight=10.
        seed=27), 
    param_grid = param_test5, 
    scoring='roc_auc',
    n_jobs=4,iid=False, cv=5)
    grid.fit(X_train,y_train)

    print("grid.best_params_", grid.best_params_)
    print("grid.best_score_", grid.best_score_)

    clf = grid.best_estimator_
    print("grid.best_estimator_:", grid.best_estimator_)
    clf.fit(X_train,y_train)


    y_train_pred = clf.predict(X_train)
    train_predictions = [round(value) for value in y_train_pred]
    train_accuracy = accuracy_score(y_train, train_predictions)
    train_auc = roc_auc_score(y_train, train_predictions)
    train_logloss = log_loss(y_train, train_predictions)
    print("train Accuracy: %.2f%%, auc: %.2f, logloss: %.2f" % (train_accuracy * 100.0, train_auc, train_logloss))

    y_pred = clf.predict(X_test)
    predictions = [round(value) for value in y_pred]
    accuracy = accuracy_score(y_test, predictions)
    auc = roc_auc_score(y_test, predictions)
    logloss = log_loss(y_test, predictions)
    print("test Accuracy: %.2f%%, auc: %.2f, logloss: %.2f" % (accuracy * 100.0, auc, logloss))
    #Accuracy: 78.35%, auc: 0.77, logloss: 7.48

运行结果：

grid.best_params_ {'reg_alpha': 0.01}
grid.best_score_ 0.828443078724027
grid.best_estimator_: XGBClassifier(base_score=0.5, booster='gbtree', colsample_bylevel=1,
              colsample_bynode=1, colsample_bytree=0.7, gamma=0.0,
              learning_rate=0.1, max_delta_step=0, max_depth=3,
              min_child_weight=5, missing=None, n_estimators=50, n_jobs=1,
              nthread=4, objective='binary:logistic', random_state=0,
              reg_alpha=0.01, reg_lambda=1, scale_pos_weight=1, seed=27,
              silent=None, subsample=0.6, verbosity=1)
train Accuracy: 83.07%, auc: 0.80, logloss: 5.85
test Accuracy: 76.38%, auc: 0.74, logloss: 8.16