XGBoost-Python完全调参指南-参数解释篇

本文转自XGBoost-Python完全调参指南-参数解释篇。对XGBoost有需要小伙伴可以参看。并在此基础上，添加了一些内容。

在analytics vidhya上看到一篇《Complete Guide to Parameter Tuning in XGBoost in Python》,写的很好。因此打算翻译一下这篇文章，也让自己有更深的印象。具体内容主要翻译文章的关键意思。

---

这篇文章按照原文的分节，共分为三个部分，其中本章介绍第一部分。

1、简介与XGboost 
2、参数理解 
3、参数调优

关于XGBoost的参数，发现已经有比较完善的翻译了。故本文转载其内容，并作了一些修改与拓展。 
原文链接见：http://blog.csdn.NET/zc02051126/article/details/46711047

XGBoost参数

XGBoost的参数可以分为三种类型：通用参数、booster参数以及学习目标参数

General parameters：参数控制在提升（boosting）过程中使用哪种booster，常用的booster有树模型（gbtree）和线性模型（gblinear model）。 
Booster parameters：这取决于使用哪种booster。 
Learning Task parameters：控制学习的场景，例如在回归问题中会使用不同的参数控制排序。 
除了以上参数还可能有其它参数，在命令行中使用

General Parameters

• booster [default=gbtree] 
  有两种模型可以选择gbtree和gblinear。gbtree使用基于树的模型进行提升计算，gblinear使用线性模型进行提升计算。缺省值为gbtree
• silent [default=0] 
  取0时表示打印出运行时信息，取1时表示以缄默方式运行，不打印运行时的信息。缺省值为0 
  建议取0，过程中的输出数据有助于理解模型以及调参。另外实际上我设置其为1也通常无法缄默运行。。
• nthread [default to maximum number of threads available if not set] 
  XGBoost运行时的线程数。缺省值(-1)是当前系统可以获得的最大线程数 
  如果你希望使用CPU所有的核，建议不设置这个参数，算法将自动检测并获得最大线程
• num_feature [set automatically by xgboost, no need to be set by user] 
  boosting过程中用到的特征维数，设置为特征个数。XGBoost会自动设置，不需要手工设置

Booster Parameters

From xgboost-unity, the bst: prefix is no longer needed for booster parameters. Parameter with or without bst: prefix will be equivalent(i.e. both bst:eta and eta will be valid parameter setting) .

Parameter for Tree Booster

• eta [default=0.3] 
  为了防止过拟合，更新过程中用到的收缩步长。在每次提升计算之后，算法会直接获得新特征的权重。 eta通过缩减特征的权重使提升计算过程更加保守。缺省值为0.3。这个值越小，说明对防止过拟合的要求越高。因此：eta和n_estimators是成反比的：即当n_estimators的值很大的时候，eta应该越小。 
  取值范围为：[0,1] 
  通常最后设置eta为0.01~0.2
• gamma [default=0] 
  节点分裂所需的最小损失函数下降值 
  range: [0,∞] 
  模型在默认情况下，对于一个节点的划分只有在其loss function 得到结果大于0的情况下才进行，而gamma 给定了所需的最低loss function的值 
  gamma值使得算法更保守，且其值依赖于loss function ，在模型中应该进行调参（某种程度上，类似于前剪枝(front-pruning)）。
• max_depth [default=6] 
  树的最大深度。缺省值为6 
  取值范围为：[1,∞] 
  指树的最大深度 
  树的深度越大，则对数据的拟合程度越高（过拟合程度也越高）。即该参数也是控制过拟合 
  建议通过交叉验证（xgb.cv ) 进行调参 
  通常取值：3-10
• min_child_weight [default=1] 
  叶子节点中最小的样本权重(Hessian)和。如果一个叶子节点的样本权重和小于min_child_weight则拆分过程结束。在现行回归模型中，这个参数是指建立每个模型所需要的最小样本数。该成熟越大算法越conservative。即调大这个参数能够控制过拟合。 
  取值范围为: [0,∞]
• max_delta_step [default=0] 
  允许的树的最大权重 
  取值范围为：[0,∞] 
  如果取值为0，那么意味着无限制。如果取为正数，则其使得xgboost更新过程更加保守。 
  通常不需要设置这个值，但在使用logistics 回归时，若类别极度不平衡，则调整该参数可能有效果
• subsample [default=1] 
  用于训练模型的子样本占整个样本集合的比例。如果设置为0.5则意味着XGBoost将随机的从整个样本集合中抽取出50%的子样本建立树模型，这能够防止过拟合。同sklearn的GBM类似。 
  取值范围为：(0,1]
• colsample_bytree [default=1] 
  在建立树时对特征随机采样的比例。缺省值为1 
  取值范围：(0,1]
• colsample_bylevel[default=1] 
  决定树在每次节点划分时采样特征例的比例 
  通常不使用，因为subsample和colsample_bytree已经可以起到相同的作用了 
  - scale_pos_weight[default=0] 
  大于0的取值可以处理类别不平衡的情况。帮助模型更快收敛。例如对二分类问题：可以设置成
  样本较多类别的样本数/样本较少类别的样本数样本较多类别的样本数/样本较少类别的样本数

---

Parameter for Linear Booster

• reg_alpha [default=0] 
  L2 正则的惩罚系数 
  用于处理XGBoost的正则化部分。通常不使用，但可以用来降低过拟合
• reg_lambda [default=0] 
  L1 正则的惩罚系数 
  当数据维度极高时可以使用，使得算法运行更快。
• lambda_bias 
  在偏置上的L2正则。缺省值为0（在L1上没有偏置项的正则，因为L1时偏置不重要）

---

Task Parameters

• objective [ default=reg:linear ] 
  定义学习任务及相应的学习目标，可选的目标函数如下： 
  “reg:linear” –线性回归。 
  “reg:logistic” –逻辑回归。 
  “binary:logistic” –二分类的逻辑回归问题，输出为概率。 
  “binary:logitraw” –二分类的逻辑回归问题，输出的结果为wTx。 
  “count:poisson” –计数问题的poisson回归，输出结果为poisson分布。 
  在poisson回归中，max_delta_step的缺省值为0.7。(used to safeguard optimization) 
  “multi:softmax” –让XGBoost采用softmax目标函数处理多分类问题，同时需要设置参数num_class（类别个数） 
  “multi:softprob” –和softmax一样，但是输出的是ndata * nclass的向量，可以将该向量reshape成ndata行nclass列的矩阵。每行数据表示样本所属于每个类别的概率。 
  “rank:pairwise” –set XGBoost to do ranking task by minimizing the pairwise loss
• base_score [ default=0.5 ] 
  每个样本的初始估计，全局偏差
• eval_metric [ default according to objective ] 
  校验数据所需要的评价指标，不同的目标函数将会有缺省的评价指标（比如：回归用”rmse”, 分类用”error”） 
  用户可以添加多种评价指标，对于Python用户要以list传递参数对给程序，而不是map参数list参数不会覆盖’eval_metric’ 
  The choices are listed below: 
  “rmse”: root mean square error 
  “logloss”: negative log-likelihood 
  “error”: Binary classification error rate. It is calculated as #(wrong cases)/#(all cases). For the predictions, the evaluation will regard the instances with prediction value larger than 0.5 as positive instances, and the others as negative instances. 
  “merror”: Multiclass classification error rate. It is calculated as #(wrong cases)/#(all cases). 
  “mlogloss”: Multiclass logloss 
  “auc”: Area under the curve for ranking evaluation. 
  “ndcg”:Normalized Discounted Cumulative Gain 
  “map”:Mean average precision 
  “ndcg@n”,”map@n”: n can be assigned as an integer to cut off the top positions in the lists for evaluation. 
  “ndcg-“,”map-“,”ndcg@n-“,”map@n-“: In XGBoost, NDCG and MAP will evaluate the score of a list without any positive samples as 1. By adding “-” in the evaluation metric XGBoost will evaluate these score as 0 to be consistent under some conditions. 
  training repeatively
• seed [ default=0 ] 
  随机数的种子。缺省值为0 
  可以用于产生可重复的结果（每次取一样的seed即可得到相同的随机划分）

---

Console Parameters

下面的这些参数仅能用于控制台版本的xgboost。 
* use_buffer [ default=1 ] 
- 是否为输入创建二进制的缓存文件，缓存文件可以加速计算。缺省值为1 
* num_round 
- boosting迭代计算次数。 
* data 
- 输入数据的路径 
* test:data 
- 测试数据的路径 
* save_period [default=0] 
- 表示保存第i*save_period次迭代的模型。例如save_period=10表示每隔10迭代计算XGBoost将会保存中间结果，设置为0表示每次计算的模型都要保持。 
* task [default=train] options: train, pred, eval, dump 
- train：训练模型 
- pred：对测试数据进行预测 
- eval：通过eval[name]=filenam定义评价指标 
- dump：将学习模型保存成文本格式 
* model_in [default=NULL] 
- 指向模型的路径在test, eval, dump都会用到，如果在training中定义XGBoost将会接着输入模型继续训练 
* model_out [default=NULL] 
- 训练完成后模型的保存路径，如果没有定义则会输出类似0003.model这样的结果，0003是第三次训练的模型结果。 
* model_dir [default=models] 
- 输出模型所保存的路径。 
* fmap 
- feature map, used for dump model 
* name_dump [default=dump.txt] 
- name of model dump file 
* name_pred [default=pred.txt] 
- 预测结果文件 
* pred_margin [default=0] 
- 输出预测的边界，而不是转换后的概率

如果你比较习惯scikit-learn的参数形式，那么XGBoost的python 版本也提供了sklearn形式的接口 XGBClassifier。它使用sklearn形式的参数命名方式，对应关系如下： 
eta –> learning_rate 
lambda –> reg_lambda 
alpha –> reg_alpha

当然，想获取更多更详细的休息，请参考XGBoost的官方文档，也会有更多更新的内容。 
①XGBoost Parameters (official guide) 
②XGBoost Demo Codes (xgboost GitHub repository) 
③Python API Reference (official guide)