XGBoost参数解释

前言

本文中针对XGBoost的参数说明进行部分翻译得来，原文链接。因而本文中只对一些关键参数进行了翻译，且由于本人能力有限，文中难免存在错误的地方，还望指正。以下是大致翻译内容。

在运行XGboost之前, 我们必须设置三种类型的参数: 通用参数（general parameters），Booster 参数（booster parameters）和学习目标参数（task parameters）
• 通用参数决定了那种Booster被我们选择用于Boosting, 通常是线性和树型模型，也就是用于宏观函数控制
• Booster参数取决于选择的Booster类型，用于控制每一步的booster
• 学习任务参数决定学习策略。例如，回归任务可以使用不同的参数和排序任务
• 命令行参数取决于xgboost的CLI版本

General Parameters

1. booster [缺省值=gbtree]
   决定那个使用那个booster，可以是gbtree，gblinear或者dart。 gbtree和dart使用基于树的模型，而gblinear 使用线性函数.
2. silent [缺省值=0]
   设置为0打印运行信息；设置为1静默模式，不打印

3. nthread [缺省值=设置为最大可能的线程数]
   并行运行xgboost的线程数，输入的参数应该<=系统的CPU核心数，若是没有设置算法会检测将其设置为CPU的全部核心数
   下面的两个参数不需要设置，使用默认的就好了

4. num_pbuffer [xgboost自动设置，不需要用户设置]
   预测结果缓存大小，通常设置为训练实例的个数。该缓存用于保存最后boosting操作的预测结果。

5. num_feature [xgboost自动设置，不需要用户设置]
   在boosting中使用特征的维度，设置为特征的最大维度

Parameters for Tree Booster

1. eta [缺省值=0.3，别名：learning_rate]
   更新中减少的步长来防止过拟合。在每次boosting之后，可以直接获得新的特征权值，这样可以使得boosting更加鲁棒。
   范围： [0,1]
2. gamma [缺省值=0，别名: min_split_loss]（分裂最小loss）
   在节点分裂时，只有分裂后损失函数的值下降了，才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。 这个参数的值越大，算法越保守。这个参数的值和损失函数息息相关，所以是需要调整的。
   范围: [0,∞]
3. max_depth [缺省值=6]
   这个值为树的最大深度。 这个值也是用来避免过拟合的。max_depth越大，模型会学到更具体更局部的样本。设置为0代表没有限制
   范围: [0,∞]
4. min_child_weight [缺省值=1]
   决定最小叶子节点样本权重和。XGBoost的这个参数是最小样本权重的和，而GBM参数是最小样本总数。 这个参数用于避免过拟合。当它的值较大时，可以避免模型学习到局部的特殊样本。 但是如果这个值过高，会导致欠拟合。这个参数需要使用CV来调整。.
   范围: [0,∞]
5. subsample [缺省值=1]
   这个参数控制对于每棵树，随机采样的比例。 减小这个参数的值，算法会更加保守，避免过拟合。但是，如果这个值设置得过小，它可能会导致欠拟合。 典型值：0.5-1，0.5代表平均采样，防止过拟合.
   范围: (0,1]
6. colsample_bytree [缺省值=1]
   用来控制每棵随机采样的列数的占比(每一列是一个特征)。 典型值：0.5-1
   范围: (0,1]
7. colsample_bylevel [缺省值=1]
   用来控制树的每一级的每一次分裂，对列数的采样的占比。 我个人一般不太用这个参数，因为subsample参数和colsample_bytree参数可以起到相同的作用。但是如果感兴趣，可以挖掘这个参数更多的用处。
   范围: (0,1]
8. lambda [缺省值=1，别名: reg_lambda]
   权重的L2正则化项。(和Ridge regression类似)。 这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数，但是这个参数在减少过拟合上还是可以挖掘出更多用处的。.
9. alpha [缺省值=0，别名: reg_alpha]
   权重的L1正则化项。(和Lasso regression类似)。 可以应用在很高维度的情况下，使得算法的速度更快。
10. scale_pos_weight[缺省值=1]
    在各类别样本十分不平衡时，把这个参数设定为一个正值，可以使算法更快收敛。通常可以将其设置为负样本的数目与正样本数目的比值。

Parameters for Linear Booster

1. lambda [缺省值=0，别称: reg_lambda]
   L2正则化惩罚系数，增加该值会使得模型更加保守。
2. alpha [缺省值=0，别称: reg_alpha]
   L2正则化惩罚系数，增加该值会使得模型更加保守。
3. lambda_bias [缺省值=0，别称: reg_lambda_bias]
   偏置上的L2正则化(没有在L1上加偏置，因为并不重要)

Learning Task Parameters

1. objective [缺省值=reg:linear]
   “reg:linear” – 线性回归
   “reg:logistic” – 逻辑回归
   “binary:logistic” – 二分类逻辑回归，输出为概率
   “binary:logitraw” – 二分类逻辑回归，输出的结果为wTx
   “count:poisson” – 计数问题的poisson回归，输出结果为poisson分布。在poisson回归中，max_delta_step的缺省值为0.7 (used to safeguard optimization)
   “multi:softmax” – 设置 XGBoost 使用softmax目标函数做多分类，需要设置参数num_class（类别个数）
   “multi:softprob” – 如同softmax，但是输出结果为ndata*nclass的向量，其中的值是每个数据分为每个类的概率。
2. eval_metric [缺省值=通过目标函数选择]
   可供选择的如下所示：
   “rmse”: 均方根误差
   “mae”: 平均绝对值误差
   “logloss”: negative log-likelihood
   “error”: 二分类错误率。其值通过错误分类数目与全部分类数目比值得到。对于预测，预测值大于0.5被认为是正嘞，其它归为负类。
   “error@t”: 不同的划分阈值可以通过 ‘t’进行设置
   “merror”: 多分类错误率，计算公式为(wrong cases)/(all cases)
   “mlogloss”: 多分类log损失
   “auc”: 曲线下的面积
   “ndcg”:Normalized Discounted Cumulative Gain
   “map”: 平均正确率
3. seed [缺省值=0]
   随机数的种子 设置它可以复现随机数据的结果，也可以用于调整参数

Command Line Parameters

一下的参数只用于命令行版本的XGBoost版本中。
1. use_buffer [缺省值=1]
是否为文本输入创建二进制缓存。这样做将加快加载速度。
2. num_round
boosting的迭代次数。
3. data
训练数据的路径
4. test:data
用作预测的测试数据路径
5. save_period [缺省值=0]
保存参数模型的周期
6. task [缺省值=train] 可选项: train, pred, eval, dump
train: 使用data训练
pred: 使用test:data做预测
eval: 进行评估统计，由eval[name]=filename指定
dump: 将学习的模型导出到文本格式
7. model_in [缺省值=NULL]
输入模型的路径，被用于test, eval, dump。在training中，XGBoost将会从输入模型的基础上继续进行训练。
8. model_out [缺省值=NULL]
训练完成之后模型的保存路径。如果没有指定将会使用诸如0003.model，这里的 0003是boosting的迭代数
9. model_dir [缺省值=models]
训练期间的训练模型输出文件夹
10. fmap
特征图谱，被用于dump模式
11. name_dump [缺省值=dump.txt]
模型dump文件的名称
12. name_pred [缺省值=pred.txt]
预测文件的名称，被用于pred模式
13. pred_margin [缺省值=0]
predict margin 而不是转换概率