实战人品预测之二_热门模型xgboost

1. 介绍

 有人戏称数据挖掘比赛为GBDT调参大赛，因为在很多比赛后期，大家都使用GBDT类的算法，特征类似，只有模型参数不同，模型集成方法不同，最终大家的成绩差别也很小。
 上篇《实战人品预测之一_国内大数据竞赛平台》，介绍DataCastle平台的“微额借款用户人品预测大赛”比赛规则，以及一些初步的尝试。本篇说说最终获胜的，也是GDBT类算法中使用频率最高的xgboost算法的使用和调参方法。

2. xgboost原理

 之前在《机器学习_集成算法》篇（http://www.jianshu.com/p/3c8cca3e1ca2）中介绍过GBDT类的算法，简单回顾一下：
 Boosting算法不断地使用同一算法（比如决策树）建立新模型，而新模型分配给上一次错分样本更大的权重，最终根据按成功度加权组合得到结果。由于引入了逐步改进的思想，重要属性会被加权。
 Gradient Boosting Machine（GBM）梯度提升算法是目前比较流行的数据挖掘模型，它通过求损失函数在梯度方向下降的方法，层层改进，是泛化能力较强的算法，常用于各种数据挖掘比赛之中。常用的工具有XGBoost，LightGBM，sklearn提供的 GradientBoostingClassifier等等。GBM常把决策树作为基模型，我们看到的GBDT梯度提升决策树，指的就是该算法。

3. xgboost简单使用

(1) 安装库

 xgboost是一个独立的软件包，需要单独安装

$ pip install xgboost

(2) 示例代码

import xgboost as xgb

model = xgb.XGBClassifier()
model.fit(train_x, train_y)
model.score(test_x, test_y)
test_y = model.predict(test_x)

4. xgboost与sklearn

 xgboost提供了两种接口，一种是它自身的调用接口，另一种与sklearn的调用方式一样，上面的代码使用的是sklearn调用方式，它让用户能很快从sklearn的GBDT转到xgboost上。（不只xgboost，很多数据挖掘库都提供类似sklearn的调用方法）
 另外一个好处是，它能与sklearn的工具GridSearchCV结合，实现自动调参，后面细说。

5. xgboost参数

 xgboost参数分为三类：boost参数，tree参数，其它参数。

(1) Tree参数

 虽然xgboost也提供了linear作为弱分类器，但是大家一般都使用树分类器，这部分设置主要是控制树的大小，避免过拟合，具体参数是由实例的多少及分布密度决定的。

• max_depth：最大树深（默认６，同sklearn中max_depth）
• max_leaf_nodes：树上最大的节点或叶子的数量（同sklearn中max_ leaf_ nodes）

(2) Boost参数

• scale_pos_weight：正反例数据权重，使用它就不再需要增加反例了。
• early_stopping_rounds：多少轮内无提高则停止。
• eta：学习率（默认0.3，同sklearn中learning_ rate）。
• min_child_weight：最小叶子节点样本权重和（默认1，类似sklearn中min_child_leaf）。
• max_delta_step：每棵树权重改变的最大步长（默认０，为没约束，一般不设）。
• subsample：每棵树所用到的子样本占总样本的比例（默认1，一般用0.8，同sklearn中subsample）。
• colsample_bytree：树对特征采样的比例（默认１，类似sklearn中max_features）。
• colsample_bylevel：每一级的每一次分裂，对列数的采样的占比。
• lambda：权重的L2正则化项，避免过拟合，降低复杂度（默认１，不常用）
• alpha：权重的L1正则化项，避免过拟合，降低复杂度（默认１）
• gamma：节点分裂所需的最小损失函数下降值（默认0）

(3) 其它参数

• booster：选择分类器类型树或线性（默认为gbtree，一般不改）
• silent：是否打印输出信息（默认为0，输出信息，一般不改）
• nthread：最大线程数（默认为CPU全部核，一般不改）
• seed：随机种子，使用后随机结果变得可复现（类似sklearn中random_ state）
• objective：损失函数
• eval_metric：有效数据的度量方法，有rmse, mae, logloss, auc等

6. 调参

 当我第一次用xgboost替代了sklearn的 gdbt时，同样是默认参数，在不调参的情况下，成绩下降了0.05，主要是由于xgboost默认参数导致的，后来使用了冠军的参数，大概有0.02的提升。这说明调参是必须的。
 调参总体来说就是在确定其它参数的情况下，调某个参数。虽然这样单独调参会有一些问题，比如组合特征后最佳参数可能变化，但是除了穷举和人对特征的理解以外，好像也没什么别的办法。
 调参时注意先把学习率调到0.1以上，以加快运行速度，后期模型稳定后再将值调低。
 sklearn提供了调参工具GridSearchCV，可与xgboost配合，简单例程如下：

from sklearn import svm, datasets
from sklearn.model_selection import GridSearchCV
import xgboost as xgb 

iris = datasets.load_iris()

parameters = {'max_depth':[4,5,6], 'min_child_weight':[4,5,6]}
model = xgb.XGBClassifier()
clf = GridSearchCV(model, parameters)
clf.fit(iris.data, iris.target)

print(clf.grid_scores_)
print(clf.best_params_)
print(clf.best_score_)

 调参先后也很重要，具体方法请见：
http://blog.csdn.net/han_xiaoyang/article/details/52665396

7. 总结

 通过本次实验，明显看到xgboost好处，比如支持多线程，可调节正反例权重，自带交叉验证，处理缺省值，包含了很多预处理的工作。
 使用冠军代码做预测，没加任何的特征处理和其它算法的情况下，迭代共进行了50000次，线上得分超过0.7，这个得分和比赛结束时的最高分0.734已经差不太多了。每次打印出AUC值，能明显看出它的进化过程：不断迭代，直到收敛。从原理上看，该算法在基础参数没问题，在机器算力也足够的情况下，应该可以取得接近最佳的成绩。
 扩展地看，增加错误权重，不断迭代的集成算法，与多算法结合效果都不错，具体可以参考sklearn自带工具AdaBoost。