(二)XGBoost之DART booster

XGBoost主要结合了大量的回归树和较小的学习率。在这种情况下,早期添加的树木很重要,而后期添加的树木并不重要。Vinayak和Gilad-Bachrach提出了一种新的方法,将深度神经网络社区的辍学技术添加到增强的树木中,并在某些情况下报告了更好的结果。——DART booster(解决过度拟合问题)

import xgboost as xgb
# 读数据
dtrain = xgb.DMatrix('xxx/xgboost/demo/data/agaricus.txt.train')
dtest = xgb.DMatrix('xxx/xgboost/demo/data/agaricus.txt.test')
# 定义参数
#在运行XGboost之前,我们必须设置三种类型的参数:general parameters, booster parameters and task parameters.。
"""
1.booster [default=gbtree](General Parameters)
使用哪种助推器,可以是gbtree,gblinear或dart。gbtree和dart使用基于树的模型,而gblinear使用线性函数。
2.max_depth [default=6](Parameters for Tree Booster)
树的最大深度,增加此值将使模型更复杂/可能过度拟合。0表示没有限制
3.sample_type [default="uniform"](Additional parameters for Dart Booster)
采样算法的类型。
"uniform":统一选择掉落的树木。
"weighted": 根据权重选择掉落的树木。
4.rate_drop [default=0.0](Additional parameters for Dart Booster)
辍学率(辍学期间先前树木的一小部分下降),范围:[0.0,1.0]
5.skip_drop [default=0.0](Additional parameters for Dart Booster)
在增强迭代期间跳过丢失过程的概率。
6.'normalize_type': 'tree'归一化算法的类型
“树”:新树的每棵树都有相同的重量。
新树的重量是1 /(k + learning_rate)
丢弃的树按k /(k + learning_rate)系数缩放
“森林”:新树的落叶树木(森林)总重量相同。
新树的重量是1 /(1 + learning_rate)
丢弃的树缩放比例为1 /(1 + learning_rate)

"""
param = {'booster': 'dart',
         'max_depth': 5, 'learning_rate': 0.1,
         'objective': 'binary:logistic', 'silent': True,
         'sample_type': 'uniform',
         'normalize_type': 'tree',
         'rate_drop': 0.1,
         'skip_drop': 0.5}
#Command Line Parameters: 提升的轮次数
num_round = 50
bst = xgb.train(param, dtrain, num_round)
# 预测
preds = bst.predict(dtest)
preds
array([0.0199928 , 0.9782708 , 0.0199928 , ..., 0.981861  , 0.01849097,
       0.981861  ], dtype=float32)

参数说明文档链接

你可能感兴趣的:(XGBoost学习)