Python
import xgboost as xgb
# read in data
dtrain = xgb.DMatrix('demo/data/agaricus.txt.train')
dtest = xgb.DMatric('demo/data/agaricus.txt.test')
# specify parameters via map
param = {'max_depth': 2, 'eta': 1, 'silent': 1, 'objective': 'binary:logistic'}
num_round = 2
bst = xgb.train(param, dtrain, num_round)
# make prediction
preds = bst.predict(dtest)
数据接口
可以从以下途径加载数据
- LibSVM text format file
- Comma-separated values (CSV) file
- NumPy 2D sparse array
- SciPy 2D sparse array
- Pandas data frame
- XGBoost binary buffer file
数据存储在 DMatrix 对象中，从CSV文件中读取数据到DMatrix的方法如下：
dtrain = xgb.DMatrix('train.csv?format=csv&label_column=0')
dtest = xgb.DMatrix('test.csv?format=csv&label_column=0')
在构造DMatrix时可以用默认值来代替缺失数据，方法如下：
dtrain = xgb.DMtrix(data, label=label, missing=-999.0)
权重设置如下：
w = np.random.rand(5, 1)
dtrain = xgb.DMatrix(data, label=label, missing=-999.0, weight=w)
设置参数
XGBoost可以使用 a list of pairs 或者字典来设置参数，例如：
-
Booster parameters
param = {'max_depth': 2, 'eta': 1, 'silent': 1, 'objective': 'binary:logistic'} param['nthread'] = 4 param['eval_metric'] = 'auc' -
也可以指定 multiple eval metrics:
param['eval_metric'] = ['auc', 'ams@0'] # alternatively: # plst = param.items() # plst += [('eval_metric', 'ams@0')] -
指定 validations set 来观察性能
evallist = [(dtest, 'eval'), (dtrain, 'train')]
训练
训练模型需要一个参数列表和数据集
num_round = 10
bst = xgb.train(param, dtrain, num_round, evallist)
训练完之后，可以对模型进行存储
bst.save_model('0001.model')
模型和它的 feature map 可以从文本文件中加载
# dump model
bst.dump_model('dump.raw.txt')
# dump model with feature map
bst.dump_model('dump.raw.txt', 'featmap.txt')
保存的模型可以用以下方式加载：
bst = xgb.Booster({'nthread': 4}) # init model
bst.load_model('model.bin') # load data
Early Stopping
为了和validation进行对比，可以提前停止，来寻找最佳的 boosting rounds 。提前停止需要 evals 中有至少一个集合。如果有多个集合的话，可以用下面的方式来停止：
train(..., evals=evals, early_stopping_rounds=10)
模型将会训练直到 validation score 不在提升。 Validation error needs to decrease at least every early_stopping_rounds to continue training.
如果提前停止了，模型将会有三个额外的 fields ：bst.best_score, bst.best_iteration 和 bst.best_ntree_limit。xgboost.train() 会从返回最后一次迭代中选择模型，而不是最好的一个。
这个对于所有的矩阵包括 minimize (RMSE, log loss, etc.) 和 maximize (MAP, NDCG, AUC) 都是适用的. 如果指定了多余一个评估矩阵，那么只有 param['eval_metric'] 中的最后一个会起到作用。
预测
训练好的或者是加载的模型可以用来对数据集进行预测，方法如下：
# 7 entities, each contains 10 features
data = np.random.rand(7, 10)
dtest = xgb.DMatrix(data)
ypred = bst.predict(dtest)
如果使用了提前停止，可以通过 bst.best_ntree_limit 来获得最好的一轮迭代的预测结果。
作图
可以使用 plotting 模块来画 importance and output tree。 画 importance，使用 xgboost.plot_importance()。这个函数需要安装matplotlib模块。
xgb.plot_tree(bst, num_trees=2)