xgboost java_08 集成学习 - XGBoost概述

概述

XGBoost是GBDT算法的一种变种,是一种常用的有监督集成学习算法;是一种

伸缩性强、便捷的可并行构建模型的Gradient Boosting算法。

注意:这里说可以并行构建模型,并不是说XGBoost建立的下一轮基模型不依赖于上一步的结果,而是指生成每个基模型的决策树时,能够快速进行并行运算,即加速了单个模型的运算。

面试中 可能会问为什么XGBoost是一个并行结构?我们可以反驳他说:XGBoost模型本身还是串行的,该模型还是基于梯度提升的理念进行模型构建的。只是在构建每一个模型的时候可以进行并行操作,相对提升一些运行速度。

相关文献

XGBoost官网:http://xgboost.readthedocs.io;

XGBoost Github源码位置:https://github.com/dmlc/xgboost;

XGBoost支持开发语言:Python、R、Java、Scala、C++

在XGBoost中其实包含了两套不同的API,虽然都在XGBoost包里,两种不同的API拥有两种不同的传输方式。一种是将数据转化成XGBoost认识的DMatrix。第二种兼容了Pthon的接受数据的方式:x_train,y_train。

安装

在Python中集成XGBoost,请参考我写的《安装 xgboost 库》

预测小男孩和老爷爷

回顾 GBDT算法流程:最终预测结果=∑ 每棵树上的预测值

小男孩在第1棵树预测结果是2,第2棵树预测结果是0.9,最终预测结果=f(1)+f(2) = 2+0.9;

XGBoost模型-目标函数:

Boosting的模型多少会存在一些过拟合的问题,由于过拟合的存在,对最后的预测结果始终会存在一些错误,即使调参也调不好。所以在建立模型的时候会考虑加上惩罚项。

Obj(θ) 就是我想在第n+1轮构建的目标函数,在原有误差 L(θ) 基础上,增加一个惩罚项 Ω(θ) ; 以上是模型构建的初步思路,具体惩罚项加的是什么?后续再考虑。

XGBoost 目标函数

过拟合和欠拟合

GBDT目标函数 - y^

通过加入基模型,下图引用自一篇陈天奇的论文,其中用f(x)表示基模型,我们之前讲GDBT章节的时候用的符合是h(x);注意一下即可。

一步一步得预测,最后得到第t步的预测结果。

GBDT在每一轮迭代过程中,使得预测值和损失值的误差和达到最小,即完成了最优模型的构建。 obj=∑ L(y,y^) ;

GBDT目标函数

XGBoost的目标函数 - y^

XGBoost做了一个更新,从下图可以看到,左边这部分提升算法的模型的步骤没有变化。但提升算法中基模型f(x)的值怎么去计算发生了变化。

即最终的预测模型怎么得到发生了变化,最优解y^对应的损失函数obj在GBDT的损失函数obj基础上,我们增加的惩罚项来控制基模型的复杂度。

至此我们构建了新的损失函数obj作为XGBoost的损失函数:

XGBoost的目标函数

q(x)是啥? 回顾上面小男孩、老爷爷的那张图。

x是小男孩、小姑娘、老爷爷。q(x)是落入当前模型的叶子节点编号。

看下图左边这棵树:q(小男孩) = 1,小男孩的观测值落入了当前叶子节点编号1。同理,得到其他的q(x)值。

对于左边这棵树,w1 是第一个叶子节点的预测值 = 小男孩;

ft(x) = wq(x)

最后分析针对第t棵树的惩罚项:Ω(ft) = γTt + 0.5λ∑wj2 其中 j=(1,2,3...T)

Tt代表第t棵树叶子节点个数,γ、λ即超参数。∑wj2 代表第t棵树叶子节点预测值的平方和。这个思想和构建L2正则比较像,08 回归算法 - 解决过拟合 - L2(Ridge)和L1(LASSO)正则。

根据上面的知识对XGBoost公式推导

第t次迭代后,模型的预测值= t-1次模型的预测值+第t棵树的预测值。

目标函数可以写成:

回顾泰勒公式:

泰勒公式

将误差函数在yi^(t-1) 处进行二阶泰勒展开。即对原损失函数进行展开,yi是定值,y^t是变化量,即泰勒公式中的Δx。

然后将yit展开: yit = L( y^ it-1 + ft(x))

原始损失函数左,转化为右边的公式,再做泰勒展开

你可能感兴趣的:(xgboost,java)