08 集成学习 - XGBoost概述

概述

XGBoost是GBDT算法的一种变种，是一种常用的有监督集成学习算法；是一种
伸缩性强、便捷的可并行构建模型的Gradient Boosting算法。

注意：这里说可以并行构建模型，并不是说XGBoost建立的下一轮基模型不依赖于上一步的结果，而是指生成每个基模型的决策树时，能够快速进行并行运算，即加速了单个模型的运算。

面试中 可能会问为什么XGBoost是一个并行结构？我们可以反驳他说：XGBoost模型本身还是串行的，该模型还是基于梯度提升的理念进行模型构建的。只是在构建每一个模型的时候可以进行并行操作，相对提升一些运行速度。

相关文献

XGBoost官网：http://xgboost.readthedocs.io；
XGBoost Github源码位置：https://github.com/dmlc/xgboost；
XGBoost支持开发语言：Python、R、Java、Scala、C++

在XGBoost中其实包含了两套不同的API，虽然都在XGBoost包里，两种不同的API拥有两种不同的传输方式。一种是将数据转化成XGBoost认识的DMatrix。第二种兼容了Pthon的接受数据的方式：x_train，y_train。

安装

在Python中集成XGBoost，请参考我写的《安装 xgboost 库》

---

回顾 CART、GBDT
05 决策树 - 生成算法 ID3、C4.5、CART

预测小男孩和老爷爷

回顾 GBDT算法流程：最终预测结果=∑ 每棵树上的预测值
小男孩在第1棵树预测结果是2，第2棵树预测结果是0.9，最终预测结果=f(1)+f(2) = 2+0.9；

XGBoost模型-目标函数:
Boosting的模型多少会存在一些过拟合的问题，由于过拟合的存在，对最后的预测结果始终会存在一些错误，即使调参也调不好。所以在建立模型的时候会考虑加上惩罚项。

Obj(θ) 就是我想在第n+1轮构建的目标函数，在原有误差 L(θ) 基础上，增加一个惩罚项 Ω(θ) ； 以上是模型构建的初步思路，具体惩罚项加的是什么？后续再考虑。

XGBoost 目标函数

回顾 过拟合和欠拟合的概念：
06 回归算法 - 损失函数、过拟合欠拟合

过拟合和欠拟合

GBDT目标函数 - y^
通过加入基模型，下图引用自一篇陈天奇的论文，其中用f(x)表示基模型，我们之前讲GDBT章节的时候用的符合是h(x)；注意一下即可。

一步一步得预测，最后得到第t步的预测结果。

GBDT在每一轮迭代过程中，使得预测值和损失值的误差和达到最小，即完成了最优模型的构建。 obj=∑ L(y,y^) ；

GBDT目标函数

XGBoost的目标函数 - y^
XGBoost做了一个更新，从下图可以看到，左边这部分提升算法的模型的步骤没有变化。但提升算法中基模型f(x)的值怎么去计算发生了变化。
即最终的预测模型怎么得到发生了变化，最优解y^对应的损失函数obj在GBDT的损失函数obj基础上，我们增加的惩罚项来控制基模型的复杂度。

至此我们构建了新的损失函数obj作为XGBoost的损失函数：

XGBoost的目标函数

q(x)是啥？ 回顾上面小男孩、老爷爷的那张图。
x是小男孩、小姑娘、老爷爷。q(x)是落入当前模型的叶子节点编号。
看下图左边这棵树：q(小男孩) = 1，小男孩的观测值落入了当前叶子节点编号1。同理，得到其他的q(x)值。

对于左边这棵树，w₁ 是第一个叶子节点的预测值 = 小男孩；
f_t(x) = w_q(x)

---

最后分析针对第t棵树的惩罚项：Ω(f_t) = γT_t + 0.5λ∑w_j² 其中 j=(1,2,3...T)
T_t代表第t棵树叶子节点个数，γ、λ即超参数。∑w_j² 代表第t棵树叶子节点预测值的平方和。这个思想和构建L2正则比较像，08 回归算法 - 解决过拟合 - L2(Ridge)和L1(LASSO)正则。

根据上面的知识对XGBoost公式推导

第t次迭代后，模型的预测值= t-1次模型的预测值+第t棵树的预测值。

目标函数可以写成：

回顾泰勒公式：

泰勒公式

将误差函数在yi^^(t-1) 处进行二阶泰勒展开。即对原损失函数进行展开，yi是定值，y^t是变化量，即泰勒公式中的Δx。
然后将y_i^t展开: y_i^t = L( y^ _i^t-1 + f_t(x))

原始损失函数左，转化为右边的公式，再做泰勒展开