Xgboost

XGBoost 与 Boosted Tree

1、Xgboost

        使用集成的方式来处理分类和回归问题,利用上图的方式确定是否愿意玩游戏为例子。使用上述的例子求得决策树叶子节点的权重和。

2、xgboost原理

使得目标函数权重最小,

不断往里面添加决策树,取得叶子节点的数

惩罚项的定义:总共三个叶子节点与r的成绩、w的正则化和

惩罚项

        现在还剩下的一个问题,我们如何选择每一轮加入什么F呢?选取一个f来使得我们的目标函数尽量最大降低。

每一个样本的真实值和预测值之间的差异+惩罚项的和;

目标函数与

残差决策树:每课决策树预测值与真实值之间的差异,

xgboost的求解过程:前面的模型已经预测

将样本上的遍历转移到叶子节点上的遍历,加上叶子节点的权重。

对目标函数求偏导,什么样的G值对目标函数最小

G表示一阶导数

你可能感兴趣的:(Xgboost)