决策树随笔

这是一个随笔

我们先暂时不考虑损失函数的,我们只是在函数空间里求梯度。给定训练数据

所谓提升我们就是不断通过加权形式提高在分错的数据上识别能力来达到一种提升分类器效果。所谓残差就是上一步遗留下来等待新进分类器把这些数据做的更好。

这里依旧是一个监督学习,通过设定目标函数来让 不断逼近 这个真实函数。


有的教程只是将如何通过学习得到残差,然后使用残差和数据组合得到新的样本来训练新的的决策树,而忽视介绍 的具体模样,这里我们就来介绍一下

表示有 m 颗决策树(或者分类器)乘以 权重组成。

我们寻找一个常数 c 作为在 ,一般就是 c 是样本点均值。


是由 m 颗决策树组成集合,而

在实际中我们无需求梯度,而是通过决策树来拟合残差的形式来实现梯度下降的效果。

我们使用 m - 1 颗决策树的结果有预期值之间残差作为训练下一颗(第 m 颗)决策树的数据。

加法模型

学一个新的决策树拟合残差, 类似随意函数

你可能感兴趣的:(决策树随笔)