Boosting

Boosting思想

GBDT是对于基函数进行权值的提升

Boosting的思想是对样本进行权值的赋予,对于每次分错类的权值增大,分对类的权值降低

举例adaboost(如何对样本和分类器的权值进行调整?)

使用具有权值的分布Dm的训练数据集学习,得到基本分类器


计算Gm(x)在训练数据集上的分类误差率:


计算Gm(x)的系数

表示当前分类器Gm的权值

构建基本分类器的线性组合

得到最终分类器


alpham不仅可以用在分类器上,也可以用在样本上

更新训练数据集的权值分布


其中yi表示1或-1,Zm是规范因子


它的目的是让Dm+1成为一个概率分布

Adaboost算法解释

Adaboost算法是模型为加法模型,损失函数为指数函数,学习方法为前向分布算法时的二分类学习算法

权值和错误率的关键解释

事实上,根据AdaBoost的构造过程,权值的调整公式为


Boosting_第1张图片

二者相除,得到

从而


Adaboost算法可以看作是采用指数损失函数的提升方法,其每个基函数的学习为前向分步算法

Adaboost的训练误差是指数下降的

Adaboost算法不需要事先知道下界gamma,具有自适应性,它能自适应弱分类器的训练误差。

之所以我们重视adaboost和随机森林是因为它们好调参,使用上没有那么多门槛

你可能感兴趣的:(Boosting)