AdaBoosting推导过程

一、AdaBoosting算法

Adaboosting中的A是adaptive的意思,所以AdaBoosting表示自适应增强算法。Adaboosting算法可以将弱分类器通过数次迭代增强为强分类器。Adaboosting算法在每一步弱分类器收敛后,会将错误的分类权重加大,错误率越高,对应得到的当前弱分类器权重越小,最后按照权重将每一个弱分类器组合起来就是Adaboosting的结果

图1 adaboosting算法示意图

二、Adaboosting推导

AdaBoost算法使用加法模型,损失函数为指数函数,学习算法使用前向分步算法。加法模型为:

指数损失函数为:


前向算法的意思就是下一步的推导计算要用上一步的结果,因此我们需要最小化下面的式子


1.参考MLAPP

你可能感兴趣的:(AdaBoosting推导过程)