深度学习理论——AdaBoost算法

大家好,继续理论学习,今天进入了集成学习这一章,首先介绍AdaBoost算法。

集成学习分为Boosting和Bagging两种,其中Boosting算法是使用同质的弱分类器集成为强分类其,bagging为使用异质的弱分类器集成为强分类器,而Boosting的经典算法就是AdaBoost算法。

AdaBoost算法有使用循环迭代的方法更新两个权重:一个是每次迭代所训练的滤波器在最后的总结果中所占重要性的权重,一个是每次迭代后根据训练结果对训练数据的分布进行调整的权重(相当于对下一次迭代来说,训练数据带权学习,上一次分类错误的数据权重会高,让下一次训练时更加重视错误数据,因为每次不同迭代权重不同,数据的重要性也不一样,因此我们说影响了数据分布。)

深度学习理论——AdaBoost算法_第1张图片

其大体流程如下:

深度学习理论——AdaBoost算法_第2张图片

感觉集成学习很难,后面有新的理解再补充,我们下期见!

你可能感兴趣的:(深度学习)