集成学习-Adaboost

Adaboost是集成学习中经典的算法之一。Adaboost算法,英文全称为:Adaptive Boosting,即自适应增强,是一种典型的Boosting算法。

对于集成学习,对于给定的数据集,学习到一个较弱的分类器比学习到一个强分类器容易的多,boosting就是从弱学习器出发,反复学习,得到多个弱分类器,最后将这些弱分类器组合成强分类器。

Adaboost算法主要的工作是以下两点。

1. 提高那些被前一轮弱分类器错误分类的样本的权值,而降低那些被正确分类样本的权值.,这样下个分类器就能专注于那些不好识别的样本,针对性的建立分类器。

2. 对于若分类器的组合,Adaboost采取加权多数表决的方式,即加大分类错误率较小的弱分类器的权值,使其在表决中起较大作用,减小分类错误率较高的弱分类器的权值,使其在表决中起较小作用。

算法流程如下所示:

集成学习-Adaboost_第1张图片

 

你可能感兴趣的:(机器学习,集成学习)