ML《集成学习(三)Boosting和Adaboosting回归树》

上一篇博文我们学习了adaboosting算法用于分类树的算法,今天想把adaboosting算法用于回归树的算法也补充下:

这里我们学习的是adaboosting R2算法:
存在样本集D = {(x1,y1), (x2,y2), (x3,y3),…,(xN,yN)}
迭代次数是T,也就是存在T个弱学习器,样本个数是N。

ML《集成学习(三)Boosting和Adaboosting回归树》_第1张图片
ML《集成学习(三)Boosting和Adaboosting回归树》_第2张图片
ML《集成学习(三)Boosting和Adaboosting回归树》_第3张图片
整体还是和adaboosting做分类树的过程是一样的,都是给每个样本一个权重,一次迭代后,计算错误率和权重,以及更新权重,最后结合T个弱学习器的时候都是选择加权线性相加。

你可能感兴趣的:(机器学习,Adaboosting,机器学习,Adaboosting回归树)