【机器学习算法】:提升树(Boosting tree)

提升树是以分类树和回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一。Boosting方法其实本质上采用的是加法模型(基函数的线性组合)与前向分布算法。以决策树为基函数的Boosting方法被称为提升树(Boosting tree)。对分类问题决策树是二叉分类树,对回归问题决策树是二叉回归树。

前向分布算法

【机器学习算法】:提升树(Boosting tree)_第1张图片

提升树算法

针对不同的问题的提升树学习算法,其主要区别在于使用的损失函数不同。回归问题:使用平方误差损失函数;分类问题:使用指数损失函数;以及用一般损失函数的一般决策问题。对于二分类问题,提升树算法只需要将Adaboost算法中的基本分类器限制为二叉分类树即可,所以可以说这样的提升树算法是Adaboost算法的特殊情况。

提升树解决回归问题

【机器学习算法】:提升树(Boosting tree)_第2张图片
【机器学习算法】:提升树(Boosting tree)_第3张图片
【机器学习算法】:提升树(Boosting tree)_第4张图片

你可能感兴趣的:(机器学习算法)