《统计学习方法，李航》：8、提升方法Boosting（2）

1）Boosting思想和基本概念

2）AdaBoost算法

3）AdaBoost算法举例

4）AdaBoost算法的解释——前向分步算法

5）提升树算法

6）提升树算法举例

4）AdaBoost算法的解释——前向分步算法

下面给出加法模型和前向分步算法的简单描述：

一句话概括：前向分步算法就是分治的思想，把同时优化m=1...M的问题看做分别优化m=1...m=M的问题。AdaBoost算法是前向分步算法的特列。

5）提升树算法

提升树是以CARTree为基本分类器的提升方法，被认为是统计学中最好的方法之一。

先给出提升树模型：

注意下面一段话：

给出回归提升树算法的简单解释：

给出回归提升树的具体算法：

6）提升树算法举例