提升方法

在分类问题中，提升方法通过 改变样本的权重， 学习多个分类器，并 将这些分类器进行线性组合提高分类性能。这样做的理论基础是强可学习与弱可学习是等价的，也就是说，在PAC学习的框架下，一个概念是强可学习的充分必要条件是这个概念是弱可学习的。这样一来，问题便成为了，在学习中，如果 已经发现了"弱可学习算法”，那么能否将它提升为"强可学习"。大家知道，发现弱可学习算法通常要比发现强可学习算法容易得多。提升方法就是 从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是 改变训练数据的概率分布，针对不 同的训练数据分布调用弱可学习算法学习一系列弱分类器。如此提升方法要解决一下两个问题：

1. 在每一轮如何改变训练数据的权值或概率分布
2. 如何将弱分类器组合成一个强分类器

AdaBoost算法

关于第1个问题，AdaBoost的做法是，提高那些被前一轮弱分类错误分类样本的权值，而降低那些被正确分类样本的权值。这样做的目的是，增加没有被正确分类的样本的权重，可以在接下来的分类过程中得到更多的关注，提高对这些样本的分类能力。对于第2个问题，即弱分类器的组合，AdaBoost采用加权多数表决的方法。具体地，加大分类误差小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决过程中起较小的作用。AdaBoost的具体实现如下：

输入训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$其中$x_i\in X\subset R^n$,输出最后分类器$G(x)$

1. 初始化训练数据的权重分布$$D_1=(w_{11},...,w_{ii},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,...,N$$其中$D_1$为第一个弱分类器的每个数据的权重

2. 对$M=1,2,...,m$为弱分类器的索引
   (1).使用权重分布$D_m$的训练数据集，得到基本分类器$$G_m(x):\chi \to \{-1,+1\}$$
   (2).计算$G_m(x)$(第$m$个弱分类器)在训练数据集上的分类误差率$$e_m=P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$
   (3).计算$G_m(x)$的系数$$a_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$这里的对数是自然对数。
   (4).更新训练数据集的权重分布$$D_{m+1}=(w_{m+1,1},...,w_{m+1,i},...,w_{m+1,N})$$$$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-a_m{y}_i{G}_m(x_i)),i=1,2,...,N$$这里，$Z_m$是规范化因子$Z_m={\sum }_{i=1}^N{w}_{mi}exp(-a_m{y}_i{G}_m(x_i))$如此它使$D_{m+1}$成为一个概率分布,即${\sum }_{i=1}^N{w}_{mi}=1$。

3. 构建基本分类器的线性组合$$f(x)=\sum _{m=1}^M{a}_m{G}_m(x)$$得到最终分类器$$G(x)=sign(f(x))=sign(\sum _{m=1}^M{a}_m{G}_m(x))$$

提升树

提升树是以分类或回归树为基本分类的提升方法。提升树被认为是统计学习中性能最好的方法之一。

提升树模型

提升树方法实际采用加法模型(即基函数的线性组合)与前向分布算法，以决策树为基函数的提升方法称为提升树。对分类问题是二叉分类树，对回归问题决策树是二叉回归树。提升树模型可以表示为决策树的加法模型:$$f_M(x)=\sum _{m=1}^{M}T(x;{\Theta }_m)$$其中，$T(x;{\Theta }_m)$表示决策树；${\Theta }_m$为决策树的参数；$M$为树的个数。

提升树算法

提升树算法采用前向分布算法。首先确定初始提升树$f_0(x)=0$,第$m$步的模型是$$f_m(x)=f_{m-1}(x)+T(x;{\Theta }_m)$$其中，$f_{m-1}(x)$为当前模型，通过经验风险最小化确定下一棵决策树的参数${\Theta }_m$$$\widehat{{\Theta }_m}=\underset{{\Theta }_m}{\mathrm{argmin}}\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;{\Theta }_m))$$下面讨论不同问题的提升树学习算法，其主要区别在于使用的损失函数不同。包括用平方误差损失函数的回归问题，用指数损失函数的分类问题，以及一般损失函数的一般决策问题。
回归问题的提升树算法如下:
输入:训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},x_i\in X\subset R^n,y_i\in Y\subset R$
输出:提升树$f_M(x)$

1. 初始化$f_0(x)=0$
2. 对$m=1,2,...,M$
   (1).计算残差$$r_{mi}=y_i-f_{m-1}(x_i),i=1,2,...,N$$
   (2).拟合残差$r_{mi}$(相当于$y_i\leftarrow r_{mi}$,确定了拟合过程中选择的最优特征以及最优切分点)学习回归树，得到$T(x;{\Theta }_m)$
   (3).更新$f_m(x)=f_{m-1}(x)+T(x;{\Theta }_m)$
3. 得到回归提升树$$f_M(x)=\sum _{m=1}^{M}T(s;{\Theta }_m)$$

梯度提升

提升树利用加法模型与前向分歩算法实现学习的优化过程。当损失函数是平方损失和指数损失函数时，每一步优化是很简单的。但对一般损失函数而言，往往每一步优化并不那么容易。针对这一问题，Freidman提出了梯度提升算法。其关键是利用损失函数的负梯度在当前模型的值$$-[\frac{\partial L(y,f(x_i))}{\partial f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$作为回归问题提升树算法中的残差的近似值，拟合一个回归树。
梯度提升算法如下：
输入:训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},x_i\in X\subset R^n,y_i\in Y\subset R$,损失函数$L(Y,f(X))$
输出:提升树$\hat{f}(x)$

1. 初始化$$f_0(x)=\underset{c}{\mathrm{argmin}}\sum _{i=1}^{N}L(y_i,x)$$
2. 对$m=1,2,...,M$
   (1).$i=1,2,...,N$,计算$$r_{mi}=-[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$
   (2).对$r_{mi}$拟合一个回归树，得到第$m$棵树的叶节点区域$R_{mj}，j=1,2,...,J$
   (3).对$j=1,2,...,J$,计算$$c_{mj}=\underset{c}{\mathrm{argmin}}\sum _{x_i\in R_{mj}}L(y_i,f_{m-1}(x_i)+c)$$$$f_m(x)=f_{m-1}(x)+\sum _{j=1}^J{c}_{mj}I(x\in R_{mj})$$
   (4).更新
3. 得到回归树$$\hat{f}(x)=f_M(x)=\sum _{m=1}^M\sum _{j=1}^J{c}_{mj}I(x\in R_{mj})$$