AdaBoost学习-算法步骤

Boosting称为提升，是集成学习(Ensemble Learning)中的一种重要方法， 集成学习中一类是以随机森林(RF)为代表的各学习器并行生成的Bagging，一种是以AdaBoost为代表的各学习器串行生成的Boosting。

AdaBoost是"Adaptive Boosting"的缩写，是Yoav Freund和Robert Schapire在1995年提出的，其意为自适应提升。其自适应表现在前一个学习器预测错误的样本的权值会增大，下一个学习器是在已经发生变化的训练样本空间上得到的。每次迭代都会得到一个新的学习器，当达到某个预设的条件(如基分类器的个数等），迭代停止，所有学习器的预测结果通过线性组合为最终的预测结果。

闲话少叙，直接上算法。

一. 训练数据集

二分类数据集：

$$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$
每个样本点的输入特征 $x_i\in {\mathbb{R}}^n$，标签值 $y_i\in \{-1,+1\}，i=1,2,\cdots ,N$
即每个样本点的输入特征是 $n$ 维的，训练集一共有 $N$ 个样本点。

---

二. 算法步骤

已知：
训练数据集 $T$

弱分类器 $\{G_1(x),G_2(x),\cdots ,G_M(x)\}$

注意：这里所说的弱分类器是已知的意思是仅仅知道分类器的类型，如DT，SVM等。

1. 初始化训练数据集中样本点的权值：
   $$D_1=(w_{11},w_{12},\cdots ,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,\cdots ,N$$
   每个样本点的权重均初始化为 $\frac{1}{N}$

2. 对于 $m=1,2,\cdots ,M$

   a. 使用权值为 $D_m$ 的数据集训练，得到基分类器：
   $$G_m(x):\mathcal{X}\to \{-1,1\}$$
   注：虽然说是使用权值为 $D_m$ 的数据集训练得到该基分类器，但实际上此处使用的训练数据与权值 $D_m$ 没有任何关系，之所以强调权值 $D_m$ 是为了在下一步计算误差中需要用到。

   b. 计算 $G_m(x)$ 在权重为 $D_m$ 的数据集上的分类误差：
   $$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)=\sum _{G_m(x_i)\ne y_i}{w}_{mi}$$
   注：此处计算的分类误差实际上是误分类样本的权重之和，并非一般意义上的分类误差。正因为这样，才能把样本权重的概念引入到算法中。

   c. 计算当前分类器 $G_m(x)$ 的权重系数：
   $${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}=\frac{1}{2}log(\frac{1}{e_m}-1)$$
   注：${\alpha }_m$ 与 $e_m$ 负相关，即误分类率越高的分类器权重越低；且当 $e_m>0.5$ 时，${\alpha }_m<0$，可以考虑将此分类器舍去。

   d. 更新训练数据的权值分布 $D_{m+1}$ :
   $$D_{m+1}=(w_{m+1,1},\cdots ,w_{m+1,i},\cdots ,w_{m+1,N})$$
   $$\begin{array}{rl}{w}_{m+1,i}& =\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))\\ & =\{\begin{array}{ll}\frac{w_{mi}}{Z_m}{e}^{-{\alpha }_m},& \text{Gm(xi)=yi}\\ \frac{w_{mi}}{Z_m}{e}^{{\alpha }_m},& \text{Gm(xi)=yi}\end{array}\end{array}$$
   $$Z_m=\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$
   注：$Z_m$是规范化因子，它使 $D_{m+1}$ 成为一个概率分布；值得注意的是，此处 $D_{m+1}$ 的更新公式是针对二分类且标签是 $\{-1,1\}$ 的，如果不是二分类或者标签不是 $\{-1,1\}$ 时，该更新公式不适用；可以看出，误分类样本的权值被放大，而样本本身并没有发生改变，这也是AdaBoost的一个特点。

3. 构建最终分类器：
   $$\begin{gathered} f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x) \\ G(x)=sign(f(x))=sign\left(\sum _{m=1}^M{\alpha }_m{G}_m(x)\right) \\ sign(x)=\{\begin{array}{ll}1,& \text{x>0}\\ -1,& \text{x≤0}\end{array} \end{gathered}$$
   注：$f(x)$ 表示各分类器输出结果的线性组合，使用 $sign(f(x))$ 函数表示线性组合的结果是输出 $1$ 的分类器占优势还是输出 $-1$ 的分类器占优势；注意此处的 ${\alpha }_m$ 是分类器 $G_m(x)$ 的重要性的衡量指标，并不满足 ${\sum }_{m=1}^M{\alpha }_m=1$ ；此处的公式还是仅适用于二分类且标签为 $\{-1,1\}$，其余情况并不适用。

参考：《统计学习算法》 李航