AdaBoost算法（二）——理论推导篇

AdaBoost算法（二）——理论推导篇

集成学习系列博客：

• 集成学习（ensemble learning）基础知识
• 随机森林（random forest）
• AdaBoost算法（一）——基础知识篇
• AdaBoost算法（二）——理论推导篇

在前面AdaBoost算法（一）——基础知识篇中详细介绍了adaboost的基础知识和原理，如果你只想了解adaboost的基本原理那么只看那篇博客就足够了，或者是你看到公式就头大，也可以跳过这篇博客了，因为这篇博客讲的AdaBoost理论推导确实很枯燥，并且这个理论推导对于不搞学术研究，不做改进，只是用下adaboost的同学来说没啥意义，所以只看AdaBoost算法（一）——基础知识篇 也是完全ok的。
这篇博客主要分以下两个方面来介绍下adaboost的理论推导方面吧，这篇博客基于李航老师的《统计学习方法》写成。

1. Adabost算法的训练误差分析
2. 用加法模型来解释Adaboost

一、Adabost算法的训练误差分析

首先先来理论分析下adaboost算法的误差，以下公式大多都是直接摘自李航老师《统计学习方法》，我只是添加了一些细化的步骤和解释。我们在上一篇adaboost的基础知识里也说了adaboost的误差为：$\frac{1}{N}{\sum }_{i=1}^{N}I(G(x_i)≠y_i)$，那么这个误差有没有上届？《统计学习方法》书中给出了并且给出了证明，adaboost算法最终分类器的训练误差界为：
$$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)≠y_i)\le \frac{1}{N}\sum _{i}exp(-y_{i}f(x_i))=\prod _m{Z}_m\text{\hspace{1em}(1)}$$

这里的$G(x)$表示最终的分类器，$G_m(x)$表示第m次迭代时的基分类器，$f(x)$表示基分类器的线性组合，即$f(x)={\sum }_{m=1}^M{\alpha }_m{G}_m(x)$，$Z_m$为前一篇博客中提到的规范化因子，$Z_m={\sum }_{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$。下面主要是来证明上面这个公式，证明：
当 $G(x_i)≠y_i$ 时，有$y_{i}f(x_i)<0$，因此$exp(-y_{i}f(x_i))\ge 1$，直接可得$\frac{1}{N}{\sum }_{i=1}^{N}I(G(x_i)≠y_i)\le \frac{1}{N}{\sum }_{i}exp(-y_{i}f(x_i))$。
现在来证明 $\frac{1}{N}{\sum }_{i}exp(-y_{i}f(x_i))={\prod }_m{Z}_m$，首先根据上一篇博客AdaBoost算法（一）——基础知识篇中公式能够知道：$w_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))=Z_m{w}_{m+1,i}$
证明：

$$\begin{array}{rl}& \frac{1}{N}\sum _{i}exp(-y_{i}f(x_i))\\ & =\frac{1}{N}\sum _{i}exp(-\sum _{m=1}^M{\alpha }_m{y}_i{G}_m(x_i))\\ & =\sum _i{w}_{1i}\cdot exp[-{\alpha }_1{y}_i{G}_1(x_i)-{\alpha }_2{y}_i{G}_2(x_i)-...-{\alpha }_M{y}_i{G}_M(x_i)]\\ & =\sum _i{w}_{1i}\prod _{m=1}^{M}exp(-{\alpha }_m{y}_i{G}_m(x_i))\\ & =Z_1\sum _i{w}_{2i}\prod _{m=2}^{M}exp(-{\alpha }_m{y}_i{G}_m(x_i))\\ & =Z_1{Z}_2\sum _i{w}_{3i}\prod _{m=3}^{M}exp(-{\alpha }_m{y}_i{G}_m(x_i))\\ & =\cdot \cdot \cdot \\ & =Z_1{Z}_2\cdot \cdot \cdot Z_{M-1}\sum _i{w}_{Mi}exp(-{\alpha }_M{y}_i{G}_M(x_i))\\ & =\prod _m{Z}_m\end{array}\text{\hspace{1em}(2)}$$

上面的定理说明了：只要在每一轮选择适当的$G_m$使得$Z_m$最小，则可以使得adaboost的训练误差下降最快。
特别地，对于二分类而言，adaboost的训练误差是以指数速度下降的，即：
$$\prod _{m=1}^M{Z}_m=\prod _{m=1}^M[2\sqrt{e_m(1-e_m)}]=\prod _{m=1}^M\sqrt{(1-4{\gamma }_m^2)}\le exp(-2\sum _{m=1}^M{\gamma }_m^2)\text{\hspace{1em}(3)}$$
这里，${\gamma }_m=\frac{1}{2}-e_m$。
下面来证明（3）式：
$$\begin{array}{rl}{Z}_m& =\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))\\ & =\sum _{y_i=G_m(x_i)}{w}_{mi}{e}^{-{\alpha }_m}+\sum _{y_i≠G_m(x_i)}{w}_{mi}{e}^{{\alpha }_m}\\ & =e^{-{\alpha }_m}\sum _{y_i=G_m(x_i)}{w}_{mi}+e^{{\alpha }_m}\sum _{y_i≠G_m(x_i)}{w}_{mi}\\ & =e^{-{\alpha }_m}(1-e_m)+e^{{\alpha }_m}{e}_m\\ & =(1-e_m)e^{-\frac{1}{2}\log \frac{1-e_m}{e_m}}+e_m{e}^{\frac{1}{2}\log \frac{1-e_m}{e_m}}\\ & =2\sqrt{e_m(1-e_m)}\\ & =\sqrt{1-4{\gamma }_m^2}\end{array}\text{\hspace{1em}(4)}$$
下面来证不等式
$$\prod _{m=1}^M\sqrt{(1-4{\gamma }_m^2)}\le exp(-2\sum _{m=1}^M{\gamma }_m^2)$$
因为
$$exp(-2\sum _{m=1}^M{\gamma }_m^2)=exp(-2{\gamma }_1^2)\cdot exp(-2{\gamma }_2^2)\cdot \cdot \cdot exp(-2{\gamma }_M^2)=\prod _{m=1}^{M}exp(-2{\gamma }_m^2)\text{\hspace{1em}(5)}$$
即证明：
$$\prod _{m=1}^M\sqrt{(1-4{\gamma }_m^2)}\le \prod _{m=1}^{M}exp(-2{\gamma }_m^2)$$
这个用泰勒展开式在点 $x=0$ 处对$e^{-2r^2}$和$\sqrt{1-4r^2}$展开，这里要用到的泰勒公式如下：
$$e^x=1+x+\frac{1}{2!}{x}^2+\frac{1}{3!}{x}^3+\frac{1}{4!}{x}^4+\cdot \cdot \cdot +\frac{1}{n!}{x}^n$$
$$(1+x{)}^{\alpha }=1+\alpha x+\frac{\alpha (\alpha -1)}{2!}{x}^2+\cdot \cdot \cdot +\frac{\alpha (\alpha -1)\cdot \cdot \cdot (\alpha -n+1)}{n!}{x}^n$$
因此$\sqrt{1-4r^2}$的泰勒展开式为：
$$\sqrt{1+(-4r^2)}=1-2r^2-2r^4+\cdot \cdot \cdot$$
$e^{-2r^2}$ 的泰勒展开式为：
$$e^{-2r^2}=1-2r^2+2r^4+\cdot \cdot \cdot$$
所以，$\sqrt{1-4r^2}<e^{-2r^2}$，因此 ${\prod }_{m=1}^M\sqrt{(1-4{\gamma }_m^2)}\le {\prod }_{m=1}^{M}exp(-2{\gamma }_m^2)$，得证。这实际上表明了adaboost的训练误差是以指数速度下降的。

二、用加法模型来解释Adaboost

这一部分主要是用加法模型和指数损失函数来解释adaboost。在统计学习方法书中写到，前向分步法学习的是加法模型，当基函数为基本分类器时，该加法模型等价于AdaBoost的最终分类器
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
前向分步法从前往后逐一学习基函数，与adaBoost逐一学习基分类器的过程是一致的。并且当前向分步法的损失函数是指数损失函数($L(y,f(x))=exp[-yf(x)]$)时，其学习的具体操作等价于AdaBoost。下面就是证明，如何从加法模型中使用前向分步法推导出AdaBoost，对公式头大的同学可以略过此节了。。即使看的话，我依然建议去看统计学习书中的这部分，我只是把其中的步骤做了一点细化的补充，为了让公式更容易看懂而已。。
假设经过$m-1$次迭代前向分步法得到$f_{m-1}(x)$：
$$f_{m-1}(x)=f_{m-2}(x)+{\alpha }_{m-1}{G}_{m-1}(x)={\alpha }_1{G}_1(x)+{\alpha }_2{G}_2(x)+\cdot \cdot \cdot +{\alpha }_{m-1}{G}_{m-1}(x)$$
则在第m次迭代有：
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$
目标则是使前向分步法得到的${\alpha }_m$，$G_m(x)$使$f_m(x)$在训练集上的指数损失函数最小，即：
$$({\alpha }_m,G_m(x))=\arg \underset{\alpha ,G}{\min }\sum _{i=1}^{N}exp[-y_i(f_{m-1}(x_i)+\alpha G(x_i))]\text{\hspace{1em}(6)}$$
若令${\bar{w}}_{mi}=exp[-y_i{f}_{m-1}(x_i)]$，则公式（6）为：
$$({\alpha }_m,G_m(x))=\arg \underset{\alpha ,G}{\min }\sum _{i=1}^N{\bar{w}}_{mi}exp[-y_i\alpha G(x_i)]\text{\hspace{1em}(7)}$$
因为${\bar{w}}_{mi}$和$\alpha$与$G$无关，因此最小化时可以把它视为常数。
下面我们来看看怎么求${\alpha }_m^{\ast }$和$G_m^{\ast }(x)$使得公式(7)最小，

先来求$G_m^{\ast }(x)$，对于任意的$\alpha >0$，要想使得公式（7）最小，则要$-y_{i}G(x_i)$最小，则要$y_{i}G(x_i)$最大，那么就需要$G_m^{\ast }(x)$的错误率最小，因此：
$$G_m^{\ast }(x)=\arg \underset{G}{\min }\sum _{i=1}^N{\bar{w}}_{mi}I(y_i≠G(x_i))\text{\hspace{1em}(8)}$$
此分类器$G_m^{\ast }(x)$即为AdaBoost算法的基分类器$G_m(x)$，因为它是使得第m次迭代时加权训练数据分类误差最小的基分类器。

再来求${\alpha }_m^{\ast }$：
$$\begin{array}{rl}& \sum _{i=1}^N{\bar{w}}_{mi}exp(-y_i\alpha G(x_i))\\ & =\sum _{y_i=G_m(x_i)}{\bar{w}}_{mi}{e}^{-\alpha }+\sum _{y_i≠G_m(x_i)}{\bar{w}}_{mi}{e}^{\alpha }\\ & =(e^{\alpha }-e^{-\alpha })\sum _{i=1}^N{\bar{w}}_{mi}I(y_i≠G(x_i))+e^{-\alpha }\sum _{i=1}^N{\bar{w}}_{mi}\end{array}\text{\hspace{1em}(9)}$$
公式（9）对$\alpha$求导，并使得导数为0，可解得：
$${\alpha }_m^{\ast }=\frac{1}{2}log\frac{1-e_m}{e_m}\text{\hspace{1em}(10)}$$
其中，
$$e_m=\frac{{\sum }_{i=1}^N{\bar{w}}_{mi}I(y_i≠G_m(x_i))}{{\sum }_{i=1}^N{\bar{w}}_{mi}}\text{\hspace{1em}(11)}$$
至于公式(11)为何还等于${\sum }_{i=1}^N{w}_{mi}I((y_i)≠G_m(x_i))$我是没看懂，请路过的大佬不啬赐教~
能够看出这个${\alpha }_m^{\ast }$与adaboost的${\alpha }_m$完全一致。

再来看样本权重更新，因为${\bar{w}}_{mi}=exp[-y_i{f}_{m-1}(x_i)]$，所以：
$$\begin{array}{rl}{\bar{w}}_{m+1,i}& =exp[-y_i{f}_m(x_i)]\\ & =exp[-y_i(f_{m-1}(x)+{\alpha }_m{G}_m(x))]\\ & =exp(-y_i{f}_{m-1}(x_i))\cdot exp(-y_i{\alpha }_m{G}_m(x))\\ & ={\bar{w}}_{mi}exp(-y_i{\alpha }_m{G}_m(x))\end{array}$$
这与Adaboost的样本权重更新是一致的。

关于AdaBoost的理论推导就介绍到这~

参考文献
[1]: 李航《统计学习方法》