AdaBoost 公式推导

首先要知道加法模型和指数损失函数。

加法模型

$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$

加法模型是一个加和模型，每一列训练一个分类器 $G_m(x)$，并且基于这个分类器的误差，得到这个分类器的权重 ${\alpha }_m$。

指数损失函数

$$L(y,f(x))=\exp [-yf(x)]$$

对于分类模型而言，上述损失函数，在分类正确的时候，指数部分为负数；在分类错误的时候，指数部分为正数，符合损失函数的意义。

由加法模型的定义：
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
得到迭代公式：
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$
此时认为函数 $f_{m-1}(x)$ 是已知的，每一轮迭代求的是分类器 $G_m(x)$ 和这个分类器的权重 ${\alpha }_m$。将上式代入损失函数得：
$$L(y,f(x))=\sum _{i=1}^N\exp [-y_i(f_{m-1}(x)+{\alpha }_m{G}_m(x))]$$
把指数加法因子展开，变成指数的乘积，得到：
$$L(y,f(x))=\sum _{i=1}^N[\exp [-y_i(f_{m-1}(x)][\exp (-y_i{\alpha }_m{G}_m(x))]]$$
由于 $y_i$ 和 $f_{m-1}(x)$ 已知，可以令 ${\overline{w}}_{mi}=\exp [-y_i{f}_{m-1}(x_i)]$，于是
$$L(y,f(x))=\sum _{i=1}^N{\overline{w}}_{mi}\exp (-y_i{\alpha }_m{G}_m(x))$$
于是分类器 $G_m(x)$ 和这个分类器的权重 ${\alpha }_m$ 可以表示成：
$$({\alpha }_m,G_m(x))=\underset{\alpha ,G}{argmin}\sum _{i=1}^N{\overline{w}}_{mi}\exp (-y_i{\alpha }_m{G}_m(x))$$
先求 $G_m(x)$，看上面的式子，分类器的权重 ${\alpha }_m$ 可以认为是一个确定的数，$G_m(x)$ 是使得分错的（带权重的）样本里损失函数最小的那个，可以写成：
$$G_m^{\ast }(x)=\underset{G}{argmin}\sum _{i=1}^N{\overline{w}}_{mi}I(y_i̸=G(x_i))$$
注意：重点理解上面两个式子的等价性。得到 $G_m^{\ast }(x)$ 以后，再求 ${\alpha }_m^{\ast }$。还是看损失函数，可以写成：
$$\begin{array}{rl}L(y,f(x))& =\sum _{i=1}^N{\overline{w}}_{mi}\exp (-y_i{\alpha }_m{G}_m(x))\\ & =\sum _{y_i=G_m(x_i)}{\overline{w}}_{mi}{e}^{-\alpha }+\sum _{y_i̸=G_m(x_i)}{\overline{w}}_{mi}{e}^{\alpha }\\ & =\sum _{y_i=G_m(x_i)}{\overline{w}}_{mi}{e}^{-\alpha }+\sum _{y_i̸=G_m(x_i)}{\overline{w}}_{mi}{e}^{-\alpha }-\sum _{y_i̸=G_m(x_i)}{\overline{w}}_{mi}{e}^{-\alpha }+\sum _{y_i̸=G_m(x_i)}{\overline{w}}_{mi}{e}^{\alpha }\\ & =e^{-\alpha }\sum _{i=1}^N{\overline{w}}_{mi}+(e^{\alpha }-e^{-\alpha })\sum _{y_i̸=G_m(x_i)}{\overline{w}}_{mi}\\ & =e^{-\alpha }\sum _{i=1}^N{\overline{w}}_{mi}+(e^{\alpha }-e^{-\alpha })\sum _{i=1}^N{\overline{w}}_{mi}I(y_i̸=G_m(x_i))\end{array}$$
把上式对 $\alpha$ 求导，再令导函数为 $0$，得：
$$-e^{-\alpha }\sum _{i=1}^N{\overline{w}}_{mi}+(e^{\alpha }+e^{-\alpha })\sum _{i=1}^N{\overline{w}}_{mi}I(y_i̸=G_m(x_i))=0$$
上式两边同时除以 ${\sum }_{i=1}^N{\overline{w}}_{mi}$，得：
$$-e^{-\alpha }+(e^{\alpha }+e^{-\alpha })\frac{{\sum }_{i=1}^N{\overline{w}}_{mi}I(y_i̸=G_m(x_i))}{{\sum }_{i=1}^N{\overline{w}}_{mi}}=0$$
令 $\frac{{\sum }_{i=1}^N{\overline{w}}_{mi}I(y_i̸=G_m(x_i))}{{\sum }_{i=1}^N{\overline{w}}_{mi}}=e_m$，则有：
$$\begin{array}{rl}-e^{-\alpha }+(e^{\alpha }+e^{-\alpha })e_m& =0\\ (e^{\alpha }+e^{-\alpha })e_m& =e^{-\alpha }\\ (e^{2\alpha }+1)e_m& =1\\ e^{2\alpha }+1& =\frac{1}{e_m}\\ e^{2\alpha }& =\frac{1}{e_m}-1=\frac{1-e_m}{e_m}\\ 2\alpha & =\log \frac{1-e_m}{e_m}\\ \alpha & =\frac{1}{2}\log \frac{1-e_m}{e_m}\end{array}$$
于是得到使得损失函数最小的
$${\alpha }_m^{\ast }=\frac{1}{2}\log \frac{1-e_m}{e_m}$$
这里
$$e_m=\frac{{\sum }_{i=1}^N{\overline{w}}_{mi}I(y_i̸=G_m(x_i))}{{\sum }_{i=1}^N{\overline{w}}_{mi}}=\sum _{i=1}^N{w}_{mi}I(y_i̸=G_m(x_i))$$

权重更新公式

那么权重如何更新呢？已知：
$$f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$$
和我们之前的定义：
$${\overline{w}}_{mi}=\exp [-y_i{f}_{m-1}(x_i)]$$
于是就有：
$$\begin{array}{rl}{\overline{w}}_{m+1,i}& =\exp [-y_i{f}_m(x_i)]\\ & =\exp [-y_i[f_{m-1}(x_i)+{\alpha }_m{G}_m(x_i)]]\\ & =\exp [-y_i{f}_{m-1}(x_i)]\exp [-y_i{\alpha }_m{G}_m(x_i)]\\ & ={\overline{w}}_{m,i}\exp [-y_i{\alpha }_m{G}_m(x_i)]\end{array}$$