集成学习之Boosting（一）Adaboost

1、前言

最近项目用集成学习用的多，好好地复习了一遍集成学习的所有较为基础的知识，而这节我要讲的Boosting就是一种很常用的统计学习方法，以下是我总结的内容（跟着西瓜书和统计学习方法的思路来的），仅作为本人记录参考，这一篇只是单纯的Adaboost的推导，总结性的有时间再写。

2、基本思路

我们知道，Boosting是一种不断将弱分类器相加，且边训练边修改样本权重分布和弱学习器分类权重的算法，一般这个弱学习器我们采用决策树桩（仅包含2个叶结点的单层决策树），至于为什么我会在后面讲到。

我们需要知道的是，boosting采用的是加性模型，也就是最终的集成是弱分类器的加权求和$f(x)={\sum }_{t=1}^T{\alpha }_t{h}_t(x)$得到最终集成的模型，$\alpha$是每个分类器权重，h是弱分类器（共T个）。

Boosting的步骤一般如下

1. 初始状态下训练一个弱分类器
2. 根据基学习器的表现调整样本分布，前一轮被错误分类的数据的权重将被提高，分类正确的数据则权值降低。而分类错误小的弱分类器最终也将被提高权重。
3. 下一个弱分类器则基于第二步调整后的样本进行训练
4. 重复上述步骤

3、算法实现

倘若我们使用指数损失函数
$$\begin{array}{rl}{l}_{exp}(H|W)& ={\mathbb{E}}_{x\sim W}[e^{-yH(x)}]\\ & =P(y=1|x)e^{-H(x)}+P(y=-1|x)e^{H(x)}\end{array}\text{\hspace{1em}(3.0.1)}$$

$W$为概率分布，可简单理解为在数据集$D$中进行一次随机抽样，每个样本被取到的概率；$\mathbb{E}[\cdot ]$为经典的期望，则综合起来${\mathbb{E}}_{\mathbf{x}\sim \mathcal{D}}[\cdot ]$表示在概率分布$W$上的期望，可简单理解为对数据集$D$以概率$W$进行加权后的期望

输入：

训练集数据$D=\left\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\right\}$，$y\in \left\{-1,1\right\}$和基学习器算法 $\delta$

3.1、初始化数据权值分布

我们假设数据集具有均匀的初始化分布，每个训练样本的作用相同
$$W_t=(w_{t,1},w_{t,2},w_{t,3},...,w_{t,m}),w_{t,i}=\frac{1}{m},i=1,2,..,m\text{\hspace{1em}(3.1.1)}$$

3.2、分类器迭代训练

若我们有弱分类器T个，则此时我们需要迭代训练T轮，每一轮生成一个弱分类器 $h_t,t=1,2,...,T$

• 3.2.1、对原始数据$D$进行$W_t$加权得到加权训练集$D_t$，对$D_t$进行训练得到弱分类器$h_t$
  $$h_t=\delta (D_t)\to \left\{-1,+1\right\}\text{\hspace{1em}(3.2.1)}$$

• 3.2.2、计算$h_t$在加权训练集$D_t$上的分类错误率
  $${ϵ}_t=\sum _{i=1}^{m}P(h_t(x_i)\ne y_i)=\sum _{h_t(x_i)\ne y_i}{w}_{t,i}\text{\hspace{1em}(3.2.2)}$$
  此时$w_{ti}$为第 t 轮中第 i 个实例的权值，而且${\sum }_{i=1}^m{w}_{t,i}=1$，这说明了$h_t$在加权训练集上的分类误差率是被$h_t$误分类的数据集的权值之和。

• 3.2.3、检查当前弱分类器性能是否比随机猜测好，如果不满足错误率小于阈值（假设0.5）的情况，则抛弃该学习器，并根据当前权值分布继续调整，然后再训练一个新的学习器。

• 3.2.4、计算弱分类器$h_t$的权值${\alpha }_t$ ，该权值更新公式由指数损失函数求导并令导数为0所得。
  $${\alpha }_t=\frac{1}{2}ln(\frac{1-{ϵ}_t}{{ϵ}_t})\text{\hspace{1em}(3.2.4)}$$
  我们知道Adaboost需要对分类错误率小的弱分类器进行权值增大，由上式我们可知当${ϵ}_t⩽0.5$ 时，${\alpha }_t⩾0$，并且随着${ϵ}_t$的减小，${\alpha }_t$会不断增大，这就增强了分类准确率高的弱分类器在最终的集成分类器之间的作用。

• 3.2.5、更新数据集权值分布$W_t$
  $$W_{t+1}(x)=\frac{W_t(x)e^{-{\alpha }_t{y}_i{h}_t(x_i)}}{Z_t}\text{\hspace{1em}(3.2.5.1)}$$
  $Z_t$是规范化因子，是用来确保$D_{t+1}$成为一个概率分布，此时其表达式为
  $$Z_t=\sum _{i=1}^m{w}_{t,i}{e}^{-{\alpha }_t{y}_i{h}_t(x_i)}\text{\hspace{1em}(3.2.5.2)}$$
  $Z_t$具体情况视上式$W_{t+1}$更新公式的分子而定。于是具体的数据集权值更新公式可写为
  $$w_{t+1,i}=\{\begin{array}{c}\frac{w_{t,i}}{Z_t}{e}^{-{\alpha }_t},h_t(x_i)=y_i\\ \\ \frac{w_{t,i}}{Z_t}{e}^{{\alpha }_t},h_t(x_i)\ne y_i\end{array}\text{\hspace{1em}(3.2.5.3)}$$
  根据样本权值更新公式，我们知道被弱分类器分类错误的样本的权值增大，分类正确的样本权值缩小。

3.3、弱分类器加权线性组合

我们在上面讲过，弱分类器的线性加权表决为$H(x)={\sum }_{t=1}^T{\alpha }_t{h}_t(x)$，系数${\alpha }_t$则表示了弱分类器$h_t$的重要性，越准确的越重要。

于是我们可以得到最终的集合分类器
$$H(x)=sign(f(x))=sign(\sum _{t=1}^T{\alpha }_t{h}_t(x))\text{\hspace{1em}(3.3.1)}$$

在输出>0时，结果为1；输出<0时，结果为-1；输出为0时，结果为0。

4、算法推导

我们知道Adaboosting使用的是加性模型迭代式优化指数损失函数，下面是上述第3节算法实现的重要更新公式的推导。

为什么我们要知道Adaboost算法的推导，最重要的原因是Adaboost仅仅是使用指数损失函数的Boosting，简单来说，Boosting + exp loss -> Adaboost，如果我们使用不同的损失函数，那么Boosting会有不同的更新公式.知道如何推导，我们就可以举一反三对使用别的损失函数的boosting进行更新推导。

可以说，整个Adaboost的核心在于得到理想的$h_t$和${\alpha }_t$

4.1、证明损失函数与错误率之间的关系

倘若我们得到的H(x)能使得我们的指数损失函数最小化，那么我们的loss将会对f(x)求偏导。
$$\frac{\phi l_{exp(f|D)}}{\phi f(x)}=-e^{-f(x)}P(y=1|x)+e^{f(x)}P(y=-1|x)\text{\hspace{1em}(4.1.1)}$$

令其为0可得到
$$f(x)=\frac{1}{2}ln\frac{P(y=1|x)}{P(y=-1|x)}\text{\hspace{1em}(4.1.2)}$$

求偏导的原因是，通过计算偏导并使偏导为零来求得使目标函数最小化的样本权值更新和弱分类器权值。

于是，对于最后的集成模型对x的输出结果可以详细写为
$$\begin{array}{rl}1、sign(H(x))& =sign(\frac{1}{2}ln\frac{P(y=1|x}{P(y=-1|x})\\ & \\ 2、& =\{\begin{array}{c}1,P(f(x)=1|x)>P(y=-1|x)\\ -1,P(f(x)=1|x)<P(y=-1|x)\end{array}\\ & \\ 3、& =\underset{y\in \left\{1,-1\right\}}{argmax}P(y=y|x)\end{array}\text{\hspace{1em}(4.1.3)}$$

这说明了当损失函数最小时，分类错误率也会是最小的，这两者息息相关。而且由于指数损失函数是0/1损失的一致的替代函数（替代之后效果相同，通过求解替代函数得到的解依旧是原问题的解），而且具有更好的数学性质，所以使用指数损失函数。但是依然有好些函数可以使用，例如平方、绝对、对数损失函数，这些也可以作为损失函数来代替。

4.2、弱分类器$h_t$推导

由于boosting是加性模型，前t_1个弱分类器相加得到$f_{t-1}$，而且在得到$f_{t-1}$之后数据的权重分布会进行调整，被分类错的权值增大，分类正确的权值缩减。这时新的$h_t$能在一定程度上纠正$H_{t-1}$的错误。也就是最小化损失函数
$$\begin{array}{rl}1、l_{exp}(f_{t-1}+h_t|W))& ={\mathbb{E}}_{x\sim W}[e^{-y(f_{t-1}(x)+h_t(x))}]\\ 2、& ={\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}{e}^{-y_i{h}_t(x)}]\\ & \because y\in \left\{-1,+1\right\}，h_t(x)\in \left\{-1,+1\right\}\\ & \therefore y^2=h_t^2(x)=1\\ & 由e^x的二阶泰勒展开为1+x+\frac{x^2}{2}+o(x^2),\\ & 对e^{-y_i{h}_t(x)}泰勒展开式近似为\\ 3、& \simeq {\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}(1-y{h}_t(x)+\frac{y^2{h}_t^2(x)}{2})]\\ 4、& ={\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}(1-y{h}_t(x)+\frac{1}{2})]\end{array}\text{\hspace{1em}(4.2.1)}$$

这时我们可以推断出理想的$h_t$，理想的$h_t(x)$是使得H_{t}(x)的指数损失函数取得最小值时的$h_t(x)$。
$$\begin{array}{rl}1、h_t(x)& =\underset{h}{argmin}{l}_{exp}(f_{t-1}+h|W)\\ 2、& =\underset{h}{argmin}{\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}(1-yh(x)+\frac{1}{2})]\\ 3、& =\underset{h}{argmax}{\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}yh(x)]\\ 4、& =\underset{h}{argmax}{\mathbb{E}}_{x\sim W}[\frac{e^{-y{f}_{t-1}(x)}}{{\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}]}yh(x)]\\ & 假设x的概率分布为f(x)\\ & \because \mathbb{E}(g(x))=\sum _{i=1)}^{|D|}f(x_i)g(x_i)\\ & \therefore {\mathbb{E}}_{x\sim W}[e^{-yf(x)}]=\sum _{i=1)}^{|D|}W(x_i)e^{-y_{i}f(x_i)}\\ 5、& =\sum _{i=1)}^{|D|}W(x_i)\frac{e^{-y_i{f}_{t-1}(x_i)}}{{\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}]}{y}_{i}h(x_i)\\ & \because W_t(x_i)=W(x_i)\frac{e^{-y_i{f}_{t-1}(x_i)}}{{\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}]}\\ 6、& =\sum _{i=1)}^{|D|}{W}_t(x_i)y_{i}h(x_i)\\ 7、& =\underset{h}{argmax}{\mathbb{E}}_{x\sim W}[yh(x)]\\ & \because y,h(x)\in \left\{-1,+1\right\}\\ & \therefore yh(x)=1-2\mathbb{I}(y\ne h(x)\\ & 当y=h(x)时，\mathbb{I}(y\ne h(x)=0，yh(x)=1\\ & 当y\ne h(x)时，\mathbb{I}(y\ne h(x)=1，yh(x)=-1\\ 8、& =\underset{h}{argmin}{\mathbb{E}}_{x\sim W}[\mathbb{I}(y\ne h(x)]\end{array}\text{\hspace{1em}(4.2.2)}$$

最终得到的第6行公式就是理想的若学习器$h_t$

我们会发现中途损失函数最小化转化为某个期望的最大化，而此时新增的${\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}]$是一个常数，用来令$W_{t+1}$表示一个分布，你可以认为他就是规范化因子$Z_t$。
$$W_{t+1}=\frac{W_t(x)e^{-y{f}_{t-1}(x)}}{{\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}]}\text{\hspace{1em}(4.2.3)}$$

再对比一下公式3.2.5.1中的$Z_t$
$$W_{t+1}=\frac{W_t{e}^{-{\alpha }_t{y}_i{h}_t(x_i)}}{Z_t}\text{\hspace{1em}(3.2.5.1)}$$

看吧，其实我感觉就是$Z_t$，只是形式不同而已

所以就是理想的$h_t$会在分布权重$W_t$下最小化误差，而且该误差要小于0.5才算合格。

4.3、弱分类器权重$\alpha$更新公式推导

我们知道第一个弱分类器的权重是初始数据的分布，后续才慢慢迭代更新数据分布和弱分类器权重，生成不一样的弱分类器$h_t$ 和权重 ${\alpha }_t$，而且 ${\alpha }_t$应该使得${\alpha }_t{h}_t$最小化指数损失函数。

我们知道对于强分类器H的损失函数形式
$$\begin{array}{rl}{l}_{exp}(H|W)& ={\mathbb{E}}_{x\sim W}[e^{-yH(x)}]\\ & =P(y=1|x)e^{-H(x)}+P(y=-1|x)e^{H(x)}\end{array}\text{\hspace{1em}(3.0.1)}$$

这里的$y=1and-1$是f(x)进行sign()以后的结果。

这时转换得到带权弱分类器${\alpha }_t{h}_t$的损失函数形式，${ϵ}_t$为弱分类器的错误率。
$$\begin{array}{rl}{l}_{exp}({\alpha }_t{h}_t|W_t)& ={\mathbb{E}}_{x\sim W_t}[e^{-y_i{\alpha }_t{h}_t(x_i)}]\\ & =e^{-{\alpha }_t}{P}_{x\sim W_t}(h_t(x)=y)+e^{{\alpha }_t}{P}_{x\sim W_t}(h_t(x)\ne y)\\ & =e^{-{\alpha }_t}(1-{ϵ}_t)+e^{{\alpha }_t}{ϵ}_t\end{array}\text{\hspace{1em}(4.3.1)}$$

接着我们需要对其求偏导，指数损失函数对${\alpha }_t$求偏导，为了得到使得损失函数取最小值时${\alpha }_t$的值，这里和我们上面所说对H(x)求偏导意思是一样的。
$$\frac{\phi l_{exp}({\alpha }_t{h}_t|W_t)}{\phi {\alpha }_t}=-e^{-{\alpha }_t}(1-{ϵ}_t)+(e^{{\alpha }_t}{ϵ}_t)\text{\hspace{1em}(4.3.2)}$$

讲真这个推导还是蛮简单的，接下来就是令偏导为0以求$\alpha$，可以得到当损失函数最小时，弱分类器$h_t$的权重${\alpha }_t$
$${\alpha }_t=\frac{1}{2}ln(\frac{1-{ϵ}_t}{{ϵ}_t})\text{\hspace{1em}(3.2.4)}$$

发现了吗，这就是我第三节讲的3.2.4更新公式，此时${\alpha }_t$ 的取值使得该弱分类器经${\alpha }_t$加权后的损失函数最小。

4.4、弱分类器数据分布$W$更新公式推导

$$\begin{array}{rl}{W}_{t+1}(x)& =\frac{W(x)e^{-y{f}_t(x)}}{{\mathbb{E}}_{x\sim W}[e^{-y{f}_t(x)}]}\\ & \\ & =\frac{W(x)e^{-y{f}_{t-1}(x)}{e}^{-y{\alpha }_t{h}_t(x)}}{{\mathbb{E}}_{x\sim W}[e^{-y{f}_t(x)}]}\\ & \\ & =W_t(x)\cdot e^{-y{\alpha }_t{h}_t(x)}\frac{{\mathbb{E}}_{x\sim W}[e^{-y{f}_{t-1}(x)}]}{{\mathbb{E}}_{x\sim W}[e^{-y{f}_t(x)}]}\end{array}\text{\hspace{1em}(4.4.1)}$$

对比下正好会发现就是样本分布更新公式3.2.5.1
$$W_{t+1}(x)=\frac{W_t(x)e^{-{\alpha }_t{y}_i{h}_t(x_i)}}{Z_t}\text{\hspace{1em}(3.2.5.1)}$$

小结

这是boosting的第一篇，下一篇关于GBDT和xgboosting。