Gradient Boosting 和 AdaBoost 的推导

最近看到集成学习的部分，觉得推导有点难，稍微写一写，推荐看看原论文或李宏毅老师的深度学习2019课程和周志华老师的《机器学习》，这里只关注Gradient Boosting 和 AdaBoost 的推导，综合了三部分内容，理清一下思路。

Gradient Boosting 本身是一个 general 的算法，使用不同的学习器和损失函数可以导出不同的具体的算法。这里换一个角度将整个框架搭建起来。首先，集成学习需要训练 T 个基学习器，然后用某种方法把这些基学习器的结果综合起来作为输出，就会是这样子：

For t = 1 to T:
       \space \space \space \space \space \space       train f_t(x)
Output: F( f₁(x), f₂(x),…,f_T(x) )

我们的目标很清晰，最终就是要得到一个强学习器，需要思考的是如何训练基学习器和如何整合起来。我们先略过构造的部分抽象的建模 G(x)，这里的 G(x) 有点特别，它是很多个模型的综合，理论上这些模型都可能是不同质的：

Init G(x) = 0
For t = 1 to T:
       \space \space \space \space \space \space       train f_t(x)
G(x) = F( f₁(x), f₂(x),…,f_T(x) )
Output: sign(G(x))

从这里出发，或许可以产生许多种集成学习的思路，Gradient Boosting 假设各个学习器是弱学习器，后面训练的弱学习器的目标是校正前面训练的弱学习器的缺点，如果从模型 G(x) 的角度来看，每训练出一个模型，G(x) 的效果就会变好，所以整体上是一种提升算法：

Init G₀(x) = 0
For t = 1 to T:
       \space \space \space \space \space \space       train f_t(x)
       \space \space \space \space \space \space       update G_t(x) using G_t-1(x) and f_t(x)
Output: sign(G_T(x))

事实上，Gradient Boosting 采用加性模型，训练后面的基学习器时会固定住前面的基学习器，然后做简单的相加，注意到基学习器的训练过程是有序的，所以 Gradient Boosting 的基学习器的训练不能并行：

Init G₀(x) = 0
For t = 1 to T:
       \space \space \space \space \space \space       train f_t(x)
       \space \space \space \space \space \space       G_t(x) = G_t-1(x) + a_t · f_t(x)
Output: sign(G_T(x))

接下来需要细化提升的过程，所谓的提升一定是相对于某个损失而言的，因此我们需要选择适当的损失函数为整个算法提供方向。注意一下这里是第一个可以选择的地方：

target $minimize\mathcal{L}(G)={\sum }_{i=1}^{N}L(y^i,G(x^i))$
Init G₀(x) = 0
For t = 1 to T:
       \space \space \space \space \space \space       train f_t(x)
       \space \space \space \space \space \space       G_t(x) = G_t-1(x) + a_t · f_t(x)
Output: sign(G_T(x))

为了做到在 T 个学习器训练完成后整个模型的损失降到最小，我们观察 G(x) 的更新过程。如果训练的基学习器 f_t(x) 正好是一个类似负梯度的东西，那就可以保证每一个学习器都有往正确的方向做贡献，再来，如果每一个 a_t 都选择得恰到好处，那就能达到类似线性搜索的效果，整个优化过程就是最佳的，这正是我们需要构造的两部分：

target $minimize\mathcal{L}(G)={\sum }_{i=1}^{N}L(y^i,G(x^i))$
Init G₀(x) = 0
For t = 1 to T:
       \space \space \space \space \space \space       f_t(x) = $-\frac{\partial L(y,G_{t-1}(x))}{\partial G_{t-1}(x)}$
       \space \space \space \space \space \space       $\rho$_t = $argmi{n}_{\rho }{\sum }_{i=1}^{N}L(y^i,G_{t-1}(x^i)+\rho$ · f_t$(x^i))$
       \space \space \space \space \space \space       G_t(x) = G_t-1(x) + $\rho$_t · f_t(x)
Output: sign(G_T(x))

$\rho$_t 的选择不必多讲，在最小化 G_t(x) 损失的过程中选择，就是选择最合适的步长，有问题的是训练 f_t(x) 的过程。细心的你可能会发现，f_t(x) 要逼近的梯度是一个对函数的偏导，在原论文中称为函数空间的梯度，计算的方法和对参数的偏导相同，简单的将函数看成是 vector 就可以了。但是，之所以说是逼近，是因为 f_t(x) 是在有限的样本中训练出来的，只能是对真实函数的估计，一定会有偏差，所以实际上这里不能取等号，我们把它改成逼近的过程（后面略去 target ）：

Init G₀(x) = $argmi{n}_{\rho }{\sum }_{i=1}^{N}L(y^i,\rho )$
For t = 1 to T:
       \space \space \space \space \space \space       ${\tilde{y}}^i$ = $[-\frac{\partial L(y^i,G(x^i))}{\partial G(x^i)}{]}_{G(x)=G_{x-1}(x)},i=1,N$
       \space \space \space \space \space \space       f_t(x) = $argmi{n}_f{\sum }_{i=1}^N[{\tilde{y}}^i-f(x^i){]}^2$
       \space \space \space \space \space \space       $\rho$_t = $argmi{n}_{\rho }{\sum }_{i=1}^{N}L(y^i,G_{t-1}(x^i)+\rho$ · f_t$(x^i))$
       \space \space \space \space \space \space       G_t(x) = G_t-1(x) + $\rho$_t · f_t(x)
Output: sign(G_T(x))

不用担心太复杂。这里的 $\tilde{y}$ 就是上面的负梯度，写成带有上标的形式只是为后面的书写方便而已，这里 f_t(x) 向负梯度的逼近也是一个最小化损失的过程，损失函数选择平方损失，这里是第二个可以选择的地方，实际上基学习器选择怎么样子的，这里的损失函数要跟着修改，有时还要做一些变换，为了让训练第一个学习器时就能算梯度，修改了一下 G(x) 的初始化。到了这一步，看起来已经非常完善了，只是还有一个细节需要补充。注意到这里 f_t(x) 的最小化过程，这里实际上最小化的是 x 和 $\tilde{y}$ 的联合概率的期望，与上一段同样的问题，对联合概率的估计只能是在有限的样本中完成，一定会有偏差，为了弥补这一段偏差，我们稍微修改一下最小化的过程：

Init G₀(x) = $argmi{n}_{\rho }{\sum }_{i=1}^{N}L(y^i,\rho )$
For t = 1 to T:
       \space \space \space \space \space \space       ${\tilde{y}}^i$ = $[-\frac{\partial L(y^i,G(x^i))}{\partial G(x^i)}{]}_{G(x)=G_{x-1}(x)},i=1,N$
       \space \space \space \space \space \space       f_t(x) = $argmi{n}_{\beta \cdot f}{\sum }_{i=1}^N[{\tilde{y}}^i-\beta \cdot f(x^i){]}^2$
       \space \space \space \space \space \space       $\rho$_t = $argmi{n}_{\rho }{\sum }_{i=1}^{N}L(y^i,G_{t-1}(x^i)+\rho$ · f_t$(x^i))$
       \space \space \space \space \space \space       G_t(x) = G_t-1(x) + $\rho$_t · f_t(x)
Output: sign(G_T(x))

加入 $\beta$ 的修正向后，最小化的过程会更准确一些，到这里再换一个更好看的书写方式就得到了与原论文相同的算法流程，非常经典：

Init G₀(x) = $argmi{n}_{\rho }{\sum }_{i=1}^{N}L(y^i,\rho )$
For t = 1 to T:
       \space \space \space \space \space \space       ${\tilde{y}}^i$ = $[-\frac{\partial L(y^i,G(x^i))}{\partial G(x^i)}{]}_{G(x)=G_{x-1}(x)},i=1,N$
       \space \space \space \space \space \space       a_t = $argmi{n}_{\alpha ,\beta }{\sum }_{i=1}^N[{\tilde{y}}^i-\beta \cdot f(x^i;\alpha ){]}^2$
       \space \space \space \space \space \space       $\rho$_t = $argmi{n}_{\rho }{\sum }_{i=1}^{N}L(y^i,G_{t-1}(x^i)+\rho$ · f_t$(x^i,$a_t$))$
       \space \space \space \space \space \space       G_t(x) = G_t-1(x) + ${\rho }_t\cdot f_t$(x; a_t)
Output: sign(G_T(x))

原论文后面提供了好几种 Gradient Boosting 的具体算法，这里也以最简单的 Least-squares regression 来说明一下用法。还记得 Gradient Boosting 有两个地方可以选择，首先我们选择 L(G) 损失是平方损失，即模型的优化目标是：

target $minimize\mathcal{L}(G)={\sum }_{i=1}^{N}L(y^i,G(x^i))=1/2\ast {\sum }_{i=1}^N(y^i-G(x^i){)}^2$

由损失函数求得对函数空间的负梯度：

${\tilde{y}}^i$ = $-\frac{\partial L(y^i,G(x^i))}{\partial G(x^i)}=y^i-G(x^i),i=1,N$

学习器的选择这里没有要求，能做回归的弱学习器均可，逼近函数空间梯度的损失也选择平方损失，这里的修正项 $\beta$ 正好是我们要学习的步长 $\rho$（后一个 argmin 的 $\tilde{y}$ 代替 y 之后正好与前一个 argmin 相同），于是合并这两个最小化的过程，写成算法就是这样：

Init G₀(x) = $\bar{y}$
For t = 1 to T:
       \space \space \space \space \space \space       ${\tilde{y}}^i$ = $y^i-G_{t-1}(x^i),i=1,N$
       \space \space \space \space \space \space       $({\rho }_t,a_t)$ = $argmi{n}_{\rho ,a}{\sum }_{i=1}^N[\widetilde{y^i}-\rho f_t(x^i;a){]}^2$
       \space \space \space \space \space \space       G_t(x) = G_t-1(x) + ${\rho }_t\cdot f_t$(x; a_t)
Output: sign(G_T(x))

非常简单，这里再简要分析一下为什么提升算法要选弱学习器。首先一个事实是强学习器与弱学习器是等价的，这使得这种提升变得可行，而训练弱学习器显然要比训练强学习器要快得多，参数也少一些，通过这种提升可以节省不少时间。另外一个是，Gradient Boosting 利用的是残差逼近的想法，我们移项一下：

G_t(x) - G_t-1(x) = ${\rho }_t\cdot f_t(x)$ = r_t

忽略修正项，实际上每一个基学习器要学习的梯度是当前模型“残差”（不完全相等，在意义上也不相同，所以称伪残差），从这个角度上讲，只要有足够多的学习器，是可以完全学习出真实函数来的，而这种一步一步拟合残差的过程，交给弱学习器做就足够了。

下面来推导一下 AdaBoost 。首先我们选择 L(G) 损失是指数损失函数，优化目标是这样子的：

target $minimize\mathcal{L}(G)={\sum }_{i=1}^{N}L(y^i,G(x^i))={\sum }_{i=1}^{N}exp(-y^{i}G(x^i))$

选择这个损失函数是合理的，因为我们需要让模型的预测与真实值同号，而且乘积越大越好，有时这个乘积被称为 margin，由于优化目标需要最大化 margin，这可以用于解释尽管AdaBoost 在训练集上已经学习到 100% 了，继续训练学习器在测试集上仍能继续提升的有趣现象。接下来求对函数空间的负梯度：

${\tilde{y}}^i$ = $-\frac{\partial L(y^i,G(x^i))}{\partial G(x^i)}=exp(-y^{i}G(x^i))(y^i)$

按照 Gradient Boosting 的思路，这里应该训练基学习器逼近负梯度，用的是平方损失。AdaBoosting 用的是另外一种思路，不需要去逼近，而是让他们方向相同就好（这里的方向相同指的是两个函数的方向相同，有点奇妙，还是看成 vector 处理就好），在这一步可以写成 maximize 的形式：

$maximiz{e}_f{\sum }_{i=1}^{N}exp(-y^{i}G(x^i))(y^i)\cdot f(x^i)$

这里的意思就是让负梯度与学习器学习的函数相乘，让它最大当然就是方向相同了。为了思路的清晰，先将算法的流程写出来（这里换了一些字母）：

target $minimize\mathcal{L}(G)={\sum }_{i=1}^{N}L(y^i,G(x^i))={\sum }_{i=1}^{N}exp(-y^{i}G(x^i))$
Init G₀(x) = 0
For t = 1 to T:
${\theta }_t$ = $argma{x}_{\theta }{\sum }_{i=1}^{N}exp(-y^i{G}_{t-1}(x^i))(y^i)\cdot f_t(x^i,\theta )$
       \space \space \space \space \space \space       $a_t$ = $argmi{n}_a{\sum }_{i=1}^{N}L(y^i,G_{t-1}(x^i)+a$ · f_t$(x^i,{\theta }_t))$
       \space \space \space \space \space \space       G_t(x) = G_t-1(x) + $a_t\cdot f_t(x;{\theta }_t$)
Output: sign(G_T(x))

我们来继续研究一下这个最大化的过程，我们换一个角度来看这个式子。在第 t 步时，前面 exp() 部分其实是已知的，所以最大化的过程也可以看成是基学习器在拟合带权样本，记成 $u_t$ ，那么：

$u_t^i$ = $exp(-y^i{G}_{t-1}(x^i))$

     \space\space \space \space      = $exp(-y^i{\sum }_{j=1}^{t-1}{a}_j{f}_j(x^i))$

     \space\space \space \space      = ${\prod }_{j=1}^{t-1}exp(-y^i{a}_j{f}_j(x^i))$

     \space\space \space \space      = $exp(-y^i{a}_{t-1}{f}_{t-1}(x^i))\cdot u_{t-1}^i$

     \space\space \space \space      = $u_{t-1}^i\ast \{\begin{array}{ll}exp(-a_{t-1}),& if{f}_{t-1}(x^i)=y^i\\ exp(a_{t-1}),& if{f}_{t-1}(x^i)̸=y^i\end{array}$

也就是说，我们不需要真的去执行这个最大化的过程，只需要在每一步让基学习器学习带权样本，而当前训练的基学习器的样本权值，是上一个学习器的样本权值乘上一个式子，这个式子与上一个学习器的“步长” $a$ 有关。$a$ 的计算是一个最小化的过程，将损失函数代入再做一些简化：

$a_t$ = $argmi{n}_a{\sum }_{i=1}^{N}L(y^i,G_{t-1}(x^i)+a$ · f_t$(x^i))$

     \space\space \space \space      = $argmi{n}_a{\sum }_{i=1}^{N}exp(-y^i\cdot (G_{t-1}(x^i)+a$ · f_t$(x^i)))$

     \space\space \space \space      = $argmi{n}_a{\sum }_{i=1}^{N}exp(-y^i(G_{t-1}(x^i)))exp(-y^i\cdot a$ · f_t$(x^i))$

接下来求损失对 $a$ 的梯度并令为 0，引入学习器的错误率 $ϵ$：

$[{\sum }_{i=1}^{N}exp(-y^i(G_{t-1}(x^i)))exp(-y^i\cdot a$ · f_t$(x^i)){]}_a^{\prime }$

  \space  = ${\sum }_{i=1}^{N}exp(-y^i(G_{t-1}(x^i))exp(-y^i\cdot a$ · f_t$(x^i))\cdot (-y^i$ · f_t$(x^i))$

  \space  = ${\sum }_{y^i=f_t(x^i)}-exp(-y^i(G_{t-1}(x^i))exp(-a))$ +

${\sum }_{y^i̸=f_t(x^i)}exp(-y^i(G_{t-1}(x^i))exp(a))$ $\stackrel{令}{}0$

$\Rightarrow {\sum }_i-exp(-a)\cdot Ⅰ(y^i=f_t(x^i))$ +${\sum }_{i}exp(a)\cdot Ⅰ(y^i̸=f_t(x^i))=0$

$\Rightarrow -(1-{ϵ}_t)\cdot exp(-a)$ + ${ϵ}_t\cdot exp(a)=0$

$\Rightarrow a_t=\frac{1}{2}ln(\frac{1-{ϵ}_t}{{ϵ}_t})$

所以 $a$ 是可以根据当前学习器的错误率计算出来的，我们再整理一下这个过程。首先初始化样本的权值，然后训练一个基学习器，根据基学习器的错误率计算出 $a$ 的值，然后调整样本的权值到下一轮训练。由于规定基学习器的错误率要低于 50%（也就是要胜过随机猜测），$a$ 的值总大于 0，再代入权值更新的公式，如果当前学习器分类错误的话，要乘上一个大于 1 的数，权值变大，如果分类正确的话，要乘上小于 1 的数，权值变小，从这里可以看到，AdaBoost 后面训练的学习器会更关注前面训练错误的样本，也就是说后面的学习器能校正前面学习器的错误，理论上与 Graient Boosting 一样是可以将错误率降到 0 的。因为整个过程就好像样本会自动适应错误的样子，训练基学习器只用关注带权样本，所以名字就叫做自适应提升算法：

Init $u_1^i=1/N,i=1,N$
For t = 1 to T:
       \space \space \space \space \space \space       ${\theta }_t$ = $argmi{n}_{\theta }{\sum }_{i=1}^{N}l(u_t\cdot y^i,f_t(x^i,\theta ))$
${ϵ}_t$ = $ϵ(u_t\cdot y,f_t(x,{\theta }_t))$

       \space \space \space \space \space \space       $a_t$ = $\frac{1}{2}ln(\frac{1-{ϵ}_t}{{ϵ}_t})$

       \space \space \space \space \space \space       $u_{t+1}$ = $u_t^i\ast \{\begin{array}{ll}exp(-a_t),& if{f}_t(x^i,{\theta }_t)=y^i\\ exp(a_t),& if{f}_t(x^i,{\theta }_t)̸=y^i\end{array}$

Output: sign(${\sum }_{t=1}^T{a}_t{f}_t(x)$)

上面的权值 $u$ 没有经过规范化，我们在更新 $u$ 的时候除以一个规范化因子 $Z$，再写成分布的形式（$D$ 表示训练集，$\mathfrak{D}$ 表示训练集分布, $\mathfrak{L}$ 为训练器）：

Init ${\mathfrak{D}}_1(x)=1/N$
For t = 1 to T:
       \space \space \space \space \space \space       $f_t=\mathfrak{L}(D,{\mathfrak{D}}_t)$
${ϵ}_t$ = $P_{x\backsim {\mathfrak{D}}_t}(f_t(x)̸=y)$

       \space \space \space \space \space \space       $a_t$ = $\frac{1}{2}ln(\frac{1-{ϵ}_t}{{ϵ}_t})$
       \space \space \space \space \space \space       ${\mathfrak{D}}_{t+1}(x)$ = $\frac{{\mathfrak{D}}_t(x)}{Z_t}\ast \{\begin{array}{ll}exp(-a_t),& if{f}_t(x^i,{\theta }_t)=y^i\\ exp(a_t),& if{f}_t(x^i,{\theta }_t)̸=y^i\end{array}$

Output: sign(${\sum }_{t=1}^T{a}_t{f}_t(x)$)

写成分布的好处是有些时候学习器不接受带权样本的输入，这时可以依据分布进行采样，替代 re-weighting 的部分。这就是 AdaBoost 的算法流程，整个过程其实相当于在做梯度下降，目的是最小化损失，最后我们来证明一下为什么损失会减小：

$\mathcal{L}(G_T)$ = ${\sum }_{i=1}^{N}exp(-y^i{G}_T(x^i))$

            \space\space\space\space\space\space\space\space\space\space\space             = ${\sum }_{i=1}^{N}exp(-y^i{\sum }_{t=1}^T{a}_t{f}_t(x^i))$

            \space\space\space\space\space\space\space\space\space\space\space             = ${\sum }_{i=1}^N{\prod }_{t=1}^{T}exp(-y^i{a}_t{f}_t(x^i))$

            \space\space\space\space\space\space\space\space\space\space\space             = ${\sum }_{i=1}^N{u}_{T+1}^i$

            \space\space\space\space\space\space\space\space\space\space\space             = $Z_{T+1}$

            \space\space\space\space\space\space\space\space\space\space\space             = ${\sum }_{i=1}^N{u}_T^i\cdot exp(-y^i{a}_t{f}_t(x^i))$

            \space\space\space\space\space\space\space\space\space\space\space             = ${\sum }_{y=f(x)}{u}_T^i\cdot exp(-a_t)$ + ${\sum }_{y̸=f(x)}{u}_T^i\cdot exp(a_t)$

            \space\space\space\space\space\space\space\space\space\space\space             = $Z_T(1-{ϵ}_t)\cdot exp(-a_t)$ + $Z_T\cdot {ϵ}_t\cdot exp(a_t)$

            \space\space\space\space\space\space\space\space\space\space\space             = $Z_T(1-{ϵ}_t)\sqrt{{ϵ}_t/(1-{ϵ}_t)}$ + $Z_T\cdot {ϵ}_t\sqrt{(1-{ϵ}_t)/{ϵ}_t}$

            \space\space\space\space\space\space\space\space\space\space\space             = $Z_T\ast 2\sqrt{{ϵ}_t(1-{ϵ}_t)}$

            \space\space\space\space\space\space\space\space\space\space\space             < $Z_T$ = $\mathcal{L}(G_{T-1})$

从上面这个稍微长一点的推导可以看到，实际上 AdaBoost 每训练一个基学习器，损失就要乘上 $2\sqrt{{ϵ}_t(1-{ϵ}_t)}$ ，所以损失会慢慢降低，所以理论上是可以完全学习好训练集的。