【机器学习】Adaboost多类分类——SAMME算法，SAMME.R算法

前言

根据Adaboost算法更新权重的原理我们知道想要在下一轮训练中使误分类的样本的权重增加，每一轮训练的错误率都必须小于0.5，包括初始化分类器时也是如此。初始化一般都是随机初始化，对于二分类任务，每个样本都有0.5的概率被预测正确，要达到0.5以上的正确率还是比较容易的，但是对于多分类问题就不一样了，在多分类问题中如果有$K$个不同的类别，那么随机猜测只有 $1/K$ 的概率预测正确，因此若直接将Adaboost算法应用于多类分类问题往往不能得到令人满意的结果。针对这个问题，Zhu Ji等人在2009年提出了SAMME及SAMME.R算法，这也是sklearn中用Adaboost做多类分类问题时采用的算法。

算法原理

首先我们约定以下符号用法：

• $x,y$ 表示一个标量
• $\mathbf{x},\mathbf{y}$ 表示一个矢量
• $N$ 表示样本数量
• $K$ 表示不同的类别的数量

SAMME算法

1. 标签和输出的向量化

在传统的 Adaboost 算法中样本的标签是数值，表示它所属的类别，模型的输出同样也是数值；而在这个算法中两者都被推广为 $1\times K$ 维的向量，即任意一个样本可表示为 $({\text{x}}_i,{\text{y}}_i)$，其中${\text{x}}_i$ 是样本的特征向量，${\text{y}}_i$ 是样本的标签向量，${\text{y}}_i=(y_{i1},y_{i2},...,y_{iK})$，其分量定义如下：

$y_{ik}=\{\begin{array}{ll}1,& 如果x_i属于第k类\\ -\frac{1}{K-1},& 如果x_i不属于第k类\end{array}$

例如，假设训练集第一个样本 $({\text{x}}_1,{\text{y}}_1)$ 属于第一类，那么 ${\text{y}}_1=(1,-\frac{1}{K-1},-\frac{1}{K-1},...,-\frac{1}{K-1})$

在这个算法中分类器依然采用加法模型，我们将训练好的分类器记为 ${\text{f}}_m(\text{x})$，那么它可以写成如下形式：

$${\text{f}}_m(\text{x})=\sum _i^m{\beta }_i{\text{g}}_i(\text{x})$$

其中 ${\text{g}}_i(\text{x})$ 是基分类器（弱分类器）；它的输出也是向量：

$${\text{f}}_m(\text{x})=(f_{m1}(\text{x}),f_{m2}(\text{x}),...,f_{mK}(\text{x}))$$

为了保证求解得到的 ${\text{f}}_m(\text{x})$ 唯一，作者给它加上了一个对称约束条件：

$$f_{m1}(\text{x})+f_{m2}(\text{x})+...+f_{mK}(\text{x})=0$$

即限制 ${\text{f}}_m(\text{x})$ 各分量之和为0；这里的思想和电磁学中为了使给定边界条件下求得的电磁场唯一而引入规范的概念是一样的。由于 ${\text{f}}_m(\text{x})$ 可表示为 $m$ 个基分类器之和， 而 ${\text{f}}_m(\text{x})$ 的输出是向量，那么 $\text{g}(\text{x})$ 的输出也应该是向量：

$$\text{g}(\text{x})=(g_1(\text{x}),g_2(\text{x}),...,g_K(\text{x}))$$

并且我们可以强制 $\text{g}(\text{x})$ 也满足对称约束条件，此时我们注意到如果 $\text{g}(\text{x})$ 满足对称约束条件，那么由加法模型 ${\text{f}}_m(\text{x})$ 自然也满足对称约束条件，于是对 ${\text{f}}_m(\text{x})$ 的约束可以转为对 $\text{g}(\text{x})$ 的约束。进一步我们注意到 $\text{g}(\text{x})$ 作为一个分类器，可以看成一个函数，该函数的定义域为样本的特征空间，值域为标签构成的集合，即：

$$\text{g}(\text{x}):R^{|feature|}\to Y$$

$$Y=\{(1,-\frac{1}{K-1},-\frac{1}{K-1},...,-\frac{1}{K-1}),(-\frac{1}{K-1},1,-\frac{1}{K-1},...,-\frac{1}{K-1}),...,(-\frac{1}{K-1},-\frac{1}{K-1},-\frac{1}{K-1},...,1)\}$$

其中 $|feature|$ 表示特征数量，$(1,-\frac{1}{K-1},-\frac{1}{K-1},...,-\frac{1}{K-1})$ 为第一类的类标签，$(-\frac{1}{K-1},1,-\frac{1}{K-1},...,-\frac{1}{K-1})$ 为第二类的标签，……，$(-\frac{1}{K-1},-\frac{1}{K-1},-\frac{1}{K-1},...,1)$ 为第 $K$ 类的标签；考虑到这一点后，根据一开始对标签向量的定义，我们发现它刚好是满足对称约束条件的，即各分量相加为0，因此在这个定义下对称约束自动被满足了

2. 求解模型

该算法的损失函数依然沿用了传统 Adaboost 的指数损失函数，只要我们把标量换成向量就行了：

$$L(\text{y},\text{f}(\text{x}))=\sum _{i}exp(-\frac{1}{K}{\text{y}}_i\cdot {\text{f}}_m({\text{x}}_i))$$

其中为了后面计算方便，作者引入了一个常数 $\frac{1}{K}$ 。和 Adaboost 算法的推导一样，我们只关注当前轮的训练，因此将 ${\text{f}}_m(\text{x})$ 拆成 ${\text{f}}_{m-1}(\text{x})+{\beta }_m{\text{g}}_m(\text{x})$ ，并将上一轮训练结果 ${\text{f}}_{m-1}(\text{x})$ 吸收进样本权重项 $\omega$ ：

$$\begin{array}{rl}L(\text{y},\text{f}(\text{x}))& =\sum _{i}exp(-\frac{1}{K}{\text{y}}_i\cdot {\text{f}}_m({\text{x}}_i))\\ & =\sum _{i}exp(-\frac{1}{K}{\text{y}}_i\cdot ({\text{f}}_{m-1}({\text{x}}_i)+{\beta }_m{\text{g}}_m({\text{x}}_i)))\\ & =\sum _i{\omega }_{i}exp(-\frac{{\beta }_m}{K}{\text{y}}_i\cdot {\text{g}}_m({\text{x}}_i))\end{array}$$

下面我们单独考察一下 ${\text{y}}_i\cdot {\text{g}}_m({\text{x}}_i)$ 的结果；如前所述，${\text{y}}_i$ 和 ${\text{g}}_m({\text{x}}_i)$ 都是 $1\times K$ 维的向量，当它表示第 $j$ 类时则第 $j$ 个分量为1 ，其余分量为 $-\frac{1}{K-1}$ ，因此当分类器预测正确时， ${\text{g}}_m({\text{x}}_i)={\text{y}}_i$ ，${\text{y}}_i\cdot {\text{g}}_m({\text{x}}_i)$ 的结果就是 ${\text{y}}_i$ 的模的平方；如果分类器预测错误，可以预见 ${\text{y}}_i$ 和 ${\text{g}}_m({\text{x}}_i)$ 的1不在同一个分量，而其他分量还是相等的，都是 $-\frac{1}{K-1}$ ；经过简单的计算可得两种情况下的内积结果：

$$预测正确时：{\text{y}}_i\cdot {\text{g}}_m({\text{x}}_i)=1+(-\frac{1}{K-1}{)}^2(K-1)=\frac{K}{K-1}$$
$$预测错误时：{\text{y}}_i\cdot {\text{g}}_m({\text{x}}_i)=-\frac{2}{K-1}+(-\frac{1}{K-1}{)}^2(K-2)=-\frac{K}{(K-1{)}^2}$$

将以上结果带入损失函数表达式可得：

$$\begin{array}{rl}L(\text{y},\text{f}(\text{x}))& =\sum _i{\omega }_{i}exp(-\frac{{\beta }_m}{K}{\text{y}}_i\cdot {\text{g}}_m({\text{x}}_i))\\ & =\sum _{g_m=y_i}{\omega }_{i}exp(-\frac{{\beta }_m}{K-1})+\sum _{g_m\ne y_i}{\omega }_{i}exp\left(\frac{{\beta }_m}{(K-1{)}^2}\right)\\ & =\sum _{g_m=y_i}{\omega }_{i}exp(-\frac{{\beta }_m}{K-1})+\sum _{g_m\ne y_i}{\omega }_{i}exp\left(\frac{{\beta }_m}{(K-1{)}^2}\right)+\sum _{g_m\ne y_i}{\omega }_{i}exp(-\frac{{\beta }_m}{K-1})-\sum _{g_m\ne y_i}{\omega }_{i}exp(-\frac{{\beta }_m}{K-1})\\ & =exp(-\frac{{\beta }_m}{K-1})\sum _i{\omega }_i+\left(exp\left(\frac{{\beta }_m}{(K-1{)}^2}\right)-exp(-\frac{{\beta }_m}{K-1})\right)\sum _i{\omega }_{i}I({\text{g}}_m\ne {\text{y}}_i)\end{array}$$

其中第三步用到了添凑项技巧，最后一步的 $I({\text{g}}_m\ne {\text{y}}_i)$ 是示性函数，只有 ${\text{g}}_m\ne {\text{y}}_i$ 时取1，其他情况取0。我们希望损失函数的值尽量小，因此我们令损失函数对 ${\beta }_m$ 的导数等于0可得：

$$\begin{array}{rl}\frac{\partial L}{\partial {\beta }_m}& =(-\frac{1}{K-1})exp(-\frac{{\beta }_m}{K-1})\sum _i{\omega }_i+\left(\frac{1}{(K-1{)}^2}exp\left(\frac{{\beta }_m}{(K-1{)}^2}\right)+\frac{1}{K-1}exp(-\frac{{\beta }_m}{K-1})\right)\sum _i{\omega }_{i}I({\text{f}}_m\ne {\text{y}}_i)\\ & =0\end{array}$$

$$\begin{array}{rl}\frac{1}{K-1}exp(-\frac{{\beta }_m}{K-1})\sum _i{\omega }_i& =\left(\frac{1}{(K-1{)}^2}exp\left(\frac{{\beta }_m}{(K-1{)}^2}\right)+\frac{1}{K-1}exp(-\frac{{\beta }_m}{K-1})\right)\sum _i{\omega }_{i}I({\text{f}}_m\ne {\text{y}}_i)\\ exp(-\frac{{\beta }_m}{K-1})& =\left(\frac{1}{K-1}exp\left(\frac{{\beta }_m}{(K-1{)}^2}\right)+exp(-\frac{{\beta }_m}{K-1})\right)r_{error}\\ \frac{1-r_{error}}{r_{error}}& =\frac{1}{K-1}exp\left(\frac{K{\beta }_m}{(K-1{)}^2}\right)\\ {\beta }_m& =\frac{(K-1{)}^2}{K}\left(log\left(\frac{1-r_{error}}{r_{error}}\right)+log(K-1)\right)\end{array}$$

其中 $r_{error}={\sum }_i{\omega }_{i}I({\text{f}}_m\ne {\text{y}}_i)/{\sum }_i{\omega }_i$ 是模型的错误率；于是我们得到了 SAMME 算法：

1. 初始化权重 ${\omega }_i$
2. 在权重 ${\omega }_i$ 下训练分类器 ${\text{g}}_m({\text{x}}_i)$
3. 计算这个分类器的错误率 $$r_{error}=\sum _i{\omega }_{i}I({\text{g}}_m\ne {\text{y}}_i)/\sum _i{\omega }_i$$
4. 计算 $${\alpha }_m=log\left(\frac{1-r_{error}}{r_{error}}\right)+log(K-1)$$
5. 更新样本权重 $$\begin{gathered} {\omega }_i={\omega }_{i}exp({\alpha }_{m}I({\text{g}}_m\ne {\text{y}}_i)) \\ i=1,2,...,N \end{gathered}$$
6. 归一化权重 ${\omega }_i$
7. 转到步骤 2，直到错误率小于阈值

注意对于一个具体的问题 $K$ 是确定的，所以 $\frac{(K-1{)}^2}{K}$ 是一个常数，而乘以一个常数对归一化过程没有影响，因此作者在算法中没有计算 ${\beta }_m$ 的系数，而是将去掉系数之后的部分记作 ${\alpha }_m$ ，每一轮计算只求 ${\alpha }_m$ 的值

SAMME.R算法

作者在 SAMME 算法的基础上还提出了一种变体：SAMME.R 算法。和 SAMME 算法不同的是，该算法采用加权概率估计（weighted probability estimates）的方法更新加法模型，假设我们当前的分类器是 ${\text{f}}_{m-1}(\text{x})$ ，我们希望加入一个新的基分类器使它的表现更好：${\text{f}}_{m-1}(\text{x})+\text{h}(\text{x})$ ；首先我们把损失函数写成期望的形式：

$$L(\text{y},\text{f}(\text{x}))=E\left(exp(-\frac{1}{K}\text{y}\cdot ({\text{f}}_{m-1}(\text{x})+\text{h}(\text{x})))|\text{x}\right)$$

我们依然要求 $\text{h}(\text{x})$ 满足对称约束条件：
$$h_1(\text{x})+h_2(\text{x})+...+h_K(\text{x})=0$$
这里的损失函数是对所有样本求期望，我们可以将它改写成对每个类求期望再求和，结果是一样的：
$$\begin{gathered} L(\text{y},\text{f}(\text{x}))=exp\left(-\frac{h_1(\text{x})}{K-1}\right)E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=1}|\text{x}\right)+ \\ exp\left(-\frac{h_2(\text{x})}{K-1}\right)E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=2}|\text{x}\right)+...+ \\ exp\left(-\frac{h_K(\text{x})}{K-1}\right)E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=K}|\text{x}\right) \end{gathered}$$

这里 $I_{c=i}$ 同样是示性函数，当 $\text{x}$ 属于第 $i$ 类时取1，其他情况取0；我们以第一项为例简单说明计算过程：
$$\begin{array}{rl}E\left(exp(-\frac{1}{K}\text{y}\cdot ({\text{f}}_{m-1}(\text{x})+\text{h}(\text{x})))I_{c=1}|\text{x}\right)& =E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x})-\frac{1}{K}\text{y}\cdot \text{h}(\text{x}))I_{c=1}|\text{x}\right)\\ & =E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))exp(-\frac{1}{K}\text{y}\cdot \text{h}(\text{x}))I_{c=1}|\text{x}\right)\end{array}$$

我们只关注 $\text{y}\cdot \text{h}(\text{x})$ 的计算，注意此时我们是在属于第一类的样本上求期望，因此 $\text{y}=(1,-\frac{1}{K-1},...,-\frac{1}{K-1})$，于是可以得到：
$$\begin{array}{rl}\text{y}\cdot \text{h}(\text{x})& =h_1(\text{x})-\frac{h_2(\text{x})}{K-1}-\frac{h_3(\text{x})}{K-1}-...-\frac{h_K(\text{x})}{K-1}\end{array}$$
又注意到 $\text{h}(\text{x})$ 满足对称约束条件，所以 $h_2(\text{x})+...+h_K(\text{x})=-h_1(\text{x})$，将它带入上式即可得：
$$\text{y}\cdot \text{h}(\text{x})=\frac{K{h}_1(\text{x})}{K-1}$$
因此：
$$\begin{array}{rl}E\left(exp(-\frac{1}{K}\text{y}\cdot ({\text{f}}_{m-1}(\text{x})+\text{h}(\text{x})))I_{c=1}|\text{x}\right)& =E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))exp(-\frac{1}{K}\text{y}\cdot \text{h}(\text{x}))I_{c=1}|\text{x}\right)\\ & =E\left(exp\left(-\frac{h_1(\text{x})}{K-1}\right)exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=1}|\text{x}\right)\\ & =exp\left(-\frac{h_1(\text{x})}{K-1}\right)E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=1}|\text{x}\right)\end{array}$$
同理可得：
$$\begin{array}{rl}E\left(exp(-\frac{1}{K}\text{y}\cdot ({\text{f}}_{m-1}(\text{x})+\text{h}(\text{x})))I_{c=2}|\text{x}\right)& =exp\left(-\frac{h_2(\text{x})}{K-1}\right)E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=2}|\text{x}\right)\\ E\left(exp(-\frac{1}{K}\text{y}\cdot ({\text{f}}_{m-1}(\text{x})+\text{h}(\text{x})))I_{c=3}|\text{x}\right)& =exp\left(-\frac{h_3(\text{x})}{K-1}\right)E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=3}|\text{x}\right)\\ \dots & \\ E\left(exp(-\frac{1}{K}\text{y}\cdot ({\text{f}}_{m-1}(\text{x})+\text{h}(\text{x})))I_{c=K}|\text{x}\right)& =exp\left(-\frac{h_K(\text{x})}{K-1}\right)E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=K}|\text{x}\right)\end{array}$$

将这些结果带入损失函数表达式即得：
$$\begin{array}{rl}L(\text{y},\text{f}(\text{x}))& =exp\left(-\frac{h_1(\text{x})}{K-1}\right)E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=1}|\text{x}\right)+exp\left(-\frac{h_2(\text{x})}{K-1}\right)E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=2}|\text{x}\right)+...+exp\left(-\frac{h_K(\text{x})}{K-1}\right)E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=K}|\text{x}\right)\\ & =exp\left(-\frac{h_1(\text{x})}{K-1}\right)Pro{b}_w(c=1|\text{x})+exp\left(-\frac{h_2(\text{x})}{K-1}\right)Pro{b}_w(c=2|\text{x})+...+exp\left(-\frac{h_K(\text{x})}{K-1}\right)Pro{b}_w(c=K|\text{x})\end{array}$$

其中 $Pro{b}_w(c=k|\text{x})=E\left(exp(-\frac{1}{K}\text{y}\cdot {\text{f}}_{m-1}(\text{x}))I_{c=k}|\text{x}\right)$

这时我们得到了一个约束优化问题：
$$\begin{gathered} \min exp\left(-\frac{h_1(\text{x})}{K-1}\right)Pro{b}_w(c=1|\text{x})+exp\left(-\frac{h_2(\text{x})}{K-1}\right)Pro{b}_w(c=2|\text{x})+...+exp\left(-\frac{h_K(\text{x})}{K-1}\right)Pro{b}_w(c=K|\text{x}) \\ s.t.h_1(\text{x})+h_2(\text{x})+...+h_K(\text{x})=0 \end{gathered}$$

这类问题可以用拉格朗日乘子法解决，首先构造拉格朗日函数：

$$\mathcal{L}=\sum _{i}exp\left(-\frac{h_i(\text{x})}{K-1}\right)Pro{b}_w(c=i|\text{x})-\lambda (h_1(\text{x})+h_2(\text{x})+...+h_K(\text{x}))$$
令拉格朗日函数对 $h_i(\text{x})$ 偏导等于0可得：
$$\begin{array}{rl}-\frac{1}{K-1}exp\left(-\frac{h_1(\text{x})}{K-1}\right)Pro{b}_w(c=1|\text{x})-\lambda & =0\\ -\frac{1}{K-1}exp\left(-\frac{h_2(\text{x})}{K-1}\right)Pro{b}_w(c=2|\text{x})-\lambda & =0\\ \dots & \\ -\frac{1}{K-1}exp\left(-\frac{h_K(\text{x})}{K-1}\right)Pro{b}_w(c=K|\text{x})-\lambda & =0\end{array}$$
然后我们需要将 $h_i(\text{x})$ 解出来，这里以 $h_1(\text{x})$ 的求解为例；首先我们将第一式与第二式联立得：
$$\begin{array}{rl}-\frac{1}{K-1}exp\left(-\frac{h_1(\text{x})}{K-1}\right)Pro{b}_w(c=1|\text{x})& =-\frac{1}{K-1}exp\left(-\frac{h_2(\text{x})}{K-1}\right)Pro{b}_w(c=2|\text{x})\\ -\frac{h_1(\text{x})}{K-1}+\ln Pro{b}_w(c=1|\text{x})& =-\frac{h_2(\text{x})}{K-1}+\ln Pro{b}_w(c=2|\text{x})\\ h_1(\text{x})-h_2(\text{x})& =(K-1)(\ln Pro{b}_w(c=1|\text{x})-\ln Pro{b}_w(c=2|\text{x}))\end{array}$$
同理分别联立第一式和其他各式可得：
$$\begin{array}{rl}{h}_1(\text{x})-h_3(\text{x})& =(K-1)(\ln Pro{b}_w(c=1|\text{x})-\ln Pro{b}_w(c=3|\text{x}))\\ h_1(\text{x})-h_4(\text{x})& =(K-1)(\ln Pro{b}_w(c=1|\text{x})-\ln Pro{b}_w(c=4|\text{x}))\\ \dots & \\ h_1(\text{x})-h_K(\text{x})& =(K-1)(\ln Pro{b}_w(c=1|\text{x})-\ln Pro{b}_w(c=K|\text{x}))\end{array}$$

我们将这 $K-1$ 个式子相加得：
$$\begin{array}{rl}(K-1{)}^2\ln Pro{b}_w(c=1|\text{x})-(K-1)(\sum _{i=2}^K\ln Pro{b}_w(c=i|\text{x}))& =(K-1)h_1(\text{x})-(h_2(\text{x})+...+h_K(\text{x}))\\ & =K{h}_1(\text{x})-(h_1(\text{x})+h_2(\text{x})+...+h_K(\text{x}))\\ & =K{h}_1(\text{x})\end{array}$$
从而可以解出 $h_1(\text{x})$ ：
$$\begin{array}{rl}{h}_1(\text{x})& =(K-1)\left(\ln Pro{b}_w(c=1|\text{x})-\frac{1}{K}(\ln Pro{b}_w(c=1|\text{x})+\ln Pro{b}_w(c=2|\text{x})+\ln Pro{b}_w(c=3|\text{x})+...+\ln Pro{b}_w(c=K|\text{x}))\right)\\ & =(K-1)\left(\ln Pro{b}_w(c=1|\text{x})-\frac{1}{K}(\sum _i\ln Pro{b}_w(c=i|\text{x}))\right)\end{array}$$
同理可得：
$$\begin{array}{rl}{h}_2(\text{x})& =(K-1)\left(\ln Pro{b}_w(c=2|\text{x})-\frac{1}{K}(\sum _i\ln Pro{b}_w(c=i|\text{x}))\right)\\ h_3(\text{x})& =(K-1)\left(\ln Pro{b}_w(c=3|\text{x})-\frac{1}{K}(\sum _i\ln Pro{b}_w(c=i|\text{x}))\right)\\ \dots & \\ h_K(\text{x})& =(K-1)\left(\ln Pro{b}_w(c=K|\text{x})-\frac{1}{K}(\sum _i\ln Pro{b}_w(c=i|\text{x}))\right)\end{array}$$
于是我们得到了 SAMME.R 算法：

1. 初始化权重 ${\omega }_i$
2. 在权重 ${\omega }_i$ 下训练分类器 ${\text{g}}_m(\text{x})$
3. 计算加权类概率估计（weighted class probability estimates）：
   $$p_k^m(\text{x})=Pro{b}_w(c=k|\text{x})k=1,2,...,K$$
4. 计算 $\text{h}(\text{x})$：$$h_k^m(\text{x})=(K-1)\left(\ln p_k^m(\text{x})-\frac{1}{K}\sum _i\ln p_i^m(\text{x})\right)$$
5. 更新样本权重 $${\omega }_i={\omega }_{i}exp(-\frac{K-1}{K}{\text{y}}_i\ln {\text{p}}^m({\text{x}}_i))i=1,2,...,N$$
6. 归一化权重 ${\omega }_i$
7. 转到步骤 2，直到每一类的概率估计大于阈值

注意第5步更新样本权重时由于 $h_k^m(\text{x})$ 的第二项是对所有 $p_k^m(\text{x})$ 求和，在每一轮训练中都可以看成是一个常数，对权重的更新没有影响（因为权重需要归一化），因此这一步只取 $h_k^m(\text{x})$ 的第一项计算

参考文献

Zhu, H. Zou, S. Rosset, T. Hastie, “Multi-class AdaBoost”, 2009.