Adaboost 算法的原理与推导

来源：http://blog.csdn.net/v_july_v/article/details/40718799

http://www.cnblogs.com/chaosimple/p/4029795.html

Adaboost 算法的原理与推导

0 引言

    一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单：听取多人意见，最后综合决策，但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午，在我组织的机器学习班 第8次课上讲决策树与Adaboost，其中，Adaboost讲得酣畅淋漓，讲完后，我知道，可以写本篇博客了。

    无心啰嗦，本文结合机器学习班决策树与Adaboost 的PPT，跟邹讲Adaboost指数损失函数推导的PPT（第85~第98页）、以及李航的《统计学习方法》等参考资料写就，可以定义为一篇课程笔记、读书笔记或学习心得，有何问题或意见，欢迎于本文评论下随时不吝指出，thanks。

1 Adaboost的原理

1.1 Adaboost是什么    

    AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

    具体说来，整个Adaboost 迭代算法就3步：

1. 初始化训练数据的权值分布。如果有N个样本，则每一个训练样本最开始时都被赋予相同的权值：1/N。
   
2. 训练弱分类器。具体训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它的权值就被降低；相反，如果某个样本点没有被准确地分类，那么它的权值就得到提高。然后，权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。
3. 将各个训练得到的弱分类器组合成强分类器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用。换言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。

1.2 Adaboost算法流程

    给定一个训练数据集T={(x1,y1), (x2,y2)…(xN,yN)}，其中实例，而实例空间，yi属于标记集合{-1,+1}，Adaboost的目的就是从训练数据中学习一系列弱分类器或基本分类器，然后将这些弱分类器组合成一个强分类器。

    Adaboost的算法流程如下：

• 步骤1. 首先，初始化训练数据的权值分布。每一个训练样本最开始时都被赋予相同的权值：1/N。

• 步骤2. 进行多轮迭代，用m = 1,2, ..., M表示迭代的第多少轮

a. 使用具有权值分布Dm的训练数据集学习，得到基本分类器（选取让误差率最低的阈值来设计基本分类器）：

b . 计算Gm(x)在训练数据集上的分类误差率

由上述式子可知，Gm(x)在训练数据集上的 误差率em就是被Gm(x)误分类样本的权值之和。

c. 计算Gm(x)的系数，am表示Gm(x)在最终分类器中的重要程度（目的：得到基本分类器在最终分类器中所占的权重）：

由上述式子可知，em <= 1/2时，am >= 0，且am随着em的减小而增大，意味着分类误差率越小的基本分类器在最终分类器中的作用越大。

d . 更新训练数据集的权值分布（目的：得到样本的新的权值分布），用于下一轮迭代

使得被基本分类器Gm(x)误分类样本的权值增大，而被正确分类样本的权值减小。就这样，通过这样的方式，AdaBoost方法能“重点关注”或“聚焦于”那些较难分的样本上。

    其中，Zm是规范化因子，使得Dm+1成为一个概率分布：

• 步骤3. 组合各个弱分类器

从而得到最终分类器，如下：

1.3 Adaboost的一个例子

    下面，给定下列训练样本，请用AdaBoost算法学习一个强分类器。

    

    求解过程：初始化训练数据的权值分布，令每个权值W1i = 1/N = 0.1，其中，N = 10，i = 1,2, ..., 10，然后分别对于m = 1,2,3, ...等值进行迭代。

    拿到这10个数据的训练样本后，根据 X 和 Y 的对应关系，要把这10个数据分为两类，一类是“1”，一类是“-1”，根据数据的特点发现：“0 1 2”这3个数据对应的类是“1”，“3 4 5”这3个数据对应的类是“-1”，“6 7 8”这3个数据对应的类是“1”，9是比较孤独的，对应类“-1”。抛开孤独的9不讲，“0 1 2”、“3 4 5”、“6 7 8”这是3类不同的数据，分别对应的类是1、-1、1，直观上推测可知，可以找到对应的数据分界点，比如2.5、5.5、8.5 将那几类数据分成两类。当然，这只是主观臆测，下面实际计算下这个具体过程。

迭代过程1

对于m=1，在权值分布为D1（10个数据，每个数据的权值皆初始化为0.1）的训练数据上，经过计算可得：

1. 1. 阈值v取2.5时误差率为0.3（x < 2.5时取1，x > 2.5时取-1，则6 7 8分错，误差率为0.3），
   2. 阈值v取5.5时误差率最低为0.4（x < 5.5时取1，x > 5.5时取-1，则3 4 5 6 7 8皆分错，误差率0.6大于0.5，不可取。故令x > 5.5时取1，x < 5.5时取-1，则0 1 2 9分错，误差率为0.4），
   3. 阈值v取8.5时误差率为0.3（x < 8.5时取1，x > 8.5时取-1，则3 4 5分错，误差率为0.3）。

可以看到，无论阈值v取2.5，还是8.5，总得分错3个样本，故可任取其中任意一个如2.5，弄成第一个基本分类器为：

上面说阈值v取2.5时则6 7 8分错，所以误差率为0.3，更加详细的解释是：因为样本集中

1. 1. 0 1 2对应的类（Y）是1，因它们本身都小于2.5，所以被G1(x)分在了相应的类“1”中，分对了。
   2. 3 4 5本身对应的类（Y）是-1，因它们本身都大于2.5，所以被G1(x)分在了相应的类“-1”中，分对了。
   3. 但6 7 8本身对应类（Y）是1，却因它们本身大于2.5而被G1(x)分在了类"-1"中，所以这3个样本被分错了。
   4. 9本身对应的类（Y）是-1，因它本身大于2.5，所以被G1(x)分在了相应的类“-1”中，分对了。
      

从而得到G1(x)在训练数据集上的误差率（被G1(x)误分类样本“6 7 8”的权值之和）e1=P(G1(xi)≠yi) = 3*0.1 = 0.3。

然后根据误差率e1计算G1的系数：

这个a1代表G1(x)在最终的分类函数中所占的权重，为0.4236。
接着 更新训练数据的权值分布，用于下一轮迭代：

值得一提的是，由权值更新的公式可知，每个样本的新权值是变大还是变小，取决于它是被分错还是被分正确。

即如果某个样本被分错了，则yi * Gm(xi)为负，负负得正，结果使得整个式子变大（样本权值变大），否则变小。

第一轮迭代后，最后得到各个数据新的权值分布D2 = (0.0715, 0.0715, 0.0715, 0.0715, 0.0715,  0.0715,0.1666, 0.1666, 0.1666, 0.0715)。由此可以看出，因为样本中是数据“6 7 8”被G1(x)分错了，所以它们的权值由之前的0.1增大到0.1666，反之，其它数据皆被分正确，所以它们的权值皆由之前的0.1减小到0.0715。

分类函数f1(x)= a1*G1(x) = 0.4236G1(x)。

此时，得到的第一个基本分类器sign(f1(x))在训练数据集上有3个误分类点（即6 7 8）。

    从上述第一轮的整个迭代过程可以看出：被误分类样本的权值之和影响误差率，误差率影响基本分类器在最终分类器中所占的权重。

  迭代过程2

对于m=2，在权值分布为D2 = (0.0715, 0.0715, 0.0715, 0.0715, 0.0715,  0.0715, 0.1666, 0.1666, 0.1666, 0.0715)的训练数据上，经过计算可得：

1. 1. 阈值v取2.5时误差率为0.1666*3（x < 2.5时取1，x > 2.5时取-1，则6 7 8分错，误差率为0.1666*3），
   2. 阈值v取5.5时误差率最低为0.0715*4（x > 5.5时取1，x < 5.5时取-1，则0 1 2 9分错，误差率为0.0715*3 + 0.0715），
   3. 阈值v取8.5时误差率为0.0715*3（x < 8.5时取1，x > 8.5时取-1，则3 4 5分错，误差率为0.0715*3）。

所以，阈值v取8.5时误差率最低，故第二个基本分类器为：

面对的还是下述样本：

很明显，G2(x)把样本“3 4 5”分错了，根据D2可知它们的权值为0.0715, 0.0715,  0.0715，所以G2(x)在训练数据集上的误差率e2=P(G2(xi)≠yi) = 0.0715 * 3 = 0.2143。

计算G2的系数：

更新训练数据的权值分布：

D3  = (0.0455, 0.0455, 0.0455,  0.1667, 0.1667,  0.01667 , 0.1060, 0.1060, 0.1060, 0.0455)。被分错的样本“ 3 4 5 ”的权值变大，其它被分对的样本的权值变小。
f2(x)=0.4236G1(x) + 0.6496G2(x)

此时，得到的第二个基本分类器sign(f2(x))在训练数据集上有3个误分类点（即3 4 5）。

  迭代过程3

对于m=3，在权值分布为D3 = (0.0455, 0.0455, 0.0455, 0.1667, 0.1667,  0.01667, 0.1060, 0.1060, 0.1060, 0.0455)的训练数据上，经过计算可得：

1. 1. 阈值v取2.5时误差率为0.1060*3（x < 2.5时取1，x > 2.5时取-1，则6 7 8分错，误差率为0.1060*3），
   2. 阈值v取5.5时误差率最低为0.0455*4（x > 5.5时取1，x < 5.5时取-1，则0 1 2 9分错，误差率为0.0455*3 + 0.0715），
   3. 阈值v取8.5时误差率为0.1667*3（x < 8.5时取1，x > 8.5时取-1，则3 4 5分错，误差率为0.1667*3）。

所以阈值v取5.5时误差率最低，故第三个基本分类器为：

依然还是原样本：

此时，被误分类的样本是：0 1 2 9，这4个样本所对应的权值皆为0.0455，

所以G3(x)在训练数据集上的误差率e3 = P(G3(xi)≠yi) = 0.0455*4 = 0.1820。

计算G3的系数：

更新训练数据的权值分布：

D4 = (0.125, 0.125, 0.125, 0.102, 0.102,  0.102, 0.065, 0.065, 0.065, 0.125)。被分错的样本“0 1 2 9”的权值变大，其它被分对的样本的权值变小。

f3(x)=0.4236G1(x) + 0.6496G2(x)+0.7514G3(x)

此时，得到的第三个基本分类器sign(f3(x))在训练数据集上有0个误分类点。至此，整个训练过程结束。

    现在，咱们来总结下3轮迭代下来，各个样本权值和误差率的变化，如下所示（其中，样本权值D中加了下划线的表示在上一轮中被分错的样本的新权值）：

1. 训练之前，各个样本的权值被初始化为D1 = (0.1, 0.1,0.1, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1)；
2. 第一轮迭代中，样本“6 7 8”被分错，对应的误差率为e1=P(G1(xi)≠yi) = 3*0.1 = 0.3，此第一个基本分类器在最终的分类器中所占的权重为a1 = 0.4236。第一轮迭代过后，样本新的权值为D2 = (0.0715, 0.0715, 0.0715, 0.0715, 0.0715,  0.0715, 0.1666, 0.1666, 0.1666, 0.0715)；
   
3. 第二轮迭代中，样本“3 4 5”被分错，对应的误差率为e2=P(G2(xi)≠yi) = 0.0715 * 3 = 0.2143，此第二个基本分类器在最终的分类器中所占的权重为a2 = 0.6496。第二轮迭代过后，样本新的权值为D3 = (0.0455, 0.0455, 0.0455, 0.1667, 0.1667,  0.01667, 0.1060, 0.1060, 0.1060, 0.0455)；
   
4. 第三轮迭代中，样本“0 1 2 9”被分错，对应的误差率为e3 = P(G3(xi)≠yi) = 0.0455*4 = 0.1820，此第三个基本分类器在最终的分类器中所占的权重为a3 = 0.7514。第三轮迭代过后，样本新的权值为D4 = (0.125, 0.125, 0.125, 0.102, 0.102,  0.102, 0.065, 0.065, 0.065, 0.125)。

    从上述过程中可以发现，如果某些个样本被分错，它们在下一轮迭代中的权值将被增大，同时，其它被分对的样本在下一轮迭代中的权值将被减小。就这样，分错样本权值增大，分对样本权值变小，而在下一轮迭代中，总是选取让误差率最低的阈值来设计基本分类器，所以误差率e（所有被Gm(x)误分类样本的权值之和）不断降低。

    综上，将上面计算得到的a1、a2、a3各值代入G(x)中，G(x) = sign[f3(x)] = sign[ a1 * G1(x) + a2 * G2(x) + a3 * G3(x) ]，得到最终的分类器为：

G(x) = sign[f3(x)] = sign[ 0.4236G1(x) + 0.6496G2(x)+0.7514G3(x) ]。

2 Adaboost的误差界

  通过上面的例子可知，Adaboost在学习的过程中不断减少训练误差e，直到各个弱分类器组合成最终分类器，那这个最终分类器的误差界到底是多少呢？

事实上，Adaboost 最终分类器的训练误差的上界为：

下面，咱们来通过推导来证明下上述式子。

当G(xi)≠yi时，yi*f(xi)<0，因而exp(-yi*f(xi))≥1，因此前半部分得证。

关于后半部分，别忘了：

整个的推导过程如下：

    这个结果说明，可以在每一轮选取适当的Gm使得Zm最小，从而使训练误差下降最快。接着，咱们来继续求上述结果的上界。

    对于二分类而言，有如下结果：

    其中，。

    继续证明下这个结论。

    由之前Zm的定义式跟本节最开始得到的结论可知：

    而这个不等式可先由e^x和1-x的开根号，在点x的泰勒展开式推出。

    值得一提的是，如果取γ1, γ2… 的最小值，记做γ（显然，γ≥γi>0，i=1,2,...m），则对于所有m，有：

    这个结论表明，AdaBoost的训练误差是以指数速率下降的。另外，AdaBoost算法不需要事先知道下界γ，AdaBoost具有自适应性，它能适应弱分类器各自的训练误差率 。

    最后，Adaboost 还有另外一种理解，即可以认为其模型是加法模型、损失函数为指数函数、学习算法为前向分步算法的二类分类学习方法，下个月即12月份会再推导下，然后更新此文。而在此之前，有兴趣的可以参看《统计学习方法》第8.3节或其它相关资料。

3 Adaboost 指数损失函数推导

    事实上，在上文1.2节Adaboost的算法流程的步骤3中，我们构造的各个基本分类器的线性组合

    是一个加法模型，而Adaboost算法其实是前向分步算法的特例。那么问题来了，什么是加法模型，什么又是前向分步算法呢？

3.1 加法模型和前向分步算法

    如下图所示的便是一个加法模型

    其中，称为基函数，称为基函数的参数，称为基函数的系数。

    在给定训练数据及损失函数的条件下，学习加法模型成为经验风险极小化问题，即损失函数极小化问题：

    随后，该问题可以作如此简化：从前向后，每一步只学习一个基函数及其系数，逐步逼近上式，即：每步只优化如下损失函数：

    这个优化方法便就是所谓的前向分步算法。

    下面，咱们来具体看下前向分步算法的算法流程：

• 输入：训练数据集
• 损失函数：
• 基函数集：
• 输出：加法模型
• 算法步骤：
  • 1. 初始化
  • 2. 对于m=1,2,..M
  • a)极小化损失函数

得到参数和。

• b)更新

• • 3. 最终得到加法模型

    就这样，前向分步算法将同时求解从m=1到M的所有参数（、）的优化问题简化为逐次求解各个、（1≤m≤M）的优化问题。

3.2 前向分步算法与Adaboost的关系

    在上文第2节最后，我们说Adaboost 还有另外一种理解，即可以认为其模型是加法模型、损失函数为指数函数、学习算法为前向分步算法的二类分类学习方法。其实，Adaboost算法就是前向分步算法的一个特例，Adaboost 中，各个基本分类器就相当于加法模型中的基函数，且其损失函数为指数函数。

    换句话说，当前向分步算法中的基函数为Adaboost中的基本分类器时，加法模型等价于Adaboost的最终分类器

    你甚至可以说，这个最终分类器其实就是一个加法模型。只是这个加法模型由基本分类器及其系数组成，m = 1, 2, ..., M。前向分步算法逐一学习基函数的过程，与Adaboost算法逐一学习各个基本分类器的过程一致。

    下面，咱们便来证明：当前向分步算法的损失函数是指数损失函数

    时，其学习的具体操作等价于Adaboost算法的学习过程。

     假设经过m-1轮迭代，前向分步算法已经得到：

    而后在第m轮迭代得到、和。其中，为：

    而和未知。所以，现在咱们的目标便是根据前向分步算法训练和，使得最终在训练数据集T上的指数损失最小，即

    针对这种需要求解多个参数的情况，可以先固定其它参数，求解其中一两个参数，然后逐一求解剩下的参数。例如我们可以固定和，只针对和做优化。

    换言之，在面对和 这2m个参数都未知的情况下，可以：

1. 先假定和已知，求解出和；
2. 然后再逐一求解其它未知参数。

    且考虑到上式中的既不依赖也不依赖G，所以是个与最小化无关的固定值，记为，即，则上式可以表示为（后面要多次用到这个式子，简记为）：

    值得一提的是，虽然与最小化无关，但依赖于，随着每一轮迭代而发生变化。

    接下来，便是要证使得上式达到最小的和就是Adaboost算法所求解得到的和。

    为求解上式，咱们先求再求。

    首先求。对于任意，使上式最小的G(x)由下式得到：

    别忘了，。

    跟1.2节所述的误差率的计算公式对比下：

    可知，上面得到的便是Adaboost算法的基本分类器，因为它是在第m轮加权训练数据时，使分类误差率最小的基本分类器。换言之，这个便是Adaboost算法所要求的，别忘了，在Adaboost算法的每一轮迭代中，都是选取让误差率最低的阈值来设计基本分类器。

    然后求。还是回到之前的这个式子上：

    这个式子的后半部分可以进一步化简，得：

    接着将上面求得的

    代入上式中，且对求导，令其求导结果为0，即得到使得一式最小的，即为：

    这里的跟上文1.2节中的计算公式完全一致。

    此外，毫无疑问，上式中的便是误差率：

    即就是被Gm(x)误分类样本的权值之和。

   就这样，结合模型，跟，可以推出

   从而有：

    与上文1.2节介绍的权值更新公式

    相比，只相差一个规范化因子，即后者多了一个

    所以，整个过程下来，我们可以看到，前向分步算法逐一学习基函数的过程，确实是与Adaboost算法逐一学习各个基本分类器的过程一致，两者完全等价。

    综上，本节不但提供了Adaboost的另一种理解：加法模型，损失函数为指数函数，学习算法为前向分步算法，而且也解释了最开始1.2节中基本分类器及其系数的由来，以及对权值更新公式的解释，你甚至可以认为本节就是对上文整个1.2节的解释。

4 参考文献与推荐阅读

1. wikipedia上关于Adaboost的介绍：http://zh.wikipedia.org/zh-cn/AdaBoost；
2. 邹博之决策树与Adaboost PPT：http://pan.baidu.com/s/1hqePkdY；
3. 邹博讲Adaboost指数损失函数推导的PPT：http://pan.baidu.com/s/1kTkkepD（第85页~第98页）；
4. 《统计学习方法 李航著》第8章；
5. 关于adaboost的一些浅见：http://blog.sina.com.cn/s/blog_6ae183910101chcg.html；
6. A Short Introduction to Boosting：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.93.5148&rep=rep1&type=pdf；
   
7. 南大周志华教授做的关于boosting 25年的报告PPT：http://vdisk.weibo.com/s/FcILTUAi9m111；
8. 《数据挖掘十大算法》第7章 Adaboost；
9. http://summerbell.iteye.com/blog/532376；
   
10. 统计学习那些事：http://cos.name/2011/12/stories-about-statistical-learning/；
11. 统计学习基础学习笔记：http://www.loyhome.com/%E2%89%AA%E7%BB%9F%E8%AE%A1%E5%AD%A6%E4%B9%A0%E7%B2%BE%E8%A6%81the-elements-of-statistical-learning%E2%89%AB%E8%AF%BE%E5%A0%82%E7%AC%94%E8%AE%B0%EF%BC%88%E5%8D%81%E5%9B%9B%EF%BC%89/；
12. PRML第十四章组合模型读书笔记：http://vdisk.weibo.com/s/DmxNcM5_IaUD；
13. 顺便推荐一个非常实用的在线编辑LaTeX 公式的网页：http://private.codecogs.com/latex/eqneditor.php?lang=zh-cn。

一、Decision Stumps：

Decision Stumps称为单层分类器，主要用作Ensemble Method的组件（弱分类器）。一般只进行一次判定，可以包含两个或者多个叶结点。对于离散数据，可以选取该属性的任意一个数据作为判定的分割点；对于连续数据，可以选择属性的一个阈值做为分割点进行判定（大于该阈值分配到一类，小于该阈值分配到另一类；当然也可以选取多个阈值并由此得到多个叶结点）。

 

二、AdaBoost的理解：

1、基本流程

简单的说，AdaBoost框架就是根据指定的参数，进行轮训练得到个弱分类器及每个弱分类器对应的权重，最后将这些弱分类器的结果进行线性组合得到最终的结果。

关于多属性数据集的处理：

在每一轮训练过程中，在每个属性上根据分割的阈值不同得到多个单层分类器。在这些从所有属性上得到的分类器中选取一个带权误差率最小的单层分类器作为该轮训练的弱分类器。

 

2、带权分类误差

在进行训练之前，为训练集中的每个样本分配一个权重，使用向量表示。在第轮训练结束后，根据得到的弱分类器的性能计算该分类器对应的权值，并由的在训练集上的分类结果对权重向量进行更新。

分类器的性能度量和该分类器在训练集上的结果，都是通过计算该分类器在训练集上的带权分类误差获取。所谓带权分类误差，是指将待分类的样本包含的权重（此处的权重就是之前为该样本分配的权重），结合在该数据集上的分类误差得到分类器在该数据集上的一个考虑样本权重的分类误差，其定义如下：

                                 (1.1)

其中，表示第个弱分类器的带权分类误差值，表示第次更新后样本的权重，表示使用第个弱分类器对样本的分类结果，表示样本的真实标签，是一个指示函数，其值如下：

                           (1.2)

通过公式（1.1）和（1.2）可以看出带权分类误差与两方面的因素相关：

1) 分类器在样本上的误差值；

2) 样本集中每个样本的权重；

注意：AdaBoost就是通过该值与弱分类器产生关系。

 

3、带权分类误差再分析

以DS（Decision Stumps）弱分类器为例，对于一个数据集包含多个属性，要在该数据集上学习一个DS，可以使用不同的属性作为分割判断条件。对于同一个属性，也可以选择多个不同的分割点（离散型）/阈值（连续性）作为判断条件。因此，对于一个数据集实质上可以产生很多不同的DS，那么究竟选择哪一个DS作为我们从该数据集上最终学习得到的弱分类器？

很直观的想法，我们可以使用穷举产生所有的DS，然后分别计算每个DS的分类误差，选择具有最小分类误差的DS作为从该数据集上学习到的弱分类器。然而，问题出在我们学习的这个数据集中的所有样本权重（此处可以理解为每个样本的价值、贡献度等）并不相同。我们在考虑选择哪个DS最为最终的弱分类器时不但要考虑该DS的分类错误率，还要考虑每个样本的权重问题，因为将高权重的样本分错造成的后果远比将低权重样本分错更为严重。

考虑公式（1.1）中带权分类误差的定义，该指标有效的将分类器的分类误差和待分类样本的权重结合起来，因此可以作为选择弱分类器时的一个标准使用。

总结起来简单的说，带权分类误差将分类器的分类误差和样本本身的权重进行结合，可以作为模型选择的一个标准使用。

 

4、弱分类器的权重计算

弱分类器对应的权重与其本身的带权分类误差相关，其计算公式如下：

                                          (1.3)

通过简单分析可以知道，带权分类误差的范围是[0,1]，绘制分类器的权重函数的图像，如下所示：

Fig. 1. 弱分类器权重函数分布

由Fig. 1.可以看出，弱分类器的权重与其对应的带权分类误差呈反比关系，即就是带权分类误差越小，该分类器对应的权值越大；反之亦然。

 

5、训练样本的权重更新

训练得到新的弱分类器后需要对样本权值进行更新，更新的公式如下：

                                           (1.4)

公式（1.4）定义了计算弱分类器对应的权值后，对样本的权重更新过程。如果该分类器在该样本上分类正确，则降低该样本的权值；如果分类错误，则提高该样本的权值。公式中前半部分主要用于对整个权值向量进行归一化，以使其和为1。

 

6、参考

维基百科关于AdaBoost算法的介绍：

用 xⁱ 和 y_i 表示原始样本集D的样本点和它们的类标（注意，y_i的取值只能是+1或-1）。用 W_k(i) 表示第k次迭代时全体样本的权重分布。这样就有如下所示的AdaBoost算法：

1. begin initial D={x¹，y₁，...，xⁿ，y_n}，k_max(最大循环次数)，W_k(i)=1/n，i=1，...，n

2. k ← 0

3. do k ← k+1

4. 训练使用按照 W_k(i) 采样的 D 的弱学习器 C_k

5. E_k ← 对使用 W_k(i) 的 D 测量的 C_k 的训练误差

6. 

7. 

8. until k=k_max

9. return C_k和α_k，k=1，...，k_max（带权值分类器的总体）

10. end

注意第5行中，当前权重分布必须考虑到分类器 C_k 的误差率。在第7行中， Z_k 只是一个归一化系数，使得 W_k(i) 能够代表一个真正的分布，而 h_k(xⁱ) 是分量分类器 C_k 给出的对任一样本点 xⁱ 的标记（+1或-1），h_k(xⁱ) = y_i 时，样本被正确分类。第8行中的迭代停止条件可以被换为判断当前误差率是否小于一个阈值。

最后的总体分类的判决可以使用各个分量分类器加权平均来得到：

这样，最后对分类结果的判定规则是:

 

三、整体流程再梳理

按照自己的理解将AdaBoost的框架再进行梳理一遍，整个Boost框架分为两部分：训练和分类。

假设样本的类别为：

1、训练部分

a) 为训练集中每个样本分配权重；

b) 训练弱分类器；

c) 计算带权分类误差；

d) 计算弱分类器对应的权重

e) 更新样本权重

最终得到个不同的弱分类器及其对应的权重。 

 

2、分类部分

a) 对待分类样本计算函数

b) 对该样本最终的分类结果为

 

四、核心问题再讨论

 

1、带权分类误差的作用：

在第二部分详细讨论了带权样本误差的生成机制问题，描述了如何计算带权样本误差和它怎样对AdaBoost框架产生影响。这里，将带权样本误差的作用再做以简单的总结，带权分类误差的主要作用有两个：

1、 在训练弱分类器时，使用该指标在训练的多个DS中选择带权分类误差最小的最为该轮训练的弱分类器；

2、 在AdaBoost框架中，使用该指标计算该轮训练得到的弱分类器对应的权值；

 

2、弱分类器的误差和AdaBoost框架的误差：

实质上，在整个训练的过程中，每轮训练得到的弱分类器可能一直会存在分类错误的问题（不论训练了多少轮，生成的单个弱分类器都有分类错误），然而整个AdaBoost框架却有可能快速收敛（整个AdaBoost框架的错误率为0）。造成这个现象的原因是：

每轮训练结束后，AdaBoost框架会对样本的权重进行调整，该调整的结果是越到后面被错误分类的样本权重会越高。这样到后面，单个弱分类器为了达到较低的带权分类误差都会把样本权重高的样本分类正确。虽然单独来看，单个弱分类器仍会造成分类错误，但这些被错误分类的样本的权重都较低，在AdaBoost框架的最后输出时会被前面正确分类的高权重弱分类器“平衡”掉。这样造成的结果就是，虽然每个弱分类器可能都有分错的样本，然而整个AdaBoost框架却能保证对每个样本进行正确分类，从而实现快速收敛。