Boosting分类器
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。
其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。
将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。
使用adaboost分类器可以排除一些不必要的训练数据特徵，并将关键放在关键的训练数据上面。
目前，对Adaboost算法的研究以及应用大多集中于分类问题，同时近年也出现了一些在回归问题上的应用。就其应用Adaboost系列主要解决了:两类问题、多类单标签问题、多类多标签问题、大类单标签问题，回归问题。它用全部的训练样本进行学习。
1.1Adaboost(AdaptiveBoosting)算法
对于boosting算法，存在两个问题：
1.如何调整训练集，使得在训练集上训练的弱分类器得以进行；
2.如何将训练得到的各个弱分类器联合起来形成强分类器。
针对以上两个问题，adaboost算法进行了调整：
1.使用加权后选取的训练数据代替随机选取的训练样本，这样将训练的焦点集中在比较难分的训练数据样本上；
2.将弱分类器联合起来，使用加权的投票机制代替平均投票机制。让分类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重。
Adaboost算法是Freund和Schapire根据在线分配算法提出的，他们详细分析了Adaboost算法错误率的上界，以及为了使强分类器 达到错误率，算法所需要的最多迭代次数等相关问题。
与Boosting算法不同的是，adaboost算法不需要预先知道弱学习算法学习正确率的下限即弱分类器的误差，并且最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度，这样可以深入挖掘弱分类器算法的能力。
Adaboost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，即其中n为样本个数，在此样本分布下训练出一弱分类器。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突出出来，从而得到一个新的样本分布。在新的样本分布下，再次对弱分类器进行训练，得到弱分类器。依次类推，经过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重叠加（boost）起来，得到最终想要的强分类器。
1.给定训练样本集S，其中X和Y分别对应于正例样本和负例样本；T为训练的最大循环次数；
2.初始化样本权重为1/n，即为训练样本的初始概率分布；
3.第一次迭代：
(1)训练样本的概率分布相当下，训练弱分类器：
(2)计算弱分类器的错误率：
(3)选取合适阈值，使得错误率最小
(4)更新样本权重：
(5)最终得到的强分类器：
每轮循环后，权值应做多大的调整呢？这个答案依赖于当前分类器的总体误差。明确地说，如果e代表分类器在加权数据上的误差率（在0和1之间的一个小数），那么对于正确分类的实例，权值更新为
权值＝权值＊e/(1-e)
对于错误分类的实例，权值保持不变。当然，这并没有如前所述，增加被错误分类的实例的权值。然而，在更新了所有实例的权值后，要进行正常化处理，使它们的权值总和与原来的相同。每个实例的权值都要除以新权值总和再乘以原来的权值总和。这样便自动增加了每个错误分类实例的权值，同时减小了每个正确分类实例的权值。
每当在加权的训练数据集上的误差率大于等于0.5时，提升程序将删除当前的分类器并不再继续进行循环。当误差率等于0时，也同样处理，因为这时所有实例的权值都为0。
为了做出一个预测，使用一个加了权的投票来组合它们的输出。要决定这些权值，性能表现好的分类器（e接近于0）应当获得一个高的权值，而性能表现差的分类器（e接近于0.5）则应获得一个较低的权值。更具体地说
权值＝－log(e/(1-e))
这是一个0和无穷大之间的正数。为了做出预测，将投给某个具体类的所有分类器的权值相加，选择相加总和最大的那个类别。
Adaboost算法是经过调整的Boosting算法，其能够对弱学习得到的弱分类器的错误进行适应性调整。上述算法中迭代了T次的主循环，每一次循环根据当前的权重分布对样本x定一个分布P，然后对这个分布下的样本使用若学习算法得到一个错误率为e的弱分类器，对于这个算法定义的弱学习算法的错误率的上限并不需要事先知道，实际上。每一次迭代，都要对权重进行更新。更新的规则是：减小弱分类器分类效果较好的数据的概率，增大弱分类器分类效果较差的数据的概率。最终的分类器是个弱分类器的加权平均。
一个弱分类器就是一个基本和上图类似的决策树，最基本的弱分类器只包含一个Haar-like特征，也就是它的决策树只有一层，被称为树桩（stump）。
最重要的就是如何决定每个结点判断的输出，要比较输入图片的特征值和弱分类器中特征，一定需要一个阈值，当输入图片的特征值大于该阈值时才判定其为人脸。训练最优弱分类器的过程实际上就是在寻找合适的分类器阈值，使该分类器对所有样本的判读误差最低。
具体操作过程如下：
在确定了训练子窗口中的矩形特征数量和特征值后，需要对每一个特征f ，训练一个弱分类器h(x,f,p,O) 。
在CSDN里编辑公式太困难了，所以这里和公式有关的都用截图了。
在表中寻找e值最小的元素，则该元素作为最优阈值。有了该阈值，我们的第一个最优弱分类器就诞生了。
强分类器的诞生需要T轮的迭代，具体操作如下：
1.给定训练样本集S，共N个样本，其中X和Y分别对应于正样本和负样本； T为训练的最大循环次数；
2.初始化样本权重为1/N，即为训练样本的初始概率分布；
3.第一次迭代训练N个样本，得到第一个最优弱分类器，
4.提高上一轮中被误判的样本的权重；
5.将新的样本和上次本分错的样本放在一起进行新一轮的训练。
6.循环执行4-5步骤，T轮后得到T个最优弱分类器。
7.组合T个最优弱分类器得到强分类器，组合方式如下：
或
下面我们讲讲级联分类器的训练
设K是一个级联检测器的层数，D是该级联分类器的检测率，F是该级联分类器的误识率，di是第i层强分类器的检测率，fi是第i层强分类器的误识率。如果要训练一个级联分类器达到给定的F值和D值，只需要训练出每层的d值和f值，这样：
d^K = D, f^K = F
级联分类器的要点就是如何训练每层强分类器的d值和f值达到指定要求。
AdaBoost训练出来的强分类器一般具有较小的误识率，但检测率并不很高，一般情况下，高检测率会导致高误识率，这是强分类阈值的划分导致的，要提高强分类器的检测率既要降低阈值，要降低强分类器的误识率就要提高阈值，这是个矛盾的事情。据参考论文的实验结果，增加分类器个数可以在提高强分类器检测率的同时降低误识率，所以级联分类器在训练时要考虑如下平衡，一是弱分类器的个数和计算时间的平衡，二是强分类器检测率和误识率之间的平衡。
具体训练方法如下,我用伪码的形式给出：
1）设定每层最小要达到的检测率d，最大误识率f，最终级联分类器的误识率Ft；
2）P=人脸训练样本，N=非人脸训练样本，D0=1.0，F0=1.0；
3）i=0；
4）for : Fi>Ft
l ++i;
l ni=0;Fi=Fi-1;
l for :Fi>f*Fi-1
n ++ni;
n 利用AdaBoost算法在P和N上训练具有ni个弱分类器的强分类器;
n 衡量当前级联分类器的检测率Di和误识率Fi;
n for :di
Ø 降低第i层的强分类器阈值;
Ø 衡量当前级联分类器的检测率Di和误识率Fi;
n N = Φ;
n 利用当前的级联分类器检测非人脸图像，将误识的图像放入N;