集成学习系列(三)-AdaBoost训练误差分析

有关Adaboost的相关原理，详见：http://www.jianshu.com/p/f2017cc696e6
我们首先来回顾一下Adaboost算法的基本流程：

这一节我们来学习一下有关Adaboost误差的一些相关性质。AdaBoost最基本的性质是它能在学习过程中不断减少训练误差，即在训练数据上的分类误差率，关于这个问题有下面的定理：

上面的式子证明十分简单：

如果有些地方不懂的，也可以看我自己推导的过程，按照李航老师的思路，比它稍微详细了一些：

这说明，可以在每一轮选取适当的Gm使得zm最小，从而使训练误差下降最快，对二分类问题，有如下结果：

李航老师的证明过程如下：

这里我也自己详细推导了一下这个式子，第一个推导比较简单，第二个用泰勒展开式的效果其实并不好，其实可以直接构造一个f(x)，利用单调性求解证明得到。

所以我们可以得到如下推论：

这表明，在此条件下，Adaboost的训练误差是指数速率下降的，为什么呢？注意到rm=1-em，误差越小，rm越大，则误差上界以指数速率减小。