统计学习方法---adaboost

      AdaBoost 是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱分类器集合起来，构造一个更强的最终分类器。(很多博客里说的三个臭皮匠赛过诸葛亮)

     算法本身是改变数据分布实现的，它根据每次训练集之中的每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值（增大被误分的样本的权值，保证下层分类器能够更充分地考虑这些被误分的样本）。将修改权值的新数据送给下层分类器进行训练，然后将每次训练得到的分类器融合起来，作为最后的决策分类器。

     可尝试：同一数据集，决策树，SVM等分类器用adaboost结合在一起，测试提高的精确度情况。

     AdaBoost属于前向分步算法；

    所谓前向分布算法,即对于如下损失函数极小化问题，，将同时求解从m=1到M所有参数beta(m)，gamma(m)的优化问题简化为逐次求解beta(m),gamma(m)的优化问题。