机器学习(五):Bagging与Boosting

https://www.cs.rit.edu/~rlaz/prec20092/slides/Bagging_and_Boosting.pdf 
https://neilxu.gitbooks.io/mlnb/content/random_forests.html

  1. Bagging

    Bagging(Breiman, 1996) 通过训练许多基本分类器进行投票分类,每种基本分类器(如决策树,神经网络)通过投票的方式降低偏差增加方差。

    机器学习(五):Bagging与Boosting_第1张图片

    假设我们的任务是使用训练数据学习一个模型,我们通过对训练数据进行采样划分为N个数据集,然后训练N个基本的分类器

    机器学习(五):Bagging与Boosting_第2张图片

    Q: 这些公式的含义?

  2. Boosting

Boosting(Freund & Shapire, 1996) 通过训练多个弱分类器,调整其权重并进行投票实现分类,如下图:

机器学习(五):Bagging与Boosting_第3张图片

机器学习(五):Bagging与Boosting_第4张图片

机器学习(五):Bagging与Boosting_第5张图片

Q: boosting与margin之间有什么关系?

你可能感兴趣的:(机器学习)