集成学习Bagging与Boosting的区别

集成学习Bagging与Boosting的区别

• Bagging的训练集是随机的，以独立同分布选取的子集训练分类器，而Boosting训练集的选择不是独立的，每一次选择的训练集都依赖于上一次学习的结果，也就是在上一次学习完成之后会更新每个样本的权重，也就是新的样本分布。
• Bagging的每个预测函数没有权重，而Boosting根据每一次训练的训练误差得到该次预测函数的权重。
• Bagging的各个预测函数也就是分类器可以直接并行生成，而Boosting的只能顺序生成。
• Bagging是减少方差，而Boosting是减少偏差。通常来说boosting是在优化loss function，在降低loss，那么很显然，这在很大程度上是减少bias。
  而bagging，之所以进行bagging，是希望模型能够具有更好的鲁棒性，也就是稳定性，希望避免过拟合，显然这就是在减少variance。

参考 https://www.zhihu.com/question/26760839