AdaBoost(2018-05-05)

1. ensemble learning 集成学习

• 定义：集成学习是一种机器学习的示例；多个学习者在学习解决同一个问题，多个学习模型的效果肯定优于一个学习模型。

  
  
  image.png

2. 集成学习的常见类型

• Bagging（Random Forest）：构造若干个独立的模型，然后去所有模型预测值的平均值

• Boosting（Gradient boosting， adaboosting）：时序构造模型，每一个继任模型都需要减少之前模型的偏移量。即将若干个弱模型合成，产生一个强有力的集成模型。

  
  
  image.png

3. Bagging

• 思想： 训练集分成若干个子集，针对若干个子集并行进行模型训练，对预测值平均化。

  
  
  image.png

4. Boosting

• 思想：若干个弱模型组成一个强模型，每个模型都依赖于前个模型。

  
  
  image.png

5. Bagging和Boosting区别

• 三张图

  
  
  image.png
  
  
  image.png
  
  
  image.png

6. AdaBoost

• 定义： 是一种调整式Boosting方法。

  
  
  image.png

image.png