机器学习---集成学习

集成学习：使成多个分类器模型，各自独立学习和做出预测；最后结合组合预测。防止过拟合或者欠拟合的问题.

• Bagging：(结合其他强的机器学习模型：线性回归、逻辑回归、决策树等)：结果可以提高大概2%，学习是并行执行的。

• 如果模型很复杂，选择学习Bagging进行集成学习。

API：

• 随机森林：Bagging+决策树

• Boosting：用于降低偏差。随着学习的积累从弱到强的过程；使用多个弱学习器；每个模型之间是互补的。学习顺序是串行；

• 经典的Boosting方法：

1. AdBoosting
2. Gradient Boosting: 拟合没有拟合好的残差数据
3. GBDT （Gradient Boosting decesion tree）

• Stacking：（跟Bagging类似）使用同一数据集，放在不同的模型上进行训练，最后将不同模型的结果进行整合。缺点是花费的时间代价比较大，但是可以提高精度。

• 多层Stacking：多个stacking层连接起来；进行模型训练。