机器学习算法06 - 集成学习

集成学习

“三个臭皮匠，顶个诸葛亮”

举例

• 利用错题本来提升学习效率和学习成绩
• IBM 服务器追求的是单个服务器性能的强大，比如打造超级服务器。而 Google 在创建集群的时候，利用了很多 PC 级的服务器，将它们组成集群，整体性能远比一个超级服务器的性能强大。

AdaBoost 算法

AdaBoost 实战

机器学习基本算法之一的集成学习的基本原理，其要点如下：

• 集成学习使用多个个体学习器来获得比每个单独学习器更好的预测性能，包括序列化方法和并行化方法两类；
• 多样性要求集成学习中的不同个体学习器之间具有足够的差异性；
• 序列化方法采用 Boosting 机制，通过重复使用概率分布不同的训练数据实现集成，可以降低泛化误差中的偏差；
• 并行化方法采用 Bagging 机制，通过在训练数据中多次自助抽取不同的采样子集实现集成，可以降低泛化误差中的方差。