机器学习——集成学习

集成学习

集成学习概述

集成学习是指为解决同一问题，先训练出一系列个体学习器（或称弱学习器），然后再根据某种规则把这些个体学习器的学习结果整合到一起，得到比单个个体学习器更好的学习效果。集成学习的基本结构如图5.11所示。

集成学习包括两大基本问题，一个是个体学习器的构造，另一个是个体学习器的合成。

集成学习的两种方式

1. 同质学习

   要求构造个体学习器时使用相同类型的学习方法，构造出来的多个个体学习器为同质学习器。

2. 异质学习

   所谓异质，是指不同类型，例如可以同时使用决策树和神经网络去构造个体学习器。

集成学习的基本类型

1. Boosting方法

   Boosting方法的基本思想是从初始训练集开始，先为每个训练样本平均分配初始权重，并训练出弱学习器1；然后通过提高错误率高的训练样本的权重，降低错误率低的训练样本的权重，得到训练样本的新的权重分布，并在在该权重分布上训练出弱学习器2；依此逐轮迭代，直至达到最大迭代轮数，最后再将训练出来的这些弱学习器合成到一起，形成最终的强学习器。其典型代表是AdaBoost算法和提升树(boosting tree)算法。

2. bagging方法

   基本思想是在给定初始训练集和弱学习算法的前提下，每轮迭代都使用可重采样的随机抽样方法式从初始训练集产生出本轮的训练子集，并利用选定的弱学习算法训练出本轮迭代的弱学习器，依此逐轮迭代，直至达到最大迭代轮数，最后再按照某种合成方式将这这些训练出来的弱学习器合成到一起，形成最终的强学习器。其典型代表包括bagging算法和随机森林（Random Forest）算法等。

弱学习其合成方式

1. 代数合成法

   

2. 投票法

   

AdaBoost算法

训练过程

简例

-1iiMsFd0-1669000888534)]

[外链图片转存中…(img-SbKoEd6r-1669000888535)]