影像组学学习笔记(20)-通俗讲解集成学习ensemble learning

本笔记来源于B站Up主: 有Li 的影像组学系列教学视频
本节(20)主要介绍: 集成学习的通俗讲解

集成学习(ensemble learning)
将多个分类器结合在一起使用
Bagging: 同质学习器，彼此独立，投票/平均
Boosting: 同质学习器，层层递进，后面的会着重学习前面犯过的错误
Stacking: 异质学习器，学习学习器
李博士以考试为比喻，通俗的讲解了三者之间的区别

拓展学习：
Bagging和Boosting是两种最常见的集成学习方法
Bagging 的核心思路是 — — 民主。
大部分情况下，经过 bagging 得到的结果方差（variance）更小。
Boosting 的核心思路是 — — 挑选精英。
大部分情况下，经过 boosting 得到的结果偏差（bias）更小。

可以参考以下这个帖子：
从基础到实现：集成学习综合教程(附Python代码)
其目录：

基础集成技术

最大投票（Max Voting）法
平均（Averaging）法
加权平均（Weighted Average）法

高级集成技术

堆叠（Stacking）
混合（Blending）
Bagging
提升（Boosting）

基于Bagging和Boosting的算法

Bagging meta-estimator
随机森林
AdaBoost
GBM
XGB
Light GBM
CatBoost