ML 监督学习 集成学习 Bagging

Bagging---Bootstrap aggregating

是并行式集成学习方法最著名的代表，基于自助采样法允许在同一种分类器上​对训练集进行多次采样

自助采样法(bootstrap sampling)

给定包含m个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中，经过m次随机采样操作，得到m个样本的采样集，初始训练集中约有63.2%的样本出现在采样集中。

Bagging的基本流程

采样出T个含m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合。

Bagging

例子

1.因为每个样本被选中的概率相同，所以bagging并不侧重于训练数据集中的任何特定实例
2.从偏差-方差的角度，Bagging主要关注降低方差，因此它在容易受到样本扰动的学习器（如不剪枝的决策树、神经网络）中效果更明显。意思就是说不容易受极端样本影响，因为最后是投票的，所以降低了方差

Bias-Variance

随机森林(Random Forest RF)

RF在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。

传统决策树在选择划分属性时是在当前结点的属性集合(假定有d个属性)中选择一个最优属性；

在RF中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的集合，然后再从这个子集中选择一个最优属性用于划分。一般情况下，推荐值k=log2d

Random Forest

Boosting 和 Bagging 的区别