前言:在集成学习算法中,我们讲到了集成学习主要有两个流派,一个是boosting流派,它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派,它的特点是各个弱学习器之间没有依赖关系,可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。
随机森林是集成学习中可以和梯度提升树GBDT分庭抗礼的算法,尤其是它可以很方便的并行训练,在如今大数据大样本的的时代很有诱惑力。
Bagging:基于数据随机重抽样的分类器构建方法。从训练集从进行子抽样组成每个基模型所需要的子训练集,对所有基模型预测的结果进行综合产生最终的预测结果。
它的特点在“随机采样”。那么什么是随机采样?
随机采样(bootsrap)就是从我们的训练集里面采集固定个数的样本,但是每采集一个样本后,都将样本放回。也就是说,之前采集到的样本在放回后有可能继续被采集到。对于我们的Bagging算法,一般会随机采集和训练集样本数m一样个数的样本。这样得到的采样集和训练集样本的个数相同,但是样本内容不同。如果我们对有m个样本训练集做T次的随机采样,,则由于随机性,T个采样集各不相同。
注意到这和GBDT的子采样是不同的。GBDT的子采样是无放回采样,而Bagging的子采样是放回采样。
RFR算法是由Leo Breiman和Adele Cutler[1]于2001年共同提出的一种基于决策树的集成学习算法。RFR算法是机器学习算法中精确度较高的算法,能克服单个预测或分类模型的缺点,被广泛应用于经济、医学、生物等领域。
理解了bagging算法,随机森林(Random Forest,以下简称RF)就好理解了。它是Bagging算法的进化版,也就是说,它的思想仍然是bagging,但是进行了独有的改进。
RF引入了bagging和随机子空间的思想。随机森林是一个用算法构建的没有剪枝的分类决策树的集合,森林的输出釆用简单多数投票法,或者是单棵树输出结果的简单平均得到。
具体的训练过程如下:
首先,RF使用了CART决策树作为弱学习器,这让我们想到了梯度提升树GBDT。第二,在使用决策树的基础上,RF对决策树的建立做了改进,对于普通的决策树,我们会在节点上所有的n个样本特征中选择一个最优的特征来做决策树的左右子树划分,但是RF通过随机选择节点上的一部分样本特征,这个数字小于n,假设为,然后在这些随机选择的
个样本特征中,选择一个最优的特征来做决策树的左右子树划分。这样进一步增强了模型的泛化能力。
如果=n,则此时RF的CART决策树和普通的CART决策树没有区别。
越小,则模型越健壮,当然此时对于训练集的拟合程度会变差。也就是说
越小,模型的方差会减小,但是偏差会增大。在实际案例中,一般会通过交叉验证调参获取一个合适的
的值。
除了上面两点,RF和普通的bagging算法没有什么不同, 下面简单总结下RF的算法。
1)对随机森林采样的理解
对于一个样本,它在某一次含m个样本的训练集的随机采样中,每次被采集到的概率是。不被采集到的概率为
。如果m次采样都没有被采集中的概率是
。当
时,
。也就是说,在bagging的每轮随机采样中,训练集中大约有36.8%的数据没有被采样集采集中。
对于这部分大约36.8%的没有被采样到的数据,我们常常称之为袋外数据(out of bag, 简称oob)。这些数据没有参与训练集模型的拟合,因此可以用来检测模型的泛化能力。
袋外错误率(oob error,out-of-bag error):
class sklearn.ensemble.
RandomForestClassifier
(n_estimators=10, criterion=’gini’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=’auto’, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, bootstrap=True, oob_score=False, n_jobs=1, random_state=None, verbose=0, warm_start=False, class_weight=None)[source]¶(随机森林分类参数官网)
对集成算法而言,有集成模型的框架参数,也有基模型的框架参数,我们要分清其中的意义。
首先我们关注于RF的Bagging框架的参数
RF的决策树参数
决策树的框架参数这里就不做阐述。决策树的讲解部分有讲。
模型的输出结果Attributes
Attributes: | estimators_ : list of DecisionTreeClassifier
classes_ : array of shape = [n_classes] or a list of such arrays
n_classes_ : int or list
n_features_ : int
n_outputs_ : int
feature_importances_ : array of shape = [n_features]
oob_score_ : float
oob_decision_function_ : array of shape = [n_samples, n_classes]
|
---|
常用的可以用到特征重要性,可以作为特征选择的一个方法。
最后也提一下,随机森林有很多的变种,感兴趣的可以自己研究。
优点:
缺点:
参考资料:
https://blog.csdn.net/julialove102123/article/details/78405284
https://www.cnblogs.com/pinard/p/6156009.html