【机器学习】随机森林思想解读

问题

随机森林算法思想,怎么增加随机性,如何评估特征重要性,为什么不容易过拟合

随机森林思想怎么添加的随机性

随机森林 (RF) 是 Bagging 的一个变体。RF在以决策树为基学习器构建 Bagging 集成的基础上,进一步在决策树的训练过程中引入随机性:

传统决策树在选择划分属性时,是在当前结点的属性集合(假定有 d 个属性)中选择一个最优属性;而在 RF 中,对基决策树的每一个结点,先从结点的属性集合中随机选择一个包含 k 个属性的子集,然后再从这个子集当中选择一个最优属性用于划分。

这里的参数 k 控制了随机性的引入程度。若令 k = d k=d k=

你可能感兴趣的:(机器学习,随机森林,决策树)