决策树与随机森林理论与实现（二）

决策树与随机森林理论与实现（二）

决策树理论方面内容：决策树与随机森林理论与实现（一）

随机森林

集成学习

将多个能力较弱的个体学习器结合为一个集成学习器，以提高学习器的泛化性能

• 分为同质；异质
  • 同质：所有个体学习器均属于同一类学习器，个体学习器称为基学习器
  • 异质：个体学习器之间中了不同
• 个体学习器的要求
  • 准确性较高，不同个体之间具有差异
  • 由于个体学习器之间不可能互相独立，因此个体学习器的准确性与多样性是互相制约的

Bagging

并行的集成学习方法

通过不同的训练集，能够生成不同的个体学习器。但如果每个基学习器的训练集完全不同，则每个学习器只能使用一小部分样本，使得学习器的准确性下降。因此，考虑使用互相重叠的样本子集。

• 样本子集的生成方面，采用自助取样法（bootstrap sampling）。从m个样本集中进行m次有放回取样，生成采样集。初始样本集中有63.2%的样本出现在采样集中。
  $$\underset{x\to \infty }{\lim }(1-\frac{1}{m}{)}^m=\frac{1}{e}\approx 0.368$$
• 个体学习器的集成方面，分类任务采用简单投票法，采用多数学习器认定的分类结果。
• 初始样本集中剩余的36.8%，在记录每个基学习器的训练样本的基础上，可以作为测试集，或辅助剪枝的操作。

随机森林

• 以决策树作为个体学习器
• Bagging集成基础上的扩展变种，Bagging仅考虑样本集合的扰动，随机森林中加入属性集合的扰动。
• 在含有d个属性的集合中选取k个属性作为子集进行决策树生成。推荐值$k={\log }_{2}d$