集成学习（Ensemble Learning）—bagging（袋装法）

Bagging（bootstrap aggregating）采用的是随机有放回的选择训练数据构造分类器，最后组合。（一种根据均匀概率分布从数据中重复抽样（有放回）的技术）

随机森林是bagging中的一种方法。以随机森林为例进行说明

随机森林是构造很多颗决策树，形成一个森林，然后用这些决策树共同决策输出类别是什么。

随机森林算法是在构建单一决策树的基础上进行的，同时它也是对单一决策树算法的延伸和改进。

在整个随机森林算法的过程中，有两个随机过程：a. 输入数据—>随机从整体训练数据集中选取一部分作为一颗决策树的构建，而且是有放回的选取。 b. 特征选取—>每棵决策树所需的特征是从整体的特征集中随机选取的。

（这两个随机过程使得随机森林很大程度上避免了过拟合现象的出现）

A、随机森林算法具体实现过程：

1. 从训练数据中选取n个数据作为训练数据的输入，一般情况下n是远远小于整体的训练数据N，这样就会造成有一部分数据是无法被去到的，这部分数据被称为袋外数据，可以使用袋外数据做误差分析。
2. 选取输入的训练数据后，构建决策树（方法：每一个分裂节点从整体的特征集M中选取m个特征构建，一般情况下m远小于M，通常是log2或者sqrt的数量），从这m个属性中根据某种策略（如gini减少或信息增益等）确定分裂属性。
3. 重复b步骤，直到不能分裂或达到我们设定的阈值（如叶子结点树或的树的深度），此时建立了一个决策树
4. 重复上面的a,b,c步骤，直到达到预定树的颗数为止。

 

随机森林算法的注意点：

1、 在构建决策树的过程中是不需要剪枝的。 
2、 整个森林的树的数量和每棵树的特征需要人为进行设定。 
3、 构建决策树的时候分裂节点的选择是依据最小基尼系数的。

随机森林有很多的优点：

a. 在数据集上表现良好，两个随机性的引入，使得随机森林不容易陷入过拟合。

b. 在当前的很多数据集上，相对其他算法有着很大的优势，两个随机性的引入，使得随机森林具有很好的抗噪声能力。

c. 它能够处理很高维度（feature很多）的数据，并且不用做特征选择，对数据集的适应能力强：既能处理离散型数据，也能处理连续型数据，数据集无需规范化。

d. 在创建随机森林的时候，对generlization error使用的是无偏估计。

e. 训练速度快，可以得到变量重要性排序。

f. 在训练过程中，能够检测到feature间的互相影响。

g 容易做成并行化方法。

h. 实现比较简单。