10-2[RF] OOB validation

          main idea:

在使用bootstrap生成gi的训练集时，会有一部分数据没有被选中，使用这一部分数据（OOB）进行validation。

 

1.数据没有被选中的概率

假设训练集大小为N，使用bootstrap生成N’（假设N’=N）条数据用于gi的训练（有放回抽样），则某条特定数据没有被选中的概率为：

     

当N很大（趋于无穷）时，大约有1/3的数据没有被选中：

     

 

称这些没有被选中的数据为OOB（out of bag）

2.使用OOB进行validation

  a. 在每一条记录上做validation

    

     黄色标注数据(Xn,yn)，由于没有被用于训练g2，g3，gT，所以可以用于做这些小g的validation

    

b. 汇总