自助法（bootstrapping）划分数据集

自助法（bootstrapping）划分数据集

一、前戏

Bootstrap方法是非常有用的一种统计学上的估计方法，是斯坦福统计系的教授Bradley Efron（我曾有幸去教授办公室约谈了一次）在总结、归纳前人研究成果的基础上提出一种新的非参数统计方法。Bootstrap是一类非参数Monte Carlo方法,其实质是对观测信息进行再抽样，进而对总体的分布特性进行统计推断。
因为该方法充分利用了给定的观测信息，不需要模型其他的假设和增加新的观测，并且具有稳健性和效率高的特点。1980年代以来，随着计算机技术被引入到统计实践中来，此方法越来越受欢迎，在机器学习领域应用也很广泛。

首先，Bootstrap通过重抽样，可以避免了Cross-Validation造成的样本减少问题，其次，Bootstrap也可以用于创造数据的随机性。比如，我们所熟知的随机森林算法第一步就是从原始训练数据集中，应用bootstrap方法有放回地随机抽取k个新的自助样本集，并由此构建k棵分类回归树。

多数情况下采用留出法（hold-out），即从数据集中分层采样（stratified sampling）出约30%的数据作为测试集。分层采样的目的是要保持数据分布的一致性，避免划分过程引入额外的偏差。

在留出法中因为保留一部分样本用于测试了，导致训练的样本就少了。数据集的规模大点还好，当数据集比较少时，这样划分的方法就会浪费宝贵的数据资源。

---

二、正题

“自助法”（bootstrapping）以自助采样（可重复采样、有放回采样）为基础。

假如一个数据集D有m个样本，看看训练集和测试集怎么选择：

• 训练集D'：每次从数据集D中随机选择一个样本，将这个样本复制一个放到D'中，然后再把原样本放回去（可放回）。重复操作m次。这样D'中就有m个样本了。这种采样方法有可能一个样本会被选择好多次，也有可能有的样本一次也不会被选择到。
• 测试集D-D'：测试集就是那些剩下的，没被选择的样本。

那么训练集D和测试集D'中共有多少数据呢？

可以看出数据集中样本在m次始终不被采样到的概率是，取极限得：

                                            

所以数据集D中有36.8%的样本未出现在训练集中。

优缺点：

• 数据集小、难以划分训练\测试集
• 自助法能从初始数据集中产生多个不同的训练集，可以用于集成学习
• 自助法产生的训练集改变了初始数据集的分布，会引入估计偏差

 

bootstrapping参考网页