数据集划分

留出法：直接将数据集D划分为两个互斥的部分，其中一部分作为训练集S，另一部分用作测试集T。

     通常训练集和测试集的比例为70%：30%。同时，训练集测试集的划分有两个注意事项：

  1. 尽可能保持数据分布的一致性。避免因数据划分过程引入的额外偏差而对最终结果产生影响。在分类任务中，保留类别比例的采样方法称为“分层采样”（stratified sampling）。

    2. 采用若干次随机划分避免单次使用留出法的不稳定性。

交叉验证法：先将数据集D划分为k个大小相似的互斥子集，每次采用k−1个子集的并集作为训练集，剩下的那个子集作为

                      测试集。进行k次训练和测试，最终返回k个测试结果的均值。又称为“k折交叉验证”（k-fold cross validation）。

为减少因样本划分带来的偏差，通常重复p次不同的划分，最终结果是p次k折交叉验证结果的均值。 

留一法：是k折交叉验证k=m（m为样本数）时候的特殊情况。即每次只用一个样本作测试集。该方法计算开销较大。

自助法：以自助采样为基础（有放回采样）。每次随机从D中挑选一个样本，放入D′中，然后将样本放回D中，重复m次之后，

             得到了包含m个样本的数据集。

  优点：自助法在数据集较小、难以有效划分训练/测试集时很有用。

  缺点：然而自助法改变了初始数据集的分布，这回引入估计偏差。