机器学习—交叉验证

1.交叉验证简介

交叉验证(Cross Validation) 是在机器学习建立模型和验证模型参数时常用的方法。
顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和
测试集。用训练集来训练模型，测试集来评估模型的好坏。在此基础上可以得到多组
不同的训练集和测试集，某次训练集中的样本，在下次可能成为测试集中的样本，
也就是所谓的交叉。

2. 为什么用交叉验证？

• 交叉验证用在数据量不是很充足的情况(比如数据量小于一万条)，能够从有限的数据中获取尽可能多的有效信息。
• 交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，能够一定程度上减小过拟合。

3.交叉验证的方法

K-Fold Cross-validation k折交叉验证

简言之，就是进行多次train_test_split划分。
每次划分时，在不同的数据集上进行训练、测试评估，从而得出一个评价结果。
如果是5折交叉验证，意思就是在原始数据集上，进行5次划分，每次划分进行一次训练、评估，最后得到5次划分后的评估结果，一般在这几次评估结果上取平均得到最后的评分。k-fold cross-validation ，其中，k一般取5或10。

k折交叉验证 (k-fold Cross Validation) 过程如下所示：
1.不重复抽样将原始数据随机分成k份。
2.每次挑选其中1份作为测试集，剩余k-1份作为训练集用于训练模型。
3.重复第2步k次，在每个训练集上训练后得到一个模型。用这个模型在相应的测试集上测试，计算并保存模型的评估指标。
4.计算k组测试结果的平均值作为模型准确度的估计，并作为当前k折交叉验证下模型的性能指标。

from sklearn import datasets
from sklearn import model_selection

#引入sklearn库中手写数字的数据集
digits = datasets.load_digits()

#K折交叉验证
#设置K为5
kf = model_selection.KFold(n_splits=5)
#使用5折交叉验验证划分数据集，返回一个生成器对象（即索引）
digits_gen = kf.split(digits.data)
#划分测试集和训练集
for train_idx, test_idx in digits_gen:
        X_train = digits.data[train_idx] #训练集
        X_test = digits.data[test_idx] #测试集
        y_train = digits.target[train_idx] #训练集标签
        y_test = digits.target[test_idx] #测试及标签

留出法交叉验证

留出法 (Hold-Out Cross Validation) 是一种简单交叉验证，即针对原始数据集，通常分为训练集、测试集。训练集用于训练模型、测试集对于模型来说是未知数据，用于评估模型的泛化能力。

比如我们随机的将样本数据分为两部分(70%的训练集，30%的测试集)，然后用训练集来训练模型，测试集上验证模型及参数，最后选择损失函数评估最优的模型和参数。

from sklearn import datasets
from sklearn import model_selection

#引入sklearn库中手写数字的数据集
digits = datasets.load_digits()

#留出法
X_train, X_test, y_train, y_test = model_selection.train_test_split(digits.data, digits.target, test_size = 0.3, shuffle = True)

留一法交叉验证

留一法交叉验证 (Leave-one-out Cross Validation) 是k折交叉验证的特例，此时的k等于样本数N。因此，对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型的好坏。此方法主要适用于数据量非常小的情况，比如N小于50的时候，推荐采用留一交叉验证。

from sklearn import datasets
from sklearn import model_selection

#引入sklearn库中手写数字的数据集
digits = datasets.load_digits()

#留一法交叉验证
loo = model_selection.LeaveOneOut()
digits_gen = loo.split(digits.data)
for train_idx, test_idx in digits_gen:
        X_train = digits.data[train_idx]
        X_test = digits.data[test_idx]
        y_train = digits.target[train_idx]
        y_test = digits.target[test_idx]