数据集的划分——交叉验证法

本文作者：王 歌
文字编辑：戴 雯
技术总编：张 邯

前面我们在举例时，通常是将所使用的数据集按照75%和25%的比例划分为训练集和测试集，这主要是为了我们举例方便，同时划分后的数据量也依然符合大样本的要求。其实在机器学习中还有其他划分数据集的方法，可以在本身数据总量就比较小时使模型达到很好的效果，我们今天介绍的交叉验证法就是比较常用的方法，它在我们将要介绍的集成学习的Stacking算法中经常使用到。

1方法介绍

我们往往会得到多个模型，而最终选择的模型必定是泛化能力强，也就是在未知的新数据上效果最好的模型，因此我们在训练模型前就要将我们所掌握的数据进行划分，严格来说一般会划分为训练集、验证集和测试集，在训练集上进行训练模型，在验证集上试验效果、调整参数设置，在测试集上进行最终的测试。为了保证最终的效果，这三个集合不能有交集，常见的比例是8:1:1。当然，通常我们只有训练集和测试集也是可以的，前面我们使用的样例数据集只有几百个，因此也没有划分验证集。我们所使用的train_test_split属于留出法，也就是随机将一部分数据作为训练集，剩下的作为测试集。但对样本信息的利用往往不充分，并且需要的样本量较大。如果我们本身样本量有限，并且想充分利用数据集中的信息，我们可以采用交叉验证法。

交叉验证法是将数据集划分为k个大小相似的互斥子集，并在划分时保持数据分布的一致性，每次用k-1个子集的并集作为训练集，剩余的做测试集，进行k次训练，最后取k次结果的均值。该方法依赖于k值的选取，通常取10，因此也称为k折交叉验证（k-fold-cross-validation），当k=1时称为留一法（Leave-One-Out）。由于留一法在样本量大时计算量较大，所以主要用于样本量比较少的情况。在实际应用中，我们只进行一次交叉验证可能是不够的，而要进行多次，称为p次k折交叉验证，一般取p=k=10。以上方法在sklearn中都有相应的类来实现，我们下面来看一下。

2程序实现

我们这里依然使用的是鸢尾花的数据，同时使用Logistic回归训练模型。在sklearn中，通常使用cross_val_predict实现k折交叉验证，它返回的是一个使用交叉验证以后的输出值，若要返回准确度评分，可以使用cross_val_score。两者参数相同，第一个参数为所使用的分类器，第二个和第三个参数分别是属性值和标签值，最后一个参数cv确定折数。我们这里进行5折的交叉验证，程序如下：

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score, cross_val_predict
iris_sample = load_iris()
x = iris_sample.data
y = iris_sample.target
lrclf = LogisticRegression()
predicted = cross_val_predict(lrclf, x, y, cv=5) #计算预测值
print('5折交叉验证预测值：', predicted)
scores = cross_val_score(lrclf, x, y, cv=5)  #计算模型的评分情况
print('评分：', scores)
print('准确度：', metrics.accuracy_score(predicted, y))  #计算评分的均值

结果如下：

image

若使用留一法，则要使用LeaveOneOut类，没有参数需要设置。具体程序如下：

from sklearn.model_selection import LeaveOneOut
loo = LeaveOneOut()
scores = cross_val_score(lrclf, x, y, cv=loo)
predicted = cross_val_predict(lrclf, x, y, cv=loo)
print('留一法预测值：', predicted)
scores = cross_val_score(lrclf, x, y, cv=loo)
print('评分：', scores)
print('准确度：', metrics.accuracy_score(predicted, y))

结果如下：

image

假设进行5次5折交叉验证，我们使用RepeatedKFold类，有三个参数：
（1）n_split表示要划分的折数；
（2）n_repeats表示重复几次；
（3）random_state设置随机种子。
程序如下：

from sklearn.model_selection import RepeatedKFold
kf = RepeatedKFold(n_splits=5, n_repeats=5, random_state=0)  #种子设为0
predicted = cross_val_predict(lrclf, x, y, cv=5)
print('5次5折交叉验证预测值：', predicted)
scores = cross_val_score(lrclf, x, y, cv=kf)
print('评分：', scores)
print('准确度：', metrics.accuracy_score(predicted, y))

结果如下：

image

在sklearn中还提供了许多其它交叉验证的类，比如使用ShuffleSplit类可以随机的把数据打乱，然后分为训练集和测试集；对于时间序列的数据，可以使用TimeSeriesSplit；若要实现分层抽样式的交叉验证，可以使用StratifiedKFold；分层随机划分可以使用StratifiedShuffleSplit，等等，大家可以根据自己的需要来选择合适的交叉验证方式。

今天的内容就分享到这里啦，感兴趣的小伙伴快动手试试吧~