模型评估与选择--交叉验证学习和 scikit-learn交叉验证

交叉验证:重复的使用数据,把得到的样本数据进行切分,组合为不同的训练集和测试集,用训练集来训练模型,用测试集来评估模型预测的好坏。交叉验证用在数据不是很充足的时候。


交叉验证的作用

  • 交叉验证用于评估模型的预测性能,尤其是训练好的模型在新数据上的表现,可以在一定程度上减小过拟合
  • 可以从有限的数据中获取尽可能多的有效信

交叉验证常见形式

  • 简单交叉验证:随机的将样本数据分为两部分(比如: 70%的训练集,30%的测试集),然后用训练集来训练模型,在测试集上验证模型及参数。接着,我们再把样本打乱,重新选择训练集和测试集,继续训练数据和检验模型。最后我们选择损失函数评估最优的模型和参数。 

 

  • S折交叉验证(s-fold cross validation):S折交叉验证会把样本数据随机的分成S份,每次随机的选择S-1份作为训练集,剩下的1份做测试集。当这一轮完成后,重新随机选择S-1份来训练数据。若干轮(小于S)之后,选择损失函数评估最优的模型和参数。

  • 留一交叉验证(leave-one-out cross validation):它是第二种情况的特例,此时S等于样本数N,这样对于N个样本,每次选择N-1个样本来训练数据,留一个样本来验证模型预测的好坏。此方法主要用于样本量非常少的情况,比如对于普通适中问题,N小于50时,我一般采用留一交叉验证。

 

 

参考文献:

https://www.cnblogs.com/pinard/p/5992719.html,

http://scikit-learn.org/stable/modules/cross_validation.html,

https://blog.csdn.net/aliceyangxi1987/article/details/73532651,

http://www.csuldw.com/2015/07/28/2015-07-28%20crossvalidation/

你可能感兴趣的:(机器学习)