Machine Learning-模型评估与调参 ——嵌套交叉验证

机器学习系列专栏

选自 Python-Machine-Learning-Book On GitHub

作者：Sebastian Raschka

翻译&整理 By Sam

上次讲到用网格搜素的方法来寻找最优的参数，但这有一个前提就是已经确定了算法，但算法有很多，要如何选择一个算法呢，这一篇介绍一个方法——嵌套交叉验证。

嵌套交叉验证(nested cross validation)选择算法（外循环通过k折等进行参数优化，内循环使用交叉验证），对特定数据集进行模型选择。Varma和Simon在论文Bias in Error Estimation When Using Cross-validation for Model Selection中指出使用嵌套交叉验证得到的测试集误差几乎就是真实误差。

嵌套交叉验证外部有一个k折交叉验证将数据分为训练集和测试集，内部交叉验证用于选择模型算法。

下图演示了一个5折外层交叉沿则和2折内部交叉验证组成的嵌套交叉验证，也被称为5*2交叉验证：

我们还是用到之前的数据集，相关包的导入操作这里就省略了。

SVM分类器的预测准确率代码实现：

决策树分类器的预测准确率代码实现：

从上面的两种算法的结果可以选择出最优的算法哦～