14.模型选择

1. 训练误差 和 泛化误差

• 训练误差：模型在训练数据上的误差
• 泛化误差：模型在新的数据上的误差（ps：更关心泛化误差而非训练误差）

例如：根据模考成绩来预测未来考试分数

• 在过去的考试中表现很好（训练误差）不代表未来考试一定会好（泛化误差）
• 学生A通过背书在模考中拿到很好的成绩
• 学生B知道答案后面的原因

2. 验证数据集和测试数据集

验证数据集：一个用来评估模型好坏的数据集。（通过验证数据集可以来调参数，如：学习率取多少）

• 例如拿出50%的训练数据
• 不要跟训练数据混在一起（常犯错误）

我们把训练数据集分成两半，第一半用来训练模型参数，第二半就当作验证数据集，把训练好的模型在验证数据集上测一下精度，误差等，如果根据精度看，感觉超参数不是很好，就换一个超参数，再到验证数据集上测一下精度，就可以比较出哪个超参数更好。

因为验证数据集没有参加训练，所以在一定程度上是能反映出超参数的选择好坏。

测试数据集：只用一次的数据集。例如：

• 未来的考试
• 我出价的房子的实际成交价
• 用在Kaggle私有排行榜中的数据集

3. K-折交叉验证

• 在没有足够多的训练数据时使用（这是常态）

• 算法：

  • 将训练数据分割成K块
  • For i = 1，…，k
    • 是用第i块作为验证数据集，其余作为训练数据集
  • 报告k个验证集误差的平均

• 常用：k = 5或10

4. 总结

• 训练数据集：训练模型参数
• 验证数据集：选择模型超参数
• 非大数据集通常使用K-折交叉验证