李沐-模型选择 + 过拟合和欠拟合

模型的选择

训练误差和泛化误差
一般更关注泛化误差


验证数据集和测试数据集

K则交叉验证

总结

过拟合和欠拟合

概念

模型容量

模型简单的话，就是左图的一条直线，怎样都欠拟合的，只有模型简单的时候才会发生欠拟合
模型过于复杂的话，右图，将所有数据都记住了，泛化能力差。

注意：横轴可以看成是一个一个不同的模型，而不是同一个模型。目标就是中间的蓝色间隙尽可能小，泛化误差尽可能接近训练误差。因此，首先模型要够大，其次再去解决过拟合的问题。
估计模型容量

理论依据：VC维

VC维作用

数据复杂度

样本的元素个数：图片1414和256256这样子。
总结

QA：
svm不适合大数据量，神经网络还可以做特征提取
0.3测试，0.7训练，再0.7上做5折交叉验证。
可以在训练集和验证集上都做标准化，均值和方差 ，也可把训练集用到验证集上。
超参数一是经验，二是随机选。
K折交叉验证就是确定超参数，拿着这个超参数再去训练一次。二是确定超参数就拿去用。三是在每个折上进行测试，取个平均，稳定性好。
训练数据不平衡，如果真实世界就是如此，那正常，否则，一可以把loss提高，2可以把数据增加（最简单复制多遍）

欠拟合，过拟合

欠拟合就是训练的损失都很大，不关心训练，验证损失的差距了
正常的是训练的损失很小，验证的损失和训练的差不多
过拟合就是训练的损失小，验证的损失大，与训练的有一定差距