深度学习之模型选择,过拟合和欠拟合

模型选择

        训练误差和泛化误差

                训练误差:模型在训练数据上的误差

                泛化误差:模型在新数据上的误差

        验证数据集和测试数据集

                验证数据集:一个用来评估模型好坏的数据集

                        例如拿出50%的训练数据

                        不要跟训练数据混在一起(常犯错误

                测试数据集:只用一次的数据集 

        K-则交叉验证

        解决没有足够多的训练数据(这是常态)

        算法:

  • 将训练数据分割成K块
  • 依次使用第i块为验证数据集,其余的作为训练数据集
  • 报告K个验证集误差的平均

        常用:K=5或10

过拟合和欠拟合

深度学习之模型选择,过拟合和欠拟合_第1张图片

模型容量:拟合各种函数的能力

低容量的模型难以拟合训练数据

高容量的模型可以记住所有的训练数据

        模型容量的影响

深度学习之模型选择,过拟合和欠拟合_第2张图片

         模型容量的估计

不同种类算法之间难以比较

给定模型种类,将有两个因素

  • 参数的个数
  • 参数值的选择范围

        VC维

定义:对于一个分类模型,VC等于一个最大的数据集的大小,不管如何给定标号,都能找到一个模型对它进行分类。

线性分类器的VC维

二维输入的感知机,VC维=3

深度学习之模型选择,过拟合和欠拟合_第3张图片

支持N维输入的感知机的VC维是N+1

VC维的用处

  • 提供为什么一个模型好的理论依据

                它可以衡量泛化误差和训练误差之间的间隔

  • 深度学习中很少使用

                衡量不是很准确

                深度学习模型的VC维通常很难计算

 

总结

深度学习之模型选择,过拟合和欠拟合_第4张图片

 

你可能感兴趣的:(深度学习,人工智能)