每天五分钟机器学习:算法模型中经常出现的过拟合和欠拟合的问题

本节重点

上一节课程我们学习了如何来选择我们的模型,通过训练集,交叉验证集还有测试集,那么这节课程我们将学习如何诊断我们的算法所出现的问题。当你运行一个学习算法时,如果这个算法的表现不理想,那么多半是出现两种情况:要么是偏差比较大,要么是方差比较大。换句话说,出现的情况要么是欠拟合,要么是过拟合问题。

三种情况

每天五分钟机器学习:算法模型中经常出现的过拟合和欠拟合的问题_第1张图片

 

上图中分别表示欠拟合,正常拟合、过拟合

误差

训练集误差是对训练集的误差,而交叉验证集误差是对交叉验证集的误差

每天五分钟机器学习:算法模型中经常出现的过拟合和欠拟合的问题_第2张图片

 

将训练集和交叉验证集的代价函数误差与多项式的次数d绘制在同一张图表上来帮助分析,如下所示:

每天五分钟机器学习:算法模型中经常出现的过拟合和欠拟合的问题_第3张图片

 

对于训练集,当 d 较小时,模型拟合程度低,误差较大;随着 d 的增长,拟合程度提高,误差减小。

对于交叉验证集,当 d 较小时,模型拟合程度低,误差较大;

你可能感兴趣的:(每天五分钟玩转机器学习算法,1024程序员节,人工智能,算法,神经网络,深度学习)