李宏毅机器学习-P5误差来自哪里

• 偏差和方差估计
• 欠拟合、过拟合与偏差、方差的关系
• 如何解决过拟合问题
• 模型选择

前提：第$i$个空间下对应一组数据$\{(x_1,y),(x_2,y),...,(x_n,y)\}$, 我们设计一组函数集$\{f_i|f_i=w_{i}x+b_i,i=1,...,n\}$，对应的每个样本$x$, 每个回归模型有对应的估计值${\hat{y}}_i$。因此每个模型都有自己的均值$m_i$和方差$s_i$。
偏差和方差估计
偏差估计

方差估计

欠拟合、过拟合与偏差、方差的关系



偏差大：模型无法准确的拟合训练数据—>欠拟合
方法大：模型可以准确的拟合训练数据，但与测试数据的差别较大–>过拟合。
如何解决过拟合问题

模型选择
选择一个bias小，variance小的模型。
N折交叉验证

图片来源：李宏毅机器学P5