李宏毅机器学习-P5误差来自哪里

  • 偏差和方差估计
  • 欠拟合、过拟合与偏差、方差的关系
  • 如何解决过拟合问题
  • 模型选择

前提:第 i i i个空间下对应一组数据 { ( x 1 , y ) , ( x 2 , y ) , . . . , ( x n , y ) } \{(x_1,y), (x_2,y),...,(x_n,y)\} {(x1,y),(x2,y),...,(xn,y)}, 我们设计一组函数集 { f i ∣ f i = w i x + b i , i = 1 , . . . , n } \{f_i| f_i= w_ix+b_i, i=1,...,n\} {fifi=wix+bi,i=1,...,n},对应的每个样本 x x x, 每个回归模型有对应的估计值 y ^ i \hat{y}_i y^i。因此每个模型都有自己的均值 m i m_i mi和方差 s i s_i si
偏差和方差估计
偏差估计
李宏毅机器学习-P5误差来自哪里_第1张图片
方差估计
李宏毅机器学习-P5误差来自哪里_第2张图片
欠拟合、过拟合与偏差、方差的关系
李宏毅机器学习-P5误差来自哪里_第3张图片
李宏毅机器学习-P5误差来自哪里_第4张图片
李宏毅机器学习-P5误差来自哪里_第5张图片
偏差大:模型无法准确的拟合训练数据—>欠拟合
方法大:模型可以准确的拟合训练数据,但与测试数据的差别较大–>过拟合
如何解决过拟合问题
李宏毅机器学习-P5误差来自哪里_第6张图片
模型选择
选择一个bias小,variance小的模型。
N折交叉验证
李宏毅机器学习-P5误差来自哪里_第7张图片
图片来源:李宏毅机器学P5

你可能感兴趣的:(李宏毅机器学习,机器学习,统计学)