机器学习之偏差与方差的区别

偏差与方差的区别

    • 1.bias【偏差】
    • 2.variance【方差】
    • 3.objective function 【目标函数】
    • 4. 模型衡量说明

1.bias【偏差】

  • 衡量模型预测的准确性
    • 偏差越小,说明y_predictive预测值越接近y_true【真实值】,说明模型越好
    • 偏差越大,说明y_predictive预测值越偏离y_true【真实值】,说明模型越差

2.variance【方差】

  • 衡量模型预测的稳定性
    • 方差越小,说明y_predictive预测值分布范围比较密集,说明模型越好
    • 方差越大,说明y_predictive预测值分布范围比较离散,说明模型越差

3.objective function 【目标函数】

o b j e c t i v e ( θ ) = L ( θ ) + Ω ( θ ) objective(θ) =L(θ)+Ω(θ) objective(θ)=L(θ)+Ω(θ)

  • L(θ):损失函数,与偏差相对应
  • Ω(θ):惩罚项,与方差相对应
  • 最终结果使目标函数较小,偏差与方差具有相对抑制作用

4. 模型衡量说明

  • 红点表示:真实值,y_true
  • 蓝点表示:预测值,y_predictive
    机器学习之偏差与方差的区别_第1张图片
  • 图1:低偏差,低方差。说明模型预测的准确性高,稳定性高,效果最好
  • 图2:低偏差,高方差。说明模型预测的准确性高,稳定性低【每次预测的结果取值范围较大】,效果不好
  • 图3:高偏差,低方差。说明模型预测的准确性低,稳定性高,效果不好
  • 图4:高偏差,高方差。说明模型预测的准确性低,稳定性低,效果非常不好

你可能感兴趣的:(机器学习笔记,python,偏差,方差)