李宏毅机器学习——误差

一、误差的构成

Error=Bias+Variance
Bias和Variance之间是此消彼长的关系,其本质是机器计算与先验之间的battle

  • 如果依赖先验,就会对model施加限制,限制其复杂度,从而Bias相对大;但是model因为简单所以更加稳定,方差较小。
  • 如果依赖机器计算,就会使model尽可能贴合数据,model复杂度很高,Bias低,但是模型的不确定性很高,应用到实际中的模型方差会很大。

二、怎样降低误差?

1. 模型复杂,Bias小

复杂模型:Bias小,Variance大;容易造成过拟合
简单模型:Bias大,Variance小;容易造成欠拟合

2. 数据量大,Variance小

结合对模型复杂度和数据量的要求,可以通过以下方法来降低误差:
01-重复多次的留出法
02-k折交叉验证
03-bootstrap sampling

你可能感兴趣的:(机器学习,机器学习,人工智能)