李宏毅机器学习——误差

一、误差的构成

Error=Bias+Variance
Bias和Variance之间是此消彼长的关系，其本质是机器计算与先验之间的battle

• 如果依赖先验，就会对model施加限制，限制其复杂度，从而Bias相对大；但是model因为简单所以更加稳定，方差较小。
• 如果依赖机器计算，就会使model尽可能贴合数据，model复杂度很高，Bias低，但是模型的不确定性很高，应用到实际中的模型方差会很大。

二、怎样降低误差？

1. 模型复杂，Bias小

复杂模型：Bias小，Variance大；容易造成过拟合
简单模型：Bias大，Variance小；容易造成欠拟合

2. 数据量大，Variance小

结合对模型复杂度和数据量的要求，可以通过以下方法来降低误差：
01-重复多次的留出法
02-k折交叉验证
03-bootstrap sampling