李宏毅ML02—Where does the error comes from

Where does the error comes from

Bias and Variance

• error 的来源有两种—bias（偏差） 和 variance（方差）

• 

  偏差和方差.png

• 由上图可形象看出“偏差”是样本拟合出的结果的期望与样本真实结果的差距大小
• 而方差是拟合出的结果表现是否优良的稳定性。

Bias

• 代表客观存在的真实值，m的期望是和相等的
• 表示在样本上拟合程度（样本和真实情况的偏差），low bias 代表在这些样本上拟合的好，所以就得复杂化模型（即，增加参数），容易overfitting（即，high variance）
• 解决方案：更多的参数，更复杂的模型
• 形象化语言：集中容易偏，分散容易中；画的线越贴合样本值，误差的点就越散开

Variance

• 那如何得到呢？通过来近似得到
• 的期望会略微小于，随着N的增大会越接近
• 表示在测试集上的表现情况，low variance 代表在测试集上表现稳定，所以就需要简化模型，（即，减少参数），容易underfitting（即，high bias）
• 解决方案：更多的训练数据，正则化

• 

  Error的来源.png

模型选择—Cross Validation（交叉验证）

• 训练集中得到最小的Error(0.5)的model，并且在测试集上得到了Error最小(0.5)的情况，在真实场景下，大多数的情况会比0.5大，所以在实验室并不能得到一个在真实场景下的的error。
• 此时需要把Training Set拆分成Training Set和Validation Set，在Training Set和Validation Set上得到的最小error的值，放到整个Training Set中测试一遍，得到的error会更加接近真实情况。甚至可以分成两个Training Set和一个Validation Set。

• 

  k折交叉验证

• 真实的情况是，会有k折交叉验证