回归误差（Error）从何而来

回顾

 

 

1. 偏置与方差

 

 以射击为例子，f^为估计值即靶的中心，误差来源一是由于瞄准时候带来的(bias)，二是由于子弹在飞行过程中收到的其他因素的影响所带来的的(variance)。

 1.1 方差（稳定性，第一个比较集中，第二个分散）

1.2 偏差（偏置：Bias ：距离得到modle的差距）

          

复杂的包含targe但是因为其本身的复杂不好找到

 

1.3 模型分析

1.3.1模型复杂度

分别是 偏差和方差的误差，还有考虑这两个的误差

下面左边是更大的偏差和更小的方差（稳定性） 右边是更大的方差和更小的偏差

1.3.2 过拟合、欠拟合

如果模型不能很好的适应训练集，有很大的偏差，那就是拟合的不够：欠拟合

如果模型能很好适应训练集，但是在测试集的时候有很大的差距，可能是方差太大了，过拟合了，只认识训练集一样的了

此时我们就要redesign我们的modle了：比如添加更多的因素，去产生一个更复杂的模型

如何处理更大的方差？（过拟合）

1.添加更多的数据（也不一定总是有效，大多数有效）

2.正则化（有可能去伤害到bias因为调整了function space：因为让他只包含那些平滑曲线） 

2.Model Selection 

模型选择．偏差和方差之间通常存在权衡。选择平衡两种误差的模型，使总误差最小不该做的事:

有可能你在自己的testing Set上效果还行，到了real的就完蛋了

2.1模型检测

方法1：

 方法2：