机器学习中的偏差和方差的通俗理解

一、参考来源

偏差和方差有什么区别？ - 知乎

二、通俗理解

2.1基础知识

（1）偏差是某一个模型相对真实数据的偏离程度。

（2）方差衡量的是一个模型集合中不同模型的分散程度。

（3）真实数据并不是随着某几个特征的变化而变化，也即假设结果A主要由特征a和特征b决定，只研究特征a和特征b对结果A的影响，但不是说特征a=x1，特征b=x2，结果A就一定为y，这是因为还有其他次要影响因素在“捉妖”。

（4）基于（3），真实世界里的数据应该是f(x)±ε，这里的ε是噪声值。一般而言，由次要因素产生的噪声，就是符合正态分布的。

2.2图解偏差和方差

如果将真实世界的模型理解为一次曲线，那么根据损失函数最小的原则得到的曲线就是一条居中的直线，噪声对它的影响不大。

 如果将真实世界的模型理解为二次曲线，因为二次曲线的模型库包含一次曲线，所以称它学习能力变强，那么一定会不可避免地学到“噪声”。噪声是不确定的，离散度很大的，把一个不稳定的特征学进去了，最后不可避免方差变大了呗！