Bias-Variance tradeoff

通常我们对监督学习模型进行评估的时候, 需要权衡variance和bias.

模型评估主要根据公式,即用squred mean error来评估.

通过一系列推导可以证明:(来源https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff)

因此模型的拟合效果是由的方差和偏差构成的. 

方差高的模型,往往更复杂, 有更多的参数, 也因此对数据拟合的更好. 但是有可能是对数据过拟合的, 因此,由于拟合结果很好, 所以拟合结果的偏差会很小. 相反, 如果方差很小, 比如用直线对数据进行拟合, 模型的方差会很小, 但是很明显偏差也会比较大.