Bias 和 Variance的计算

Bias（偏差）描述的是预期值偏离真实值的大小，所以high bias代表Underfitting（欠拟合）。
Variance（方差）描述的是任何特殊采样数据可能造成的与预期值的偏离，所以high variance 代表Overfitting（过拟合）。
下面介绍Bias和Variance的计算。

Bias

估计量的bias定义为：

如果，则说估计量是无偏差的。

Bernoulli分布的bias计算：
假设分布期望值是，则对于每一个样本，分布函数为：

计算方法如下图所示：

由上图可得结果是0，所以估计量是unbiased。

Gaussian分布
假设样本服从高斯分布
数学期望估计量的偏差计算方法下图所示：

所以高斯分布的数学期望估计量是无偏差的。
方差的估计量计算方法如下图所示：

所以按这种方法啊高斯分布的方差估计量是有偏差的，可以通过设置：

来使高斯分布的方差估计量是无偏差。
Variance

方差估计的是随数据采样变化函数的变化情况，估计量的方差写成：
。
Bernoulli分布方差估计量的计算方法