Bias 和 Variance的计算

Bias(偏差)描述的是预期值偏离真实值的大小,所以high bias代表Underfitting(欠拟合)。
Variance(方差)描述的是任何特殊采样数据可能造成的与预期值的偏离,所以high variance 代表Overfitting(过拟合)。
下面介绍Bias和Variance的计算。

Bias

估计量的bias定义为:
bias
如果无偏差,则说估计量是无偏差的。

Bernoulli分布的bias计算:
假设分布期望值是theta,则对于每一个样本xi,分布函数为:
分布函数1
计算方法如下图所示:
Bias 和 Variance的计算_第1张图片
由上图可得结果是0,所以估计量hattheta是unbiased。

Gaussian分布
假设样本服从高斯分布高斯分布
数学期望估计量的偏差计算方法下图所示:
Bias 和 Variance的计算_第2张图片
所以高斯分布的数学期望估计量是无偏差的。
方差的估计量计算方法如下图所示:
Bias 和 Variance的计算_第3张图片
所以按这种方法啊高斯分布的方差估计量是有偏差的,可以通过设置:
无偏差形式
来使高斯分布的方差估计量是无偏差。
Variance

方差估计的是随数据采样变化函数的变化情况,估计量的方差写成:
variance
Bernoulli分布方差估计量的计算方法
Bias 和 Variance的计算_第4张图片

你可能感兴趣的:(深度学习)