无偏估计

无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。无偏估计常被应用于测验分数统计中。——百度百科

image.png

为什么第二次遍历同样的数据时就是有偏估计？
在数据不重复的情况下，采样数据越多，对数据分布的估计越接近真实分布。当对某些数据重复采样时，对分布的估计就会偏向被重复的数据，就成了有偏估计。
过拟合就是对数据分布的估计偏向了训练样本。