【机器学习】有偏估计与无偏估计

有偏估计

有偏估计（biased estimate）是指由样本值求得的估计值与待估参数的真值之间有系统误差，其期望值不是待估参数的真值。在统计学中，估计量的偏差（或偏差函数）是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。在统计学中，“偏差”是一个函数的客观陈述。

无偏估计

无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。无偏估计常被应用于测验分数统计中。

如何用一个有偏的0/1随机数生成器，生成无偏的0/1随机数？【阿里】

用原发生器周期性地产生2个数，直到生成01或者10。 
由于生成01和10的概率均为p(1-p)，故预先任意指定01为0（或1），10为1（或0）即可。即可等概率的产生0和1，但是，要考虑其他组合的不可用性，获取题目本身就隐含了这个bug或是缺陷吧。

---

要求解此题，可以如下思索：既然我们要构建一个无偏过程，这个过程产生0和1的概率都是1/2，那么就要计算两个事件的概率，我们记这两个事件分别为A和B，其概率为p(A)和p(B)。之后我们利用事件A和事件B分别产生0和1。事件A产生0的概率，我们记为p(0)，事件B产生1的概率，我们记为p(1)。由此，可知下式成立。

p(A)*p(0)=p(B)*p(1)。

我们不妨先考虑最简单的情况，假设p(0)=p(1)，则p(A)必等于p(B)。那么如何产生两个事件A和B，并且这两个事件的概率相等呢？我们设想，运行有偏过程两次，产生11的概率为p*p，产生01的概率为(1-p)*p，产生00的概率为(1-p)*(1-p)，产生10的概率为p*(1-p)。我们可以看到产生01和10的概率是相等的，均为p*(1-p)。我们设产生01为事件A，产生10为事件B，我们已经知道了p(A)=p(B)，那么p(0)是否等于p(1)呢，当A事件发生，假如我们取01序列的第一个数，即为0，此概率为0的概率p(0)=1。同理当B事件发生，假设我们取10序列的第一个数，即为1，此概率为1的概率p(1)=1。

---