为什么极大似然估计得到的方差是有偏估计

问题来源

在学习模式分类过程中，我们会用到极大似然估计，最常见的是用它来估计期望和方差，而概率论中有这个结论，就是极大似然估计得到的方差是有偏的，那么为什么呢？

估计的无偏性

如果 $\hat{\theta }$ 是我们对$\theta$ 的估计，则满足 $E(\hat{\theta })=\theta$ 时我们说该估计是无偏的.

极大似然估计

假设样本集$D$中有$n$个样本：$x_1,x_2,\dots x_n$.我们需要估计的参数是$\theta$，由于这些样本是独立抽取的，所以有下式成立：
$$p(D|\theta )=\prod _{k=1}^{n}p(x_k|\theta )$$
为简化计算，使用对数似然函数：
$$l(\theta )=\ln (p(D|\theta ))=\sum _{k=1}^n\ln (p(x_k|\theta )$$
我们要求其极大值，对其求梯度，梯度为零的地方就是可能的极大值处：
$${\nabla }_{\theta }=\sum _{k=1}^n{\nabla }_{\theta }\ln (p(x_k|\theta ))$$
对于一维的正态分布，有:
$$\ln p(x)=-\frac{1}{2}2\pi \sigma -\frac{1}{2\sigma }(x-\mu {)}^2$$
这里我们假设$\mu$ 已知，使用样本估计$\sigma$ :
$${\nabla }_{\sigma }\ln p(x)=-\frac{1}{2\sigma }+\frac{(x_k-\mu {)}^2}{2{\sigma }^2}$$
则极值条件为：
$$-\sum _{k=1}^n\frac{1}{\hat{\sigma }}+\sum _{k=1}^n\frac{(x_k-\mu )}{2{\hat{\sigma }}^2}=0$$
可得方差的极大似然估计为:
$${\hat{\sigma }}^2=\frac{1}{n}\sum _{k=1}^n(x_k-\mu {)}^2$$

方差估计的有偏性

随机变量的和的均值和方差

$x_1,x_2,\dots ,x_n$是$n$个独立同分布的随机变量$Y=x_1+x_2+\dots +x_n$，有:
$$E(x_i)=\mu ,D(x_i)={\sigma }^2,E(x_i^2)={\sigma }^2+{\mu }^2,i=1,2,...n$$ $$E(Y)=n\mu ,D(Y)=n{\sigma }^2,E(Y^2)=D(Y)+E^2(Y)=n{\sigma }^2+n^2{\mu }^2$$

证明有偏性

我们对一维高斯分布的方差的估计为$${\hat{\sigma }}^2=\frac{1}{n}\sum _{k=1}^n(x_k-\mu {)}^2$$ 它的期望为：

$$\begin{array}{rl}E({\hat{\sigma }}^2)& =E\{\frac{1}{n}\sum _{k=1}^n(x_k-\mu {)}^2\}\\ & =E\{\frac{1}{n}\sum _{k=1}^n{x}_k^2-{\mu }^2\}\\ & =\frac{1}{n}\sum _{k=1}^{n}E(x_k^2)-E({\mu }^2)\\ & =({\sigma }^2+{\mu }^2)-E\{(\frac{x_1+x_2+\dots +x_n}{n}{)}^2\}\\ & =({\sigma }^2+{\mu }^2)-\frac{1}{n^2}E(Y^2)\\ & =({\sigma }^2+{\mu }^2)-\frac{1}{n^2}(n^2{\mu }^2+n{\sigma }^2)\\ & =\frac{n-1}{n}{\sigma }^2\end{array}$$
可知，该估计是有偏的。

结语

• 以上内容部分摘抄自 《模式分类》，机械工业出版社，中信出版社，Richard O. Duda Peter E.Hart David G.Stock 著，李宏东 姚天翔 等译

• 公式推导纯属个人理解，敬请批评指正。