最大似然估计会低估方差

根据最大似然估计可以得到方差的估计值为：

$${\sigma }_{ML}^2=\frac{1}{N}\sum _{n=1}^N(x_n-{\mu }_{ML}{)}^2\text{\hspace{1em}(1)}$$

其中${\mu }_{ML}^2=\frac{1}{N}{\sum }_{i=1}^N{x}_i$

对${\sigma }_{ML}^2$求期望的结果为：

$$E({\sigma }_{ML}^2)=\frac{N-1}{N}{\sigma }^2\text{\hspace{1em}(2)}$$

从这个结果来看，可以知道最大似然估计对实际的方差${\sigma }^2$低估了，主要是因为系数$\frac{N-1}{N}$

下面对这个期望结果进行证明：

将$(1)$式代入$(2)$可得，

$$\begin{array}{rl}E({\sigma }_{ML}^2)& =E(\frac{1}{N}\sum _{n=1}^N(x_n-{\mu }_{ML}{)}^2)\\ & =\frac{1}{N}\sum _{n=1}^{N}E((x_n-{\mu }_{ML}{)}^2)\\ & =\frac{1}{N}\sum _{n=1}^{N}E(x_n^2-2x_n{\mu }_{ML}+{\mu }_{ML}^2)\\ & =\frac{1}{N}\sum _{n=1}^{N}E(x_n^2)-\frac{2}{N}\sum _{n=1}^{N}E((x_n^2+\frac{1}{N}\sum _{i=1,i\ne n}^N{x}_n{x}_i))+\frac{1}{N}\sum _{n=1}^N\underset{\ast }{E({\mu }_{ML}^2)}\\ & ={\sigma }^2+{\mu }^2-\frac{2}{N}{\mu }^2-\frac{2}{N}{\sigma }^2-2\frac{N-1}{N}{\mu }^2+{\mu }^2+\frac{1}{N}{\sigma }^2\\ & =\frac{N-1}{N}{\sigma }^2\end{array}$$
其中$\mu$是数据的真实均值，${\sigma }^2$是数据的真实方差，下方花括号括起来的*式的具体计算过程如下：
$$\begin{array}{rl}E({\mu }_{ML}^2)& =E^2({\mu }_{ML})+D({\mu }_{ML})\\ & ={\mu }^2+D(\frac{1}{N}\sum _{i=1}^N{x}_i)\\ & ={\mu }^2+\frac{1}{N^2}D(\sum _{i=1}^N{x}_i)\\ & ={\mu }^2+\frac{1}{N^2}N{\sigma }^2\\ & ={\mu }^2+\frac{1}{N}{\sigma }^2\end{array}$$

证毕。