正态分布下的最大似然估计

正态分布下的最大似然估计

前导知识：【最大似然参数估计的求解】
本文仅以单变量正态分布情况下估计其均值和方差为例来说明最大似然估计的用法。
单变量正态分布的形式为：
$$\rho (x|\theta )=\frac{1}{\sqrt{2\pi \sigma }}{e}^{-\frac{1}{2}(\frac{x-\mu }{\sigma }{)}^2}\text{\hspace{1em}(1)}$$
其中均值$\mu$和方差${\sigma }^2$为未知参数，即待估计的参数为$\theta =[{\theta }_1,{\theta }_2{]}^T=[\mu ,{\sigma }^2{]}^T$，用于估计的样本仍然是$X=\{x_1,x_2,...,x_N\}$。
根据如下式子：
$${▽}_{\theta }H(\theta )=\sum _{i=1}^N{▽}_{\theta }\ln \rho (x_i|\theta )=0\text{\hspace{1em}(2)}$$
从正态分布式$(1)$可以得到：
$$\ln \rho (x_k|\theta )=-\frac{1}{2}\ln 2\pi -\frac{1}{2{\theta }_2}(x_k-{\theta }_1{)}^2\text{\hspace{1em}(3)}$$
分别对两个未知参数求偏导，得到：
$${▽}_{\theta }\ln \rho (x_k|\theta )=\left[\begin{array}{c}\frac{1}{{\theta }_2}(x_k-{\theta }_1)\\ -\frac{1}{2{\theta }_2}+\frac{1}{2{\theta }_2^2}(x_k-{\theta }_1{)}^2\end{array}\right]\text{\hspace{1em}(4)}$$
因此，最大似然估计应该是以下方程组的解：
$$\{\begin{array}{c}{\sum }_{k=1}^N\frac{1}{\widehat{{\theta }_2}}(x_k-\widehat{{\theta }_1})=0\\ -{\sum }_{k=1}^N\frac{1}{\widehat{{\theta }_2}}+{\sum }_{k=1}^N\frac{1}{{\widehat{{\theta }_2}}^2}(x_k-\widehat{{\theta }_1}{)}^2\end{array}\text{\hspace{1em}(5)}$$
可以得到：
$$\begin{gathered} \hat{\mu }=\widehat{{\theta }_1}=\frac{1}{N}\sum _{k=1}^N{x}_k \\ {\hat{\sigma }}^2=\widehat{{\theta }_2}=\frac{1}{N}\sum _{k=1}^N(x_k-\hat{\mu }{)}^2\text{\hspace{1em}(6)} \end{gathered}$$
上述两式是对正态分布样本的均值和方差的最大似然估计。
多元正态分布：
多元正态分布的均值和方差的最大似然估计是：
$$\begin{gathered} \hat{\mu }=\frac{1}{N}\sum _{i=1}^N{x}_i \\ {\hat{\Sigma }}^2=\frac{1}{N}\sum _{i=1}^N(x_i-\hat{\mu })(x_i-\hat{\mu }{)}^T\text{\hspace{1em}(7)} \end{gathered}$$
最大似然估计量是平方误差一致和简单一致估计量，但不一定都是无偏估计量。上述估计中，$\hat{\mu }$是无偏的，而$\hat{\Sigma }$就不是无偏的，它的无偏估计为：
$$\hat{\Sigma }=\frac{1}{N-1}\sum _{k=1}^N(x_k-\hat{\mu })(x_k-\hat{\mu }{)}^T\text{\hspace{1em}(8)}$$