机器学习基础：极大似然估计高斯参数

数据

设DataSet：X={(x1,y1),(x2,y2),(x3,y3)…(xn,yn))}，其中$xi\in R^p$，$yi\in R$,也就是说X=$（x1,x2,x3.....xn{）}^T$，其中这里，每个元素x
都是一个p维的列向量，我们继续化简，X=$$\left[\begin{array}{ccc}{x}_{11}& x_{12}& ...x_{1p}\\ x_{21}& x_{22}& ...x_{2p}\\ & & \\ ......& & \\ x_{n1}& x_{n2}& ...x_{{}_{np}}\end{array}\right]\text{\hspace{1em}(1)}$$
Y=$$\left[\begin{array}{c}{y}_1\\ y_2\\ \\ ......\\ y_n\end{array}\right]\text{\hspace{1em}(2)}$$

$x_i\in R^p$,每个元素x_i服从独立同分布,本文当中，为了方便计算，我们令p=1。设$\theta =(\mu ,{\sigma }^2)$一维标准高斯分布的pdf（概率密度函数）：$$P(X|\theta )=\frac{1}{\sigma \sqrt{2\Pi }}+exp(-\frac{(X-\mu {)}^2}{2{\sigma }^2})$$

参数估计均值

$\ln {\theta }_{MLE}=argmax\ln P(X|\theta )$
$=argmax{\prod }_{i=1}^N\ln P(x_i|\theta )$
$=argnax\ln {\sum }_{i=1}^{N}P(xi|\theta )$
$=argmax\ln {\sum }_{i=1}^N(\frac{1}{\sigma \sqrt{2\Pi }}+exp(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}))$
$=argmax{\sum }_{i=1}^N(\ln \frac{1}{\sqrt{2}\Pi }-\ln \sigma -\frac{(x_i-\mu {)}^2}{2{\sigma }^2})))$
化简到这里，我们的目标函数$L(\theta )$就化简完成了。
下面我们分别对$\mu ,\sigma$进行参数估计。
$\ln {\mu }_{MLE}==argmax{\sum }_{i=1}^N(\ln \frac{1}{\sqrt{2}\Pi }-\ln \sigma -\frac{(x_i-\mu {)}^2}{2{\sigma }^2})))$
因为其他两项都和系数$\mu$无关，在求解偏导数的时候可以约去，所以：
$\ln {\mu }_{MLE}=argmax{\sum }_{i=1}^N-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}$
$=argmin{\sum }_{i=1}^N(x_i-\mu {)}^2$
$=\frac{\partial }{\partial \mu }{\sum }_{i=1}^N(x_i^2-2x_i\mu +{\mu }^2)=0$
$={\sum }_{i=1}^N(-2x_i+2\mu )=0$
${\sum }_{i=1}^N{x}_i=N\mu$
${\mu }_{MLE}=\frac{1}{N}{\sum }_{i=1}^N{x}_i$
因为
$E[{\mu }_{MLE}]=\frac{1}{N}{\sum }_{i=1}^{N}E[x_i]=\frac{1}{N}{\sum }_{i=1}^N\mu =\mu$
所以此结果为无偏估计

参数估计方差

我们上面求出来的L(X)带入到这里
$\ln {\theta }_{MLE}=argmax\ln P(X|\theta )$
$=argmax{\prod }_{i=1}^N\ln P(x_i|\theta )$
$=argnax\ln {\sum }_{i=1}^{N}P(xi|\theta )$
$=argmax\ln {\sum }_{i=1}^N(\frac{1}{\sigma \sqrt{2\Pi }}+exp(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}))$
$=argmax{\sum }_{i=1}^N(\ln \frac{1}{\sqrt{2}\Pi }-\ln \sigma -\frac{(x_i-\mu {)}^2}{2{\sigma }^2})$

${\sigma }_{MLE}^2=argmax{\sum }_{i=1}^N(\ln \frac{1}{\sqrt{2}\Pi }-\ln \sigma -\frac{(x_i-\mu {)}^2}{2{\sigma }^2})$
$=\frac{\partial }{\partial \sigma }{\sum }_{i=1}^N(\frac{1}{\sqrt{2}\Pi }-\ln \sigma -\frac{(x_i-\mu {)}^2}{2{\sigma }^2})=0$
$={\sum }_{i=1}^N(-\frac{1}{\sigma }-(-2){\sigma }^{-3}\frac{(x_i-\mu {)}^2}{2})=0$
左右同时✖️${\sigma }^3$
$={\sum }_{i=1}^N((-\sigma {)}^2+(x_i-\mu {)}^2)=0$
${\sigma }_{MLE}^2=\frac{1}{N}{\sum }_{i=1}^N(x_i-\mu {)}^2=0$
$因为E[{\sigma }_{MLE}^2]=\frac{N-1}{N}{\sigma }^2$
所以此结果为有偏估计