概率论之极大似然估计

统计的基本任务是以样本推断总体，在很多场合下，总体分布的形式是已知的，需要求得未知参数，这就是数理统计的参数估计问题。参数估计分为两种：一种是点估计，一种是区间估计。前者是用一个适当的统计量作为参数的近似，我们将统计量的样本值称为该参数的估计值；后者是用统计量两个值所界定的区间来指出真实参数值的大致范围。本文主要讲点估计中的极大似然估计。点估计的矩估计和区间估计以后再说。
极大似然估计(Maximum Likelihood Estimate，MLE)，认为总体含有未知参数的信息可以由样本反映出来，样本之所以被抽到的原因是抽样发生的概率应是最大的，这就是极大似然估计的原理。
极大似然估计的做法关键有两步：第一步写出某样本$X_1,X_2,...,X_n$出现概率的表达式$L(\theta )$，对于离散型总体X,设它的分布列为$p(k_i;\theta ),i=1,2,...$，则上述样本出现的概率为
$$L(\theta )=\prod _{i=1}^{n}p(X_i;\theta )$$
对于固定的样本，$L(\theta )$是参数$\theta$的函数，我们称之为似然函数；第二步则是求$\hat{\theta }\in \Theta (\Theta 是参数空间)$，使得$L(\theta )$达到最大的$\hat{\theta }$为所求参数$\theta$的极大似然估计。
这里还需要强调的几点：

1. 当总体X是连续型随机变量时，谈所谓样本$X_1,X_2,...,X_n$出现的概率是没有什么意义的，因为任何一个具体样本的出现都是零概率事件，这时我们就考虑样本在它任意小的邻域中出现的概率，这个概率越大，就等价于此样本处的概率密度越大。因此在连续总体的情况下，我们用样本的密度函数作为似然函数$$L(\theta )=\prod _{i=1}^{n}f(X_i;\theta )$$
2. 为了计算方便，我们常对似然函数$L(\theta )$取对数，并称$lnL(\theta )$为对数似然函数，易知，$L(\theta )$与$lnL(\theta )$在同一$\hat{\theta }$处达到极大，因此，这样做不会改变极大点；
3. 在大多数情形下，待估计的参数$\theta =({\theta }_1,{\theta }_2,...,{\theta }_m)$是向量，参数空间$\Theta$包含m维欧式空间的一个区域，求极值必须考虑偏导方程，即对对数似然函数关于${\theta }_i$求偏导，再令之为零 $$\frac{\partial lnL(\theta )}{\partial {\theta }_i}=0,\theta =({\theta }_1,{\theta }_2,...,{\theta }_m),i=1,2,...,m$$

例题

设 $x_1,x_2,...x_n是N(\mu ,{\sigma }^2)的样本，求\mu 与{\sigma }^2的MLE$
解 我们有$$L(\mu ,{\sigma }^2)=\frac{1}{(2\pi {)}^{\frac{n}{2}}({\sigma }^2{)}^{\frac{n}{2}}}exp\{-\frac{{\sum }_{i=1}^n(x_i-\mu {)}^2}{2{\sigma }^2}\},$$
对似然函数取对数，得 $$lnL(\mu ,{\sigma }^2)=-\frac{n}{2}ln2\pi -\frac{n}{2}ln{\sigma }^2-\frac{{\sum }_{i=1}^n(x_i-\mu {)}^2}{2{\sigma }^2}.$$
因为有两个未知数求极值，所以根据偏导方程 $$\{\begin{array}{llccc}\frac{\partial lnL(\mu ,{\sigma }^2)}{\partial \mu }=\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu )=0& & & & \\ & & & & ⋮\\ \frac{\partial lnL(\mu ,{\sigma }^2)}{\partial {\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}{\sum }_{i=1}^n(x_i-\mu {)}^2=0& & & & \end{array}$$
解似然方程组，即得
$$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i=\bar{x},$$
$${\sigma }^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2=s_0^2$$