极大似然估计方法

（本文记录了学习MLE的学习笔记，学习资料为Hogg, McKean og Craig: Chapter 6. Maximum likelihood methods.）

极大似然估计是统计学中，估计参数的一种方法。它的本质思想是，如果一个参数能使得这个样本出现的概率最大，那么我们就选择这个参数作为真实参数的估计值。
假设我们已知某个随机样本满足某种概率分布，但是并不清楚其中的参数具体为多少。为了估计出这个参数的值，我们进行多次试验，最后根据试验的结果估计出参数的值。
接下来，我们对极大似然估计进行理论上的分析。

Likelihood Function

首先，我们假设 $X_1,...,X_n$ 是独立同分布随机变量，概率密度函数为为 $f(x;\theta )$，$\theta \in \Omega$. 那么似然方程可以表示为，$$L(\theta ;\mathbf{x})=\prod _{i=1}^{n}f(x_i;\theta ),\theta \in \Omega$$方程中 $\mathbf{x}=(x_1,...,x_n{)}^{\prime }$。因为 $L$ 是关于 $\theta$ 的函数，所以我们也可以表示为 $L(\theta )$。此函数的对数，其实更为常用，于是我们定义对数似然方程，
$$l(\theta )=\log L(\theta )=\sum _{i=1}^n\log f(x_i;\theta ),\theta \in \Omega$$

Regularity Conditions

定义${\theta }_0$ 表示为参数 $\theta$ 真正的值。现在我们进行一些假设，这些假设通常称为 Regularity Conditions，
$\mathbf{R}0$：概率密度函数是唯一的。这意味着，$\theta \ne {\theta }^{\prime }\Rightarrow f(x_i;\theta )\ne f(x_i;{\theta }^{\prime })$。
$\mathbf{R}1$：概率密度函数满足所有$\theta$。
$\mathbf{R}2$：$\Omega$包含$\theta$。
根据这三条假设，我们可以定义 MLE。

Maximum Likelihood Estimation

Principle

定理 6.1.1：令 ${\theta }_0$ 是参数真实值，在假设（R0）-（R2）下，
$$\underset{n\to \infty }{\lim }{P}_{{\theta }_0}[L({\theta }_0,\mathbf{X})>L(\theta ,\mathbf{X})]=1,forall\theta \ne {\theta }_0$$定理6.1.1表明了渐近似然函数在真实值 ${\theta }_0$ 处最大。所以我们接下来可以很自然的考虑可以最大化似然函数的 $\theta$。

定义 6.1.1：如果$$\hat{\theta }=ArgmaxL(\theta ;\mathbf{X})$$那么我们称 $\hat{\theta }=\hat{\theta }(\mathbf{X})$ 是 $\theta$ 的极大似然估计。

我们想要求解使方程最大的 $\theta$ 值，就是使导数为0，
$$l^{\prime }(\theta ;x)=\frac{1}{n}\sum _{i=1}^n\frac{\partial \log f(x_i;\theta )}{\partial \theta }=0$$然而实际上我们不能确定极大似然估计一定存在，或者只有唯一解。

Consistency of the MLE

定理 6.1.3：令 ${\theta }_0$ 是参数真实值，且 $X_1,...,X_n$ 满足（R0）-（R2）。同时 $f(x;\theta )$ 对 $\theta \in \Omega$ 可微。那么似然方程,
$$\frac{\partial }{\partial \theta }L(\theta )=0or\frac{\partial }{\partial \theta }l(\theta )=0$$的解 ${\hat{\theta }}_n$与${\theta }_0$一致，${\hat{\theta }}_n\stackrel{P}{\to }{\theta }_0$。

Additional Regularity Conditions

在其他规则条件下，MLE是渐近正态分布的。 接下来，我们了解一下这些假设。
$\mathbf{R}3/5$：概率密度函数 $f(x;\theta )$可对$\theta$三次微分。进一步讲，对于所有的 $\theta \in \Omega$, 存在一个常数 $c$，和一个随机变量 $M(x)$，$E_{{\theta }_0}[M(X)]<\infty$，有
$$|\frac{{\partial }^3}{\partial {\theta }^3}\log f(x;\theta )|\le M(x)forall{\theta }_0-c<\theta <{\theta }_0+c$$$\mathbf{R}4$：积分 $\int f(x;\theta )dx$ 可以对 $\theta$ 二次微分。

Asymptotic normality

定理 6.2.2：在上述所有假设下，且 $Var[\frac{\partial \log f(X;\theta )}{\partial \theta }]<\infty$，则$$\sqrt{n}(\hat{\theta }-\theta )\stackrel{D}{\to }N\left(0,\frac{1}{Var{\left[\frac{\partial \log f(X;\theta )}{\partial \theta }\right]}^{1/2}}\right)$$渐进方差为$$\frac{1}{nVar\left[\frac{\partial \log f(X;\theta )}{\partial \theta }\right]}$$
证明：
现在我们考虑 $l^{\prime }(\hat{\theta })$ 在 ${\theta }_0$ 的二阶泰勒展开
$$l^{\prime }(\hat{\theta })=l^{\prime }({\theta }_0)+(\hat{\theta }-\theta )l^{\prime \prime }({\theta }_0)+\frac{1}{2}(\hat{\theta }-\theta )l^{\prime \prime \prime }({\theta }^{\ast }))$$${\theta }^{\ast }$ 是在 ${\theta }_0$和$\hat{\theta }$中间的一个随机变量。

根据定义 $l^{\prime }(\hat{\theta })=0$，所以$\begin{array}{rl}0& =l^{\prime }({\theta }_0)+(\hat{\theta }-\theta )l^{\prime \prime }({\theta }_0)+\frac{1}{2}(\hat{\theta }-\theta )l^{\prime \prime \prime }({\theta }^{\ast }))\\ -l^{\prime }({\theta }_0)& =(\hat{\theta }-\theta )\left(l^{\prime \prime }({\theta }_0)+\frac{1}{2}(\hat{\theta }-\theta )l^{\prime \prime \prime }({\theta }^{\ast })\right)\\ (\hat{\theta }-\theta )& =\frac{l^{\prime }({\theta }_0)}{-l^{\prime \prime }({\theta }_0)-\frac{1}{2}(\hat{\theta }-\theta )l^{\prime \prime \prime }({\theta }^{\ast })}\\ \sqrt{n}(\hat{\theta }-\theta )& =\sqrt{n}\frac{l^{\prime }({\theta }_0)}{-l^{\prime \prime }({\theta }_0)-\frac{1}{2}(\hat{\theta }-\theta )l^{\prime \prime \prime }({\theta }^{\ast })}\\ & =\frac{\frac{1}{\sqrt{n}}{l}^{\prime }({\theta }_0)}{-\frac{1}{n}{l}^{\prime \prime }({\theta }_0)-\frac{1}{2n}(\hat{\theta }-\theta )l^{\prime \prime \prime }({\theta }^{\ast })}\\ & =\frac{A_n}{B_n+C_n}\end{array}$

现在我们分别考虑 $A_n,B_n,C_n$。

$A_n=\frac{1}{\sqrt{n}}{l}^{\prime }({\theta }_0)=\frac{1}{\sqrt{n}}\sum _{i=1}^n\frac{\partial \log f(x_i;{\theta }_0)}{\partial {\theta }_0}$
$\begin{array}{rl}\because & \int f(x;\theta )dx=1\\ & \frac{\partial }{\partial \theta }\int f(x;\theta )dx=\int \frac{\partial }{\partial \theta }f(x;\theta )dx=0\\ \therefore & \int \frac{\partial }{\partial \theta }f(x;\theta )dx=\int \frac{\frac{\partial }{\partial \theta }f(x;\theta )}{f(x;\theta )}dx=E\left[\frac{\partial }{\partial \theta \log f(X;\theta )}\right]\end{array}$
因此，由CLT可得
$$A_n\stackrel{D}{\to }N\left(0,Var\left[\frac{\partial \log f(X;\theta )}{\partial \theta }\right]\right)$$

现在我们考虑 $B_n$：
$B_n=-\frac{1}{n}{l}^{\prime \prime }({\theta }_0)=-\frac{1}{n}\sum _{i=1}^n\frac{{\partial }^2\log f(x_i;{\theta }_0)}{\partial {\theta }_0^2}$
由大数定律得，
$$B_n\stackrel{P}{\to }-E\left[\frac{{\partial }^2\log f(X;{\theta }_0)}{\partial {\theta }_0^2}\right]=Var\left[\frac{\partial \log f(X;{\theta }_0)}{\partial {\theta }_0}\right]$$
最后，我们要证明 $C_n$ 是渐进可忽略的。
因为 $\hat{\theta }$ 的一致性，并且如果 $\frac{1}{n}{l}^{\prime \prime \prime }({\theta }^{\ast })$ 概率有界。那么我们认为 $C_n=op(1)$。$$B_n+C_n=Var\left[\frac{\partial \log f(X;{\theta }_0)}{\partial {\theta }_0}\right]+op(1)$$最后由Slutsky’s lemma，可得
$$\begin{array}{rl}\sqrt{n}(\hat{\theta }-\theta )& =\frac{1}{Var\left[\frac{\partial \log f(X;{\theta }_0)}{\partial {\theta }_0}\right]+op(1)}\frac{1}{\sqrt{n}}\sum _{i=1}^n\frac{\partial \log f(x_i,{\theta }_0)}{\partial {\theta }_0}\\ & \stackrel{D}{\to }N\left(0,\frac{1}{Var{\left[\frac{\partial \log f(X;{\theta }_0)}{\partial {\theta }_0}\right]}^{1/2}}\right)\end{array}$$
其中 $Var\left[\frac{\partial \log f(X;{\theta }_0)}{\partial {\theta }_0}\right]$ 叫作 Fisher information。MLE的渐进方差是一个理论值，我们需要针对实际使用情况进行估算（例如，构建置信区间和假设检验）。