最大似然估计及估计量的无偏性

1 数理统计基本概念

1.1 总体 $X$

  总体是指与所研究的问题有关的对象(个体)的全部所构成的集合。在数理统计中，总体就是一个服从某概率分布的随机变量$X$，其概率分布称为总体分布，其数字特征称之为总体数字特征。

1.2 简单随机样本

  样本是按照一定的规则从总体中抽样出来的一部分个体，所谓“按照一定的规则”是指总体中的每一个个体均有同等被抽出的机会。也可以说$N$个独立且与总体$X$同分布的随机变量$X_1,X_2,\cdots ,X_N$为来自总体$X$的容量为$N$的简单随机样本，他们的观察值$x_1,x_2,\cdots ,x_N$称为样本值。也可以将样本看成一个随机变量，写成$(X_1,X_2,\cdots ,X_N)$，此时样本观察值写成$(x_1,x_2,\cdots ,x_N)$。
【注】样本的性质：

• 样本是独立同分布的；
• 样本$(X_1,X_2,\cdots ,X_N)$为$N$维随机变量，在具体的一次观测或实验中，得到样本的一组数值$x_1,x_2,\cdots ,x_N$，称为样本的观察值或样本值。有时为便于区分，将样本的观察值记为$(x_1,x_2,\cdots ,x_N)$，即可以理解为在抽样之前或理论研究时，$(X_1,X_2,\cdots ,X_N)$为$N$维随机变量；在抽样之后或实际应用时，$(x_1,x_2,\cdots ,x_N)$为观察值。

1.3 统计量

  样本$X_1,X_2,\cdots ,X_N$的不含总体任何未知参数的函数$g(X_1,X_2,\cdots ,X_N)$称为统计量。
常见的统计量：
$$样本均值：\overline{X}=\frac{1}{N}\sum _{i=1}^N{X}_i$$ $$样本方差：S^2=\frac{1}{N-1}\sum _{i=1}^N(X_i-\overline{X}{)}^2=\frac{1}{N-1}\sum _{i=1}^N(X_i^2-N\overline{X})$$

1.4 样本均值与总体均值、样本方差与总体方差

  在之前的学习中，求均值一般用的都是将所有元素个数相加，然后除以个数，来求平均值。即：$$\overline{X}=\frac{1}{N}\sum _{i=1}^N{X}_i$$ 而总体均值，不仅考虑到元素和的平均，还考虑到了该元素值的分布率(即该值出现的概率)，更具有统计行。总体均值又被称之为数学期望，记作$E(X)={\sum }_{i=1}^N{x}_i{p}_i$。那什么时候样本均值与总体均值相等呢！根据定义我们大概可以等到两种情况下是相等的。
（1）元素值出现的概率都是等可能的，这样考不考虑都一样了。所以在古典概型中，样本均值往往等于总体均值。如：投硬币，置筛子。
（2）在要考虑元素出现概率的情况下，选取样本的个数非常接近以至于等于总体的个数，那么样本均值与总体均值描述的就是一个对象了，这样二者自然就相等了。其实，这一条就是大数定律率的内容(详细请参考概率论与数理统计任何一本即可)。

  下面是方差，方差是用来计算变量与均值之间的差异。如果这个均值采用的是总体均值$\mu$(数学期望)，则结果为总体方差${\sigma }^2=\frac{1}{N}{\sum }_{i=1}^N(X_i-\mu {)}^2$；但是，如果这个均值采用的是样本均值$\overline{X}$，样本方差$S^2=\frac{1}{N}{\sum }_{i=1}^N(X_i-\overline{X}{)}^2$，样本方差定义成这样是有偏差的，这不是真正的样本方差。为了纠正这个偏量，将样本方差定义为：$S^2=\frac{1}{N-1}{\sum }_{i=1}^N(X_i-\overline{X}{)}^2$，具体为什么样本方差除以$N-1$而不是$N$，下面最大似然求高斯分布估计量的时候会说明。在这里也可以看出，是跟均值有关系，由于样本均值与总体均值的不一致导致的偏差。

2 最大似然估计

  极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计，是求估计的另一种方法，最大概似是1821年首先由德国数学家高斯（C. F. Gauss）提出。

2.1 分布率与概率密度函数

  概率分布，是指用于表述随机变量取值的概率规律，即随机变量的可能取值及取得对应值的概率。对于离散性的随机变量的分布率记为 $p(x)$；连续型随机变量的概率密度函数记为 $f(x)$，本质上是一个东西，只是一个是离散的一个是连续的。以含有参数的分布率或概率密度为例，形式上表示为：$f(x;\theta )=p(x;\theta )=p(x,\theta )=p(x|\theta )$，在机器学习中，这些表示都是一个意思，都表示在含有参数 $\theta$ 的情况下，$x$ 的概率。

2.2 似然函数

  样本 $X_1,X_2,\dots ,X_N$ 取到观察值 $x_1,x_2,\dots ,x_N$ 的概率 $L(\theta )$，称为似然函数。

• 若总体 $X$ 为离散型，且分布律 $P(X=x)=p(x;\theta )$，则似然函数 $L(\theta )=P(X_1=x_1,X_2=x_2,\dots ,X_N=x_N,)={\prod }_{i=1}^{N}p(X_i=x_i)={\prod }_{i=1}^{N}p(x_i;\theta )$；
• 若总体 $X$ 为连续型，且概率密度函数为 $f(x)=f(x;\theta )$，由于$P(x=x_i)=0$，则考虑 $X$ 落在点 $x_i$ 的某一领域 $U(x_i)$ 内的概率，$P(X_1\in U(x_1)，X_2\in U(x_{1}2)，\dots ，X_N\in U(x_N))=f(x_1;\theta )d{x}_{1}f(x_2;\theta )d{x}_2\dots f(x_N;\theta )d{x}_N={\prod }_{i=1}^{N}f(x_i;\theta )$，取似然函数 $L(\theta )={\prod }_{i=1}^{N}f(x_i;\theta )$

2.3 最大似然的目的

  在位置参数 $\theta$ 的取值范围内求 $\hat{\theta }$，使$L(\hat{\theta })=maxL(\theta )$，即 $\theta$ 的最大似然估计 $\hat{\theta }$ 为似然估计 $L(\theta )$ 的最大值点。

2.4 最大似然求解步骤

第一步：写出似然函数 $L(\theta )$，并取对数 $log$，对数可以以 $2$ 为底也可以以 $e$为 底；
第二步：令 $\frac{dlogL(\theta )}{d\theta }=0$ 或 $\frac{\partial logL({\theta }_1,{\theta }_2)}{\partial {\theta }_i}=0(i=1,2)$，建立方程（组）。若从中解的唯一驻点 $\hat{\theta }=\hat{\theta }(X_1,X_2,\dots ,X_N)$ 或 $\hat{\theta }=({\hat{\theta }}_1,{\hat{\theta }}_2)=({\hat{\theta }}_1(X_1,X_2,\dots ,X_N),{\hat{\theta }}_2(X_1,X_2,\dots ,X_N))$，则 $\hat{\theta }$为$\theta$ 的最大似然估计；
第三步：若上述方程无解，则$L(\theta )$ 为 $\theta$ 或 ${\theta }_1,{\theta }_2$ 的单调函数，$\hat{\theta }$ 在端点或边界上取得，需要根据具体情况具体分析。

2.5 最大似然估计的不变性

  设 $\hat{\theta }$ 是未知参数 $\theta$ 的最大似然估计量，对于 $\theta$ 的函数 $g(\theta )$，如果 $g(\theta )$ 具有单值反函数，则 $g(\hat{\theta })$ 是 $g(\theta )$ 的最大似然估计量。例如，均值位置的正太总体 $N(\mu ,{\sigma }^2)$ 的方差 ${\sigma }^2$ 的最大似然估计量为 ${\hat{\sigma }}^2=\frac{1}{N}{\sum }_{i=1}^N(X_i-\overline{X}{)}^2$，则总体标准差 $\sigma$ 的最大似然估计为 $\sigma =\sqrt{\frac{1}{N}{\sum }_{i=1}^N(X_i-\overline{X}{)}^2}$。

2.6 最大似然估计量的评选标准

2.6.1 无偏性

  设 $\hat{\theta }$ 为 $\theta$ 的估计量，若$E(\hat{\theta })=\theta$，就称$\hat{\theta }$为$\theta$的无偏估计，否则称为有偏估计。若${\lim }_{N\to \infty }E(\hat{\theta })=\theta$，就称$\hat{\theta }$为$\theta$的渐近无偏估计。
  常用结论：

• $\overline{X}$是$E(X)=\mu$的无偏估计，即$E(\overline{X})=E(X)=\mu$；
• $S^2$是$D(X)={\sigma }^2$的无偏估计，即$E(S^2)=D(X)={\sigma }^2$；
• 设估计量${\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_N,$均为$\theta$的无偏估计量，$c_1,c_2,\cdots ,c_N$为常数，且${\sum }_{i=1}^N{c}_i=1$，则$c_1{\hat{\theta }}_1,c_2{\hat{\theta }}_2,\cdots ,c_N{\hat{\theta }}_N$仍为$\theta$的无偏估计。

【注】若$\hat{\theta }$为$\theta$的无偏估计，则$g(\hat{\theta })$未必是$g(\theta )$的无偏估计。

2.6.2 有效性

  设${\hat{\theta }}_1,{\hat{\theta }}_2$均为$\theta$的无偏估计，若$D({\hat{\theta }}_1)<D({\hat{\theta }}_2)$，就称${\hat{\theta }}_1$比${\hat{\theta }}_2$更有效。总之，期望相同比方差。

2.6.3 一致性(相合性)

  若对$\forall \epsilon >0$，有${\lim }_{N\to \infty }P\left\{|\hat{\theta }-\theta |<\epsilon \right\}=1$，就称$\hat{\theta }$为$\theta$的一致估计量或相合估计量。

3 一维高斯分布

3.1 一维高斯分布概率密度函数

一维高斯分布(正态分布)函数：$$f(x|\mu ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$ 或者这种写法 $$f(x|\mu ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right\}$$
高斯分布图像，以 $\mu =4,\sigma =1$ 为例：

3.1 一维高斯分布最大似然估计以及检测估计量的无偏性

题目 ：设总体$X\sim N(\mu ,{\sigma }^2),(X_1,X_2,\cdots ,X_N)$为来自总体$X$的样本。
（1）如果${\sigma }^2$已知，$\mu$未知，求$\mu$的最大似然估计量$\hat{\mu }$。
（2）如果$\mu$已知，${\sigma }^2$未知，求${\sigma }^2$的最大似然估计量${\hat{\sigma }}^2$。
（3）如果$\mu$，${\sigma }^2$均未知，求$\mu$，${\sigma }^2$的最f大似然估计量$\hat{\mu }$，${\hat{\sigma }}^2$。

分析：
样本数据 $Data:$ $$X=\left(\begin{array}{c}{x}_1,x_2,\cdots ,x_N\end{array}\right)={\left(\begin{array}{c}{x}_1^p\\ x_2^p\\ ⋮\\ x_N^p\end{array}\right)}_{N\times p},x_i\in {\mathbb{R}}^p,x_i\stackrel{iid}{\sim }N(\mu ,{\sigma }^2)$$ 目标函数$Goal:$ 求最大似然估计。为了方便表示函数，用参数 $\theta$ 表示参数 $(\mu ,\sigma )$ $$MLE:\hat{\theta }=arg\underset{\theta }{\max }lnL(X|\mu ,\sigma )$$ 【注】因为高斯分布的概率密度中有以 $e$ 为底的指数函数，为了方便计算。所以这里的对数似然函数选取以 $e$ 为底的 $ln$。

解：
（1）设$x_1,x_2,\cdots ,x_N$为样本的观测值，由于${\sigma }^2$已知，$\mu$未知，似然函数为：$$\begin{array}{rl}L(X|\mu )& =\prod _{i=1}^{N}p(x_i|\mu )\\ & =\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right\}\end{array}$$ 似然函数取对数： $$\begin{array}{rl}lnL(X|\mu )& =ln\prod _{i=1}^{N}p(x_i|\mu )\\ & =ln\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right\}\\ & =-\frac{N}{2}ln(2\pi )-Nln\sigma -\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x_i-\mu {)}^2\end{array}$$ 对数似然取导数：$$\frac{dlnL(X|\mu )}{d\mu }=\sum _{i=1}^N\frac{1}{{\sigma }^2}(x_i-\mu )=0$$ $$\sum _{i=1}^N(x_i-\mu )=0$$ $$\sum _{i=1}^N{x}_i-N\mu =0$$ $$\hat{\mu }=\frac{1}{N}\sum _{i=1}^N{X}_i=\overline{X}(发现结果为样本均值)$$ 从结果中可以看出，$\mu$的最大似然估计量，只受样本值的影响。从定义的角度证明：$$E[\hat{\mu }]=E[\frac{1}{N}\sum _{i=1}^N{X}_i]=\frac{1}{N}\sum _{i=1}^{N}E[X_i]=\frac{1}{N}N\mu =\mu$$即，$\hat{\mu }$为$\mu$的无偏估计量。

（2）设$x_1,x_2,\cdots ,x_N$为样本的观测值，由于$\mu$已知，${\sigma }^2$未知，似然函数为：$$\begin{array}{rl}L(X|{\sigma }^2)& =\prod _{i=1}^{N}p(x_i|{\sigma }^2)\\ & =\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right\}\end{array}$$ 似然函数取对数： $$\begin{array}{rl}lnL(X|{\sigma }^2)& =ln\prod _{i=1}^{N}p(x_i|{\sigma }^2)\\ & =ln\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right\}\\ & =-\frac{N}{2}ln(2\pi )-\frac{N}{2}ln({\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x_i-\mu {)}^2\end{array}$$ 对数似然取导数：$$\frac{dlnL(X|{\sigma }^2)}{d{\sigma }^2}=\sum _{i=1}^N\frac{1}{{\sigma }^2}(x_i-\mu )=0$$$$-\frac{N}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum _{i=1}^N(x_i-\mu {)}^2=0$$ $${\hat{\sigma }}^2=\frac{1}{N}\sum _{i=1}^N(X_i-\mu {)}^2$$ 从结果中可以看出，${\hat{\sigma }}^2$受到样本值以及均值$\mu$的影响，但是题目中已经说明，$\mu$是已知条件，所以这里的$\mu$就是已知的总体均值，所以本质上${\hat{\sigma }}^2$也仅受样本值的影响。从定义的角度证明： $$\begin{array}{rl}E[{\hat{\sigma }}^2]& =E[\frac{1}{N}\sum _{i=1}^N(X_i-\mu {)}^2]\\ & =E[\frac{1}{N}\sum _{i=1}^N{X}_i^2-\frac{1}{N}\sum _{i=1}^{N}2X_i\mu +\frac{1}{N}\sum _{i=1}^N{\mu }^2]\\ & =E[\frac{1}{N}\sum _{i=1}^N{X}_i^2-2{\mu }^2+{\mu }^2]\\ & =E[(\frac{1}{N}\sum _{i=1}^N{X}_i^2-{\mu }^2)]\\ & =\frac{1}{N}\sum _{i=1}^N(E(X_i^2)-E^2(X_i))\\ & =D(X_i)\\ & ={\sigma }^2\end{array}$$ 即${\hat{\sigma }}^2$为${\sigma }^2$的无偏估计。

（3）设$x_1,x_2,\cdots ,x_N$为样本的观值，$\mu$，${\sigma }^2$均未知，似然函数为：$$\begin{array}{rl}L(X|\mu ,{\sigma }^2)& =\prod _{i=1}^{N}p(x_i|\mu ,{\sigma }^2)\\ & =\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right\}\end{array}$$ 似然函数取对数：$$\begin{array}{rl}lnL(X|\mu ,{\sigma }^2)& =ln\prod _{i=1}^{N}p(x_i|{\sigma }^2)\\ & =ln\prod _{i=1}^N\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right\}\\ & =-\frac{N}{2}ln(2\pi )-\frac{N}{2}ln({\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x_i-\mu {)}^2\end{array}$$ 分别对$\mu$与${\sigma }^2$取偏导：$$\frac{\partial lnL(X|\mu ,{\sigma }^2)}{\partial \mu }=\sum _{i=1}^N\frac{1}{{\sigma }^2}(x_i-\mu )=0$$ $$\sum _{i=1}^N(x_i-\mu )=0$$ $$\hat{\mu }=\frac{1}{N}\sum _{i=1}^N{X}_i=\overline{X}$$ $$\frac{\partial lnL(X|\mu ,{\sigma }^2)}{\partial {\sigma }^2}=-\frac{N}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum _{i=1}^N(x_i-\mu {)}^2=0$$ $$-N+\frac{1}{{\sigma }^2}\sum _{i=1}^N(x_i-\mu {)}^2=0$$ $${\hat{\sigma }}^2=\frac{1}{N}\sum _{i=1}^N(X_i-\hat{\mu }{)}^2=\frac{1}{N}\sum _{i=1}^N(X_i-\overline{X}{)}^2$$
在下面的无偏性检验中，可以发现$\hat{\mu }$为无偏性估计，而${\hat{\sigma }}^2$为有偏性估计。因为求高斯分布时，参数$\mu ,{\sigma }^2$都是未知的，而求$\hat{\mu }$时，不需要依赖未知参数${\sigma }^2$(计算时被约去了)；而计算${\hat{\sigma }}^2$时，需要依赖$\mu$，但是$\mu$也未知，所以只能用已计算出来的$\hat{\mu }$代替，而不是真正的总体均值$\mu$，这就是有偏的原因。根据定义证明：
（a）检测估计量$\hat{\mu }$的无偏性$$E[\hat{\mu }]=E[\overline{X}]=E[\frac{1}{N}\sum _{i=1}^N{X}_i]=\frac{1}{N}\sum _{i=1}^{N}E[X_i]=\frac{1}{N}N\mu =\mu$$ 即$\hat{\mu }$为$\mu$的无偏估计。
（b）检测估计量$\widehat{{\sigma }^2}$的无偏估计，且需要明确一些条件： $$估计量\hat{\mu }的方差：D(\hat{\mu })=D(\overline{X})=D(\frac{1}{N}\sum _{i=1}^N{X}_i)=\frac{1}{N^2}\sum _{i=1}^{N}D(X_i)=\frac{1}{N^2}N{\sigma }^2=\frac{{\sigma }^2}{N}$$ $$总体方差：D(X_i)={\sigma }^2=\frac{1}{N}\sum _{i=1}^N(X_i-\mu {)}^2$$ $$\begin{array}{rl}E[{\hat{\sigma }}^2]& =E[\frac{1}{N}\sum _{i=1}^N(X_i-\overline{X}{)}^2]\\ & =E[\frac{1}{N}\sum _{i=1}^N{X}_i^2-\frac{1}{N}\sum _{i=1}^{N}2X_i\overline{X}+\frac{1}{N}\sum _{i=1}^N{\overline{X}}^2]\\ & =E[\frac{1}{N}\sum _{i=1}^N{X}_i^2-2{\overline{X}}^2+{\overline{X}}^2]\\ & =E[(\frac{1}{N}\sum _{i=1}^N{X}_i^2-{\mu }^2)-({\overline{X}}^2-{\mu }^2)]\\ & =E[\frac{1}{N}\sum _{i=1}^N(X_i^2-{\mu }^2)]-E({\overline{X}}^2-{\mu }^2)\\ & =\frac{1}{N}\sum _{i=1}^N(E(X_i^2)-E^2(X_i))-(E({\overline{X}}^2)-E^2(\overline{X}))\\ & =D(X_i)-D(\overline{X})\\ & ={\sigma }^2-\frac{{\sigma }^2}{N}\\ & =\frac{N-1}{N}{\sigma }^2\end{array}$$ 显然，所求结果$E({\hat{\sigma }}^2)$不等于${\sigma }^2$，${\hat{\sigma }}^2$为有偏估计，既然有偏就需要纠偏，样本的方差该如何表示呢？根据结果，看出偏移的部分是系数$\frac{N-1}{N}$，那就在原方程的基础上乘以系数的倒数$\frac{N}{N-1}$，将系数部分抵消掉，这样结果就只剩${\sigma }^2$了，就是无偏估计了。则无偏的样本方差$S^2$定义为：$$S^2=\frac{N}{N-1}\frac{1}{N}\sum _{i=1}^N(X_i-\overline{X}{)}^2=\frac{1}{N-1}\sum _{i=1}^N(X_i-\overline{X}{)}^2=\frac{1}{N-1}\sum _{i=1}^N(X_i^2-N\overline{X})$$

参考：浙大版概率论与数理统计