最大似然估计（MLE）

1、前言

MLE：MVU估计量的一种替代形式。在MVU估计量不存在或者存在但无法求解情况下，MLE十分有效。它是居于最大似然原理的估计，是最通用的获取实用估计的一种方法。

MLE的特点：当观测数据足够多时，其性能是最优的，特别是它的近似率极高，因此非常接近MVU估计量。其近似的本质就是对足够多的数据记录，MLE具有渐进有效性（即可达CRLB）。

标量参数的MLE定义：对于固定的 x，使  最大的  值，最大化是在  允许的范围内求取的。

MLE原理：对某个给定  ，x 落在一个小区域的概率是  。

2、MIL性质

MLE对足够多的数据记录，该估计量是无偏的，有效的（可达到CRLB），并且具有高斯PDF。

即对MLE估计量的分布可表示为 ( ‘~ ’ 表示渐进分布于)

                                                          

这个性质构成了MLE准最佳性的基础，但是存在一个问题：预先很难知道，数据量 N 取多大才使得性质成立。

3、MLE的渐进特性

若数据 x 的PDF  满足某些“正则”条件，那么对足够多的数据，未知参数  的MLE服从

                                                          

 是Fish信息。Fish的意义和定义：https://www.zhihu.com/question/26561604

此处正则条件：i>要求对数似然函数的导数存在；ii>要求Fish信息不为零。

4、变换参数的MLE

有些请况下，更希望估计  的一个函数，比如像  这样的。不过需要注意以下两点

1）如果参数  ， 与  是一一映射的，则可由  的反函数   带入 得到似然函数的最大来求得  的估计。

2）如果参数  ， 与  不是一一映射的，则将所有可能的  带入 ，然后在对应的  的取值范围下，求取使  最大的  的估计。

由这两点可以总结得到MLE的不变性：参数  的MLE由下面的公式给出（其中PDF是  的函数）

           与  是一一对应的：                                  

           与  不是一一对应的：           取使  最大的估计值  （注意配合 的取值范围进行估计）

5、求MLE的方法

1）一般方法

         求总样本的似然函数  ，也可以进一步表示成对数似然形式  ；然后对对数似然PDF求估计参数的偏导   ，并令其等于零来求取MLE估计  。注意： 若 这样求取的  不再  范围内时，那么在  的允许范围区间取找  使 或者  最大即可。

2）特殊方法（一般用于无法直接求解  的请况）

        i> Newton-Raphson方法（迭代法）

首先令                                             

然后对  的解进行一个初始猜测值  。假设  在  附近是近似线性的，则  近似表示为

                                             

随后由利用这个式子求解零值所对应的  ， 为

                                                           

重复上面过程：用  作  的线性化点，不断求新的零值点。 新点的迭代求取公式如下

                                                         

最终将  带入迭代公式中得到MLE表达

                                           

    Remark：迭代可能不收敛；即使迭代收敛，求得的值可能不是全局最大的（解决方法：最好采取多个起始点迭代）。

 

        ii> 得分法（迭代法）

该方法考虑到MLE是MVU估计量，具有有效性，达到CRLB。则可以近似将N-R迭代法中的二阶导换掉

                                                          

即最终迭代的MLE表达

                                                    

    Remmark：存在与N-R迭代法一样的收敛问题。

6、线性模型的最佳MLE

如果观测到数据的 x 可由一般线性模型表示为

                                                         

H——是N×p（秩为p，N>p）矩阵；——p×1的参数矢量；W——其PDF为N(0, C)的噪声矢量

那么  的MLE为

                                             

注意  是一个有效的估计量，它达到了CRLB，故它是MVU估计量，  的PDF为