极大似然估计法（Maximum likelihood estimation, MLE）

极大似然估计法（Maximum likelihood estimation, MLE），是一种用来估计概率模型参数的方法。

例子 [1]

假设有一个不透明的袋子里装着3个球，每个球要么是红色要么是蓝色，这是我能知道的所有信息。现在我有机会可以有放回地从袋中抽取4次球，每一次抽取出来的球的颜色是一个随机变量，我们用   (i=1,2,3,4) 来表示每一次抽出的球的颜色，并且定义:

                                                                  

令表示袋中蓝球的数目，则可能的值为0，1，2，3。我们还可以知道的是随机变量  独立同分布（i,i,d），并且服从伯努利分布，即。我们现在要做的是根据观察到的抽样结果来估计这个分布的参数，即。假设我们抽取4次观察到的结果分别是，即我观察到了3次蓝球，1次红球。那么我们怎么来根据这个观察结果估计总体的分布参数呢？思路如下

首先，对于每一个可能的参数，我们计算出在这个参数下，出现该观察结果的概率。

然后，我们找到那个使得出现该观察结果概率最大的那个参数，即我们所要求的参数。

因此，极大似然估计的思想就是通过观察到的样本去反推总体的参数，并找到最有可能出现观察样本的参数。

由于，因此

                                                      

又由于 独立同分布（i,i,d），因此观察结果的联合概率可写成

                                    

所以，，这个式子我们也称之为似然函数。

接着，我们计算每一个对应的参数下，出现观察结果(1,0,1,1)的概率，如下

0	0
1	0.0247
2	0.0988
3	0

我们从上表可以找到使得最大的=2，因此为我们对参数的估计。

 

 

 

参考资料

[1] https://www.probabilitycourse.com/chapter8/8_2_3_max_likelihood_estimation.php