极大似然函数求解_快速理解极大似然法

极大似然法( maximum likelihood estimation，MLE )是概率统计中估算模型参数的一种很经典和重要的方法，贯穿了机器学习中生成模型(Generative model)这一大分支的始终。有一定基础的同学肯定会知道与之对立的还有另一分支判别模型(Discriminative model)。然而，今天不细说这两个模型，而是用自己的理解来谈谈极大似然法。

极大似然法是用来干嘛的？

简单地说，就是估测概率模型中的参数。比如求如下高斯概率分布模型中的

和

。

极大似然法使用的前提条件

用它，需两个条件：一个参数未知的概率分布模型。比如刚刚说的

，它的形状一般如图1。然而由于参数未定，它的具体形状可能千差万别，如图2。图1 参数未知的高斯模型

图2 不同参数下高斯分布的形状

2. 一坨由该模型生成的样本点(

)。你可以把该模型当成一个黑盒子，它不断蹦出一系列样本点，然后你记录起来。没错，这就是采样。如图3，粉红色的曲线是女的身高模型，蓝色是男的。横坐标的蓝色点就是采样点，相信你由样本点就能轻易看出它们是由蓝色那个曲线模型生成的(男的)。极大似然法，也会用它的方式" 看 "出来。图3 采样点示例

似然函数

似然函数就是根据上面两个前提条件得到的。一言以蔽之，将那

个样本点一个个代入未知参数的模型，然后将它们相乘即可得到似然函数。同样以高斯模型为例子，似然函数为：

最接近真实模型的

和

会让

的值很大。这句话有两种直觉的理解方法：模型容易产生大概率的样本点，小概率的样本点一般不怎么出现，所以这些样本点所对应的概率值总体是很大的，也就是它们相乘起来理应是一个很大的值。因此在

和

的海洋中，我们需要挑出那个能使这个概率最大的参数对，这样的模型才是最契合这些样本点的，才是最有可能由该模型产生的。

也可以参照图3理解。可以在脑中想象，各种高矮胖瘦的高斯曲线遍布在图中不同位置。然而最有可能产生x轴上蓝色圈圈的那些采样点的肯定是其上方的那个胖度刚好的高斯函数，也就是蓝色那个。当是蓝色曲线模型时，样本点的概率相乘起来是最大的。

简单地说，我们的目标是求解出：

argmax的含义就是求解出让L最大的参数。

给似然函数化个妆

公式(1)实在长得太丑了，一坨相乘，实在不方便处理。由于是求最大， 所以可以给似然函数等价地加

，就可以由相乘变为相加：

求解最优参数

求解就一句话，求导置0，解方程组。

求解细节不说了，思想打通了就行。

(完)

知乎缺少字体颜色等关键功能，享受更好的文章阅读体验请关注微信订阅号“又谈又证”：