【最大似然估计】详解概率论之最大似然估计

• 本文收录于《深入浅出讲解自然语言处理》专栏，此专栏聚焦于自然语言处理领域的各大经典算法，将持续更新，欢迎大家订阅！
• ​​个人主页：有梦想的程序星空
• ​​个人介绍：小编是人工智能领域硕士，全栈工程师，深耕Flask后端开发、数据挖掘、NLP、Android开发、自动化等领域，有较丰富的软件系统、人工智能算法服务的研究和开发经验。
• ​​如果文章对你有帮助，欢迎​​关注、​​点赞、​​收藏、​​订阅。

1、概率密度函数

概率密度函数（Probability Density Functions，简称PDF），概率密度函数是概率论里面最重要的概念之一。

定义：设​为一随机变量，若存在非负实函数​，使对任意实数​，有：

​则称​为连续随机变量，​称为​的概率密度函数，简称概率密度或密度函数。

概率密度函数具有如下性质：

（1）非负性：​

（2）规范性：​

​条件概率密度函数：对于任意给定的​，在给定区间​内，条件概率密度函数​都有如下公式成立：

​2、分布函数

连续型随机变量的分布函数：设​为连续型随机变量，其密度函数为​，则有：

​对上式两端关于​求导：

​任何随机变量都有相应的分布函数。

​的几何意义如下：

​密度函数与分布函数的关系：

（1）积分关系：​

（2）导数关系：若​在​处连续，​。

3、似然函数

似然函数是一种关于统计模型中的参数的函数，表示模型参数的似然性。似然函数是给定联合样本值关于（未知）参数的函数：

是一个密度函数，表示下关于联合样本值的联合密度函数。

假如连续型随机变量的概率密度函数为，样本集上有个样本，则上的似然函数为：

 

4、最大似然估计的原理

最大似然估计(Maximum Likelihood Estimation，简称MLE)。它是机器学习中常用的一种参数估计方法。它提供了一种给定观测数据来评估模型参数的方法。也就是模型已知，参数未定。利用已知样本结果（统计概率）反推最有可能导致这样结果的参数值。

最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。

首先假设为独立同分布的采样，为模型参数，为我们所使用的模型，遵循上述的独立同分布假设。参数为的模型产生上述采样可表示为：

回到上面的“模型已定，参数未知”的说法，此时，已知的为，未知的为，故似然函数定义为:

在实际应用中常用的是两边取对数，得到公式如下：

其中称为对数似然，而称为平均对数似然。而平时所称的最大似然为最大的对数平均似然，即：

5、最大似然估计的求解步骤：

（1）写出似然函数：

（离散型随机变量）

（连续型随机变量）

（2）取对数。

（3）对求偏导数。

（4）判断方程组是否有解，若有解，则其解即为所求的最大似然估计，若无解，则最大似然估计常在的边界上到达。

关注微信公众号【有梦想的程序星空】，了解软件系统和人工智能算法领域的前沿知识，让我们一起学习、一起进步吧！