极大似然估计

0.极大似然估计方法(Maximum Likelihood Estimate,MLE)
  也称为最大概似估计或最大似然估计
  如英文的意思,Maximum最大,likelihood像,也就是最像的意思,一种估计方法。
1.原理:
  极大似然估计提供了一种给定数据来评估模型参数的方法,即“模型已定,参数未知”。
  
  通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率
  为最大,则称为极大似然估计。
2.图例:
  从结果反推最有可能产生这一结果的参数。

极大似然估计_第1张图片

3 求解极大似然估计值:
  3.1 似然函数:
    1.联合概率密度函数p称为相对于 {x1,x2,···xn | θ} 的θ的似然函数。θ是未知的。
    2.其中总体X为离散型,其概率分布 p{X = x} = p{xi | θ}
    3.又设{X1,X2,···Xn}的一组观测值为{x1,x2,···xn},易知样本{X1,X2,···Xn}取到观测值{x1,x2,···xn}的概率为如图:
    4.这一概率随θ的取值而变化,它是θ的函数,称 l(θ) 为样本的似然函数。

极大似然估计_第2张图片

  3.2 对似然函数取对数,并整理

在这里插入图片描述

  3.3 求导数。
  3.4 解似然方程。
4. 案例:
  4.1 例1

极大似然估计_第3张图片
极大似然估计_第4张图片
极大似然估计_第5张图片
极大似然估计_第6张图片

  4.2 例2

极大似然估计_第7张图片
极大似然估计_第8张图片
参考:
https://blog.csdn.net/qq_39355550/article/details/81809467
https://baike.baidu.com/item/极大似然估计/3350286?fr=aladdin

你可能感兴趣的:(算法)