极大似然估计

极大似然估计的原理，先用一张图片来说明

 

 

总结起来，极大似然估计的目的：就是利用已知的样本结果，反推最有可能(最大概率）导致这样结果的参数值。

通过若干次试验，观察其结果，利用试验结果的某个参数值能够使样本出现的概率最大，称为极大似然估计。

由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ，记已知样本集为:

似然函数(linkehood function):联合概率密度函数p(D|θ）称为相对于样本集D={x1，x2,x3,...,xn} 的θ的似然函数

 

 

 若使参数空间中，能使似然函数最大的θ值，那应该使最可能值，就是θ的极大似然估计量，它是样本集函数

记作：

　　　　　　　　　　　　

 

求解极大似然函数

 ML估计：求使得改组样本的概率最大的θ值

　　　　　　　　　　

 

连乘不便于分析，故定义了对数似然函数：

 

 

 1.未知参数只有一个时(θ为标量),似然函数满足连续可微，极大似然估计量是下面微分方程的解

　　　　　　　　

 

 2.未知参数有多个(θ为向量)

　　　　　　　　　　　　　　　　

记梯度算子:

　　　　　　　　　　　　

 

似然函数满足连续可导，最大似然估计量就是如下方程的解。　　

  　　　　　　　　

总结

求解极大似然估计量步骤：

1.写出似然函数

2.对似然函数取对数，整理

3.求导数

4.解似然方程

最大似然估计特点：

1.比其他估计方法简单

2.收敛性，样本数量增加时，收敛性质更好

3.如果假设的类条件概率模型正确，通常能获得比较好的结果，但如果模型假设有偏差，导致非常差的结果。