极大似然估计（MLE)

基本思想

模型已定，参数未知

根据已存在的样本，挑选（求出）能让样本以最大概率发生的参数

 

极大似然估计和最小二乘法最大区别之一 极大似然需要知道概率密度函数（离散型叫分布律）

 若总体X属离散型，其分布律的形式是已知，为待估参数，是的取值范围

是来自的样本，的样本值为，则的联合分布律为：

 

 

似然函数就是样本都发生的概率，即联合概率，公式如下

 

 

求解思路

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数，令导数为0，得到似然方程；

（4）解似然方程，得到的参数即为所求；

 

示例

 

 

引用自http://blog.csdn.net/weiyudang11/article/details/51523836