Notes on 极大似然估计(MLE)

从总体中取出n个样本,观测值分别为,则似然函数为

求使得出现样本概率最大的参数作为的估计值

为了方便计算,对取对数得到对数似然函数

又记梯度算子

若似然函数满足连续可导的条件,则最大似然估计量就是如下方程的解


设样本服从正态分布,则似然函数为

对数似然函数

得方程组
\left\{ \begin{align} &\frac{\partial}{\partial\mu}\ell(\mu,\sigma)=\frac{1}{\sigma^2}\sum_{i=1}^n(x_i-\mu)=0 \\ &\frac{\partial}{\partial\sigma}\ell(\mu,\sigma)=-\frac{n}{2\sigma^2}+\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2=0 \end{align} \right.
解得为极大似然估计参数。


定义 信息

其中,是分布的密度函数。(不是似然函数。)

引理

定理 在具有合适的平滑条件下,来自样本的最大似然估计具有一致性。且

其中, 称为最大似然估计的渐进方差。


伯努利分布有密度函数

取对数

求导

得到信息

得到渐进方差



你可能感兴趣的:(Notes on 极大似然估计(MLE))