极大似然估计原理与实例

原理

核心思想

极大似然估计：已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，通过若干次试验，观察其结果，某个参数能使这个样本出现的概率最大，就把这个参数作为估计的真实值。

一般步骤：

1. 根据样本的概论分布，写出样本的联合概率似然函数
2. 对似然函数取对数
3. 求导解对数似然方程

实例-掷硬币实验

在掷硬币实验中，估计出现证明向上的概率$\theta$
\qquad \qquad 已知 \qquad \qquad \qquad \qquad $x_i\sim b(1,\theta )$,
\qquad 则有： \qquad \qquad \qquad $p(X=x)={\theta }^x(1-\theta {)}^x$
似然函数：
\qquad \qquad $L(\theta )=p(X_1=x_1|\theta )\cdot p(X_2=x_2|\theta )\dots p(X_n=x_n|\theta )$
\qquad \qquad \qquad $={\prod }_{i=1}^n{\theta }^{x_i}{(1-\theta )}^{1-x_i}$
求解：
\qquad \qquad $\underset{\theta }{\mathrm{argmax}}lnL(\theta )={\sum }_i^n\left[ln{\theta }^{x_i}+{ln(1-\theta )}^{1-x_i}\right]$
\qquad \qquad \qquad \qquad \qquad $={\sum }_i^n{x}_{i}ln\theta +(n-{\sum }_i^n{x}_i)ln(1-\theta )$
对上式求偏导有：
\qquad \qquad \qquad \qquad \qquad $\frac{\partial lnL(\theta )}{\partial \theta }=\frac{{\sum }_i^n{x}_i}{\theta }+\frac{(n-{\sum }_i^n{x}_i)}{1-\theta }$
解得：
\qquad \qquad \qquad \qquad \qquad \qquad \qquad $\theta =\frac{{\sum }_i^n{x}_i}{n}$