机器学习-极大似然估计

通俗理解：
就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！（模型已定，参数未知）
注意：
极大似然估计中所有的采样都是独立的。

最大似然估计求解步骤：

例题：
设总体X的分布律为P{X=k}=p(1-p)^k-1,k=1,2,……，其中p为未知参数，且X₁,X₂,……X_n为来自总体X的简单随机样本，求参数p的矩阵估计量和极大似然估计量。

1.写出极大似然估计函数：
L（p)=P{X=X₁}P{X=X₂}……P{X=X_n}(相乘，体现出了样本之间独立）=p(1-p)X₁-1p(1-p)X₂-1……p(1-p)X_n-1=pn(1-p)^{X₁+X₁+……+X_n-n}

2.取对数
lnL（p)= nln（p）+(X₁+X₁+……+X_n-n)ln(1-p)

3.求导
$\frac{dlnL（p）}{dp}$
=$\frac{n}{p}$+$\frac{(X₁+X₁+\dots \dots +X_n-n)}{1-p}$(-1)=0
n-np=p(X₁+X₁+……+X_n-n)

求出p