最大似然估计理解

最大似然估计：Maximum Likelihood Estimation，简称MLE；
要理解此概念首先要看下什么叫贝叶斯公式，如下：
P(θ|D)=P(D|θ)P(θ)P(D)
我们把D看作是样本， θ 看作是这个样本所服从分布的参数，那么上式左侧 P(θ|D) 可理解为：在给定样本D下，其服从参数为 θ 的分布的概率， P(D|θ) 可理解为在给定参数 θ 时，样本D发生的概率， P(θ) 为参数存在的概率，P(D)为样本发生的概率。
在实际应用中，我们希望从样本中总结出规律，即得到 θ 。
按照上面的公式，即：求当 P(θ) 最大时的 θ 值。
MAX(P(θ|D))=MAX(P(D|θ)P(θ)P(D)) ，由于P(D)和P( θ )一定，则上式可简化为求 MAX(P(D|θ)) ，此即为最大似然估计,其中 P(D|θ) 即为似然函数。
假设样本 X1,X2...Xn ,独立同分布于 f(x,θ1,θ2...θk) ，则其似然函数即为 X1,X2...Xn 的联合概率分布：
L(X1X2...Xn) = ∏ni=1f(xi,θ1,θ2...θk) ，
求似然函数取最大值时的参数，可通过令其二阶导数为0得到,通常两边先取对数，然后求导。