最大似然估计(MLE)VS最大后验估计(MAP)

概念介绍

1.最大似然估计(MLE,Maximum Likelihood Estimation):模型(x)已定,参数y未知

2.最大后验概率(MAP,Maximum a posteriori estimation):与最大似然估计类似,但最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。

最大似然估计

贝叶斯定理公式:P(Y|X)=P(X|Y)P(Y),其中P(X|Y)是似然函数(数据X已知,但是分类Y未知)

1.核心:使得发生的样本出现的可能性最大。

2.最大似然估计是求参数Y, 使似然函数p(x0|Y)最大。

最大后验概率估计

1.核心:使得发生的样本出现的可能性最大

2.最大后验概率估计则是想求Y使得p(x0|Y)p(Y)最大。

3.求得的Y不单单让似然函数大,Y自己出现的先验概率也得大。 (这有点像正则化里加惩罚项的思想,不过正则化里是利用加法,而MAP里是利用乘法)

MLE与MAP的区别

MLE一直天真认为P(Y)是个固定值,在认为Y是固定值的情况下求得p(x0|Y),即使得p(x0|Y)最大;

MAP是求得p(x0|Y)p(Y)最大,即p(x0|Y)和p(Y)都得大,但是这里边Y的值肯定与MLE中一直认为的Y值时不同的。

相关连接:https://mp.weixin.qq.com/s/dQxN46wEbFrpvV369uOHdA  讲述MLE与MAP的区别,里边有例子进行解释。

你可能感兴趣的:(最大似然估计(MLE)VS最大后验估计(MAP))