【概率论】最大后验概率估计（MAP）理解

最大似然估计欲求使P(X|θ)最大的概率分布+参数组合（即最可能求得X的概率分布及其参数），将θ看作未知的固定值。最大后验概率估计MAP则将θ看作概率分布，欲求使P(X|θ)P(θ)最大的θ。此时，不仅要求P(X|θ)要大，在参数组θ先验分布中θ出现的概率P(θ)也要大，最后求二者共同作用下的最大值。

根据贝叶斯法则+数据集中P(X)已知为定值两点可以推出，最大化P(X|θ)P(θ)也就是最大化P(θ|X)，此时P(θ|X)即为最大后验概率。（求可以最大化P(θ|X)的参数组θ，也可以理解成在X已知的情况下，最可能推出哪组参数θ。）

和最大似然估计相比较，可以认为最大后验概率估计多考虑了先验分布。所以，最大似然估计是完全基于已有数据估计分布和参数，而最大后验概率估计考虑了已有数据和先验分布，MAP最终估计得到的分布、参数结果会被“拉向”先验分布。

步骤：

1）假定参数组θ的先验分布为某种分布1，并假定P(X|θ)为某种分布2（or根据极大似然估计求得P(X|θ)的分布）；

2）根据P(X|θ)P(θ)求得P(θ|X)，为某种分布3；

3）求令P(θ|X)最大的θ，具体方法为：用求导方法求θ为多少时，ln(P(X|θ)P(θ))（相当于ln(P(θ|X))）取得最大值。

 

参考：

https://www.jianshu.com/p/9c153d82ba2d

https://blog.csdn.net/u011508640/article/details/72815981