最大后验概率法

在贝叶斯统计中,最大后验概率(maximum a posteriori, MAP)估计是对后验分布的模的估计。MAP可根据经验数据获得未观测量的点估计。它与最大似然(ML)估计方法密切相关,但采用了一个包含先验分布的增强优化目标。因此,MAP估计可以看作ML估计的正则化方法。

对于\bold x=x_1,x_2,...,x_nML估计为

\hat \theta _{MLE}=\mathop{\arg\max}\limits_{\theta} p(\bold{x}|\theta)=\mathop{\arg\max}\limits_{\theta} \prod_{i=1}^{n} p(x_i|\theta)=\mathop{\arg\max}\limits_{\theta} \log\prod_{i=1}^{n} p(x_i|\theta)=\mathop{\arg\max}\limits_{\theta} \sum_{i=1}^{n}\log p(x_i|\theta)

 而MAP估计为:

\hat \theta _{MAP} =\mathop{\arg\max}\limits_{\theta} \frac{p(\bold{x}|\theta)p(\theta)}{p(\bold{x})} =\mathop{\arg\max}\limits_{\theta} p(\bold{x}|\theta)p(\theta) =\mathop{\arg\max}\limits_{\theta} \prod_{i=1}^{n} p(x_i|\theta)p(\theta) =\mathop{\arg\max}\limits_{\theta} \sum_{i=1}^{n}\log p(x_i|\theta)p(\theta)

显然,如果先验分布是个常数,\hat \theta_{MLE}\hat \theta_{MAP}相等。

如果后验分布的模可以以封闭的数学形式给出(比如使用共轭先验时),则可以用分析方法得到MAP估计。如果不能得到封闭形式,或者太复杂,则可用共轭梯度法或牛顿法等数值优化法,这通常需要采用两阶导数。如果不用导数,可使用改进的EM算法,也可以使用模拟退火的蒙特卡洛方法。

你可能感兴趣的:(贝叶斯推断,算法,机器学习,人工智能)