最大后验估计(MAP)------贝叶斯学派的法宝

本文讲一讲贝叶斯学派的法宝------最大后验估计(MAP)

学派背景

目前在统计分析领域存在两大学派,即频率学派贝叶斯学派,它俩的争吵由来已久。目前国内大部分的医学统计学教材都是基于频率学派的,但近年来贝叶斯学派也越来越多的被大家提及。

所谓的频率学派,就是一切从客观掌握的数据来理解概率;而贝叶斯学派则认为概率是有先验和后验的,我们要计算的是后验概率,这个后验概率又是以先验概率为基础的。

频率学派认为总体的参数是既定不变的、客观存在的,我们需要从样本的统计量出发去估算总体的参数,而且所抽取的样本数量越大估计的越准确。贝叶斯学派则认为既然总体参数没有观察到,那么它就可以是一个随机变化的量,因此总体参数是有分布的,我们每次从样本统计量估计的总体参数都是基于先验概率,对后验概率的一个估计。具体的说频率学派更关心的是似然函数,而贝叶斯学派更关心的是后验概率。

频率学派的优点是没有假设的先验分布,更加客观,更容易被理解和受信任。而贝叶斯学派认为所有参数都是随机变量,因此可以使用基于采样的方法所得我们的估计更为容易和准确.

最大后验估计理解

贝叶斯学派认为对估计的事物要有个先验性的判断,这个先验性的判断就是先验概率,之后再根据数据调整对这个事物的判断,经过调整之后的概率为后验概率. 我们也可以认为贝叶斯估计有很大的主观成分.

贝叶斯公式的定义:
在这里插入图片描述
其中,MAP认为,θ是一个随机变量,其先验概率密度函数是已知的,为P(θ),称为先验概率. p(x|θ),称为似然函数. p(θ|x),就是我们要求的最大后验概率.

怎样理解呢?

贝叶斯的思想过程是这样的:

起初我并不知道θ的具体值是多少,同时θ还是一变量, 它的取值服从某种概率分布,这个θ到底是多少呢?我知道θ是随时在变的,我不可能捕捉到它的确切数值,但我可以猜出它最有可能的值,理由是:

我拿到了一组样本x,我觉得这肯定不是一种偶然,我以θ这种方式拿到样本x的概率一定是所有可能性p(x)中最大的,用数学符号简化一下就是:p(x|θ)p(θ)是p(x)中最大的,即p(θ|x)最大,反过来说,我知道了p(θ|x)的最大值,我就知道了θ最可能的取值,以这种思路求θ的过程就称为最大后验估计(MAP)
在这里插入图片描述

可以看出,最大后验估计与最大似然估计的思想方法还是存在很大的相似性的,不同的是:
最大似然估计是根据数据直接对θ进行估计.
最大后验估计是在对θ进行估计之前,强加了一个可能性因素p(θ)

你可能感兴趣的:(概率论,机器学习,人工智能)