最大似然估计(MLE)、最大后验估计(MAP)和贝叶斯估计

参数估计

常见的参数估计类型有:

  1. 离散型随机变量:二项式分布,多项式分布
  2. 连续型随机变量:高斯分布

他们都可以看作是参数分布,因为他们的函数形式都被一小部分的参数控制,比如正态分布的均值和方差,二项式分布事件发生的概率等。因此,给定一堆观测数据集(假定数据满足独立同分布),我们需要有一个解决方案来确定这些参数值的大小,以便能够利用分布模型来做密度估计,这就是参数估计。

首先需要说明的是,这三种方法都是用来参数估计的方法,也就是已知观测数据,来求解未知的分布(分布也就是模型)的参数 θ \theta θ的方法。

给定一组观测数据 X = ( x 1 , x 2 , , , x n ) X = (x_1, x_2,,,x_n) X=(x1,x2,,,xn),我们知道这组数据是服从某个参数为 θ \theta θ的真实分布的,但是我们无法直接求出 θ \theta θ,那么应该怎么来求呢?

最大似然估计(MLE)

假设上面的观测数据都是独立同分布的,那么在某个未知参数 θ \theta θ下,这组数据发生的概率就是:
P ( X ∣ θ ) = ∏ p ( x i ∣ θ ) P(X|\theta) = \prod p(x_i|\theta) P(Xθ)=p(xiθ)
上面 的式子也称为似然函数。
最大似然估计就是找到一个 θ ^ \hat\theta θ^,使得上面的式子的值最大,也就说明了在某个参数 θ ^ \hat\theta θ^下,观测数据 X X X发生的概率最大。用公式来表示就是:
θ ^ = a r g m a x ( P ( X ∣ θ ) ) \hat{\theta} = argmax(P(X|\theta)) θ^=argmax(P(Xθ))
上式中未知量只有参数 θ \theta θ,可以通过求导等方式来求解。

最大后验估计(MAP)

最大后验估计中引入了先验知识,是跟据贝叶斯公式来求解 θ \theta θ 的。
θ ^ = a r g m a x P ( θ ∣ X ) = a r g m a x P ( X ∣ θ ) P ( θ ) P ( X ) = a r g m a x P ( X ∣ θ ) P ( θ ) \hat{\theta} = argmax P(\theta|X) = argmax {P(X|\theta)P(\theta) \over P(X)} = argmax P(X|\theta)P(\theta) θ^=argmaxP(θX)=argmaxP(X)P(Xθ)P(θ)=argmaxP(Xθ)P(θ)
可以看到,最大后验估计与最大似然估计不同之处在于增加了一项 P ( θ ) P(\theta) P(θ),称为先验概率。

先验概率就是在求解参数之前,你跟据经验已经知道了 θ \theta θ的大致概率值。

最大后验考虑了先验经验,就相当于人为去修正了一下参数值。

最大似然估计和最大后验估计都是点估计,点估计有一个不足之处,即这种估计方法不能提供估计参数的估计误差大小。对于一个总体来说,它的分布参数是一个常数值,而它的样本统计量却是随机变量。当用随机变量去估计常数值时,误差是不可避免的,只用一个样本数值去估计总体参数是要冒很大风险的。

贝叶斯估计

即贝叶斯估计认为,未知参数 θ \theta θ也服从一个概率分布,而不是一个常数值,所以参数 θ \theta θ也就一些统计特性,比如像均值,方差等等。比如计算出来方差太大的,我们可以认为分布不够好,从而把这个当做选择超参数的一个考虑因素。
最大似然估计(MLE)、最大后验估计(MAP)和贝叶斯估计_第1张图片
可以看出,一般求出 θ \theta θ的后验分布后,选择其均值(期望)作为最后的估计值

贝叶斯估计和最大后验估计有点相似。区别在于:

1)最大似然估计和最大后验估计都是只返回了的估计值。

2)最大后验估计在计算后验概率的时候,把分母p(X)给忽略了,在进行贝叶斯估计的时候则不能忽略

3)贝叶斯估计要计算整个后验概率的概率分布,而最大后验估计只计算了最大值。

最后总结三者的关系就是:MLE只从数据的角度说话,不考虑其他因素,MAP认为MLE没有考虑先验信息,这样在有的情况下是不对的,比如抛10次银币,3次头朝上,7次头朝下,计算控制头朝上的参数 θ \theta θ的值,按照MLE只考虑数据的话可能计算出来参数 θ \theta θ的取值为0.7,但是跟据我们的生活经验,值应该在0.5左右才是合理的,这个0.5就是先验信息。贝叶斯估计又认为参数 θ \theta θ并不仅仅是一个常数值,而应该是一个分布。

参考:
最大似然估计、最大后验估计、贝叶斯估计的对比
贝叶斯估计详解

你可能感兴趣的:(机器学习)