最大似然估计和最大后验概率估计的区别

今天在看逻辑回归算法的时候,对其原理有点困惑,便去晚上找了找前辈的博客。
逻辑回归算法是基于最大似然估计的。
最大似然估计是概率论里的知识。然后就找到了这一篇帖子,前前后后看了两遍,终于明白了。最大似然估计和最大后验概率估计的区别在于:有无先验概率,或者说先验概率是否为1。

就举这个帖子中抛硬币的例子来说明。

首先要知道P(x|θ)的意思:
输入有两个:x表示某一个具体的数据;θ表示模型的参数。
如果θ是已知确定的,x是变量,这个函数叫做概率函数(probability function),它描述对于不同的样本点x,其出现概率是多少。(就是我们已经知道抛硬币只有两面,如果硬币质量均匀,就抛一次,样本空间是{正面,反面},那么请问出现正面的概率是多少?0.5)
如果x是已知确定的,θ是变量,这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数,出现x这个样本点的概率是多少。(就是我们已经抛完硬币了,抛了十次,其中正面出现7次,那么根据这个结果请问抛硬币出现正面的概率是多少,才最可能得到我们现有的实验结果(十次出现七次正面)?0.7)

所以重点来了

根据最大似然估计的思想
我们要求出合适的θ让P(x|θ)尽可能的大,那么θ等于多少的时候,十次出现七次正面的情况最可能呢?算来算去,发现θ=0.7。
但是我们是人啊,我们是有思想的,一个硬币就正反面,我们的认知都是正面反面出现的概率各一半,结果求出个θ=0.7,这不合理啊。
于是最大后验概率估计出现了
我们带着先验(主观色彩)去求这个θ,让P(x0|θ)P(θ)最大,其中P(x0|θ)就是我们上面看到的公式,P(θ)就是我们的先验(我们认为出现正面的概率是0.5)了,我们要求出一个既符合实验结果,又符合我们观念的θ,那么,最后求出的θ就在0.5到0.7之间(这也算是种妥协)。

你可能感兴趣的:(最大似然估计和最大后验概率估计的区别)