为何需要最大后验概率推断

1 在最大似然函数推断中,我们通过求取使得似然函数最大的参数值来估计参数。

比如在投硬币中,我们用似然函数 ( 其中M是正面朝上的次数,N是背面朝上的次数。)
来估计参数的值,但是这里有个问题。在数据量很少的时候,比如只有三次投硬币,然后这三次结果我们都得到了正面向上的结果,导致我们得到的参数为1,这显然与我们的常识不符合。所以我们在数据量比较少的情况下就人为的加入一些参数的先验分布。

说白了,就是通过我们的知识体系去修正得到的参数,联系到现实生活中,比如我们在学习使用筷子的时候,父母捏着我们的手引导我们学习(在大脑没有接受到大量DATA时导入先验概率),这样神经网络参数更新的正确性就有了保障(MAP)。当然我们也可以不用引导,直接自己靠自己的方法不断的去试,(得到了大量的DATA)这种情况下也可以最后获得拿筷子吃饭的能力(MLE)。

2 最大后验概率推断

还是投硬币的例子,之前我们说如果三次都是向上的情况下我们如何更新我们的参数,这就涉及到了一个共轭先验的概念。

MAP推断
MAP推断公式

然而MAP有很多的问题,

MAP推断的问题1

以下就是一个总结,抱歉现在还看的不是很明白,等以后明白了再来更新为何会有这些问题。


MAP推断的优缺点

你可能感兴趣的:(为何需要最大后验概率推断)