GIBBS SAMPLING FOR THE UNINITIATED 学习备注

1.MLE,MAP,EM的区别?

首先要明白我们要做啥,我们要做的是根据观察值建立一个模型,并且假定模型的结构是已知的,参数未知。

比如,给定了一组观察数据X=(x1,x2,,xn)假定已知服从F分布,其概率密度函数是f(#),我们要求的就是#,如果概率密度函数是f(#,%),我们要求的就是#,%。

MLE方法的思想是,寻找一个#,使得P(X)的概率最大,所以MLE成了一个求极值点的问题。

一般我们假定x1,x2,,xn独立同分布,所以P(X)=P(x1)P(x2)..P(xn).实际上P(X)里有个参数,所以写成P(X,#)或者P(X|#).

MAP最大后验概率。这里假设我们知道参数#服从某个已知的分布g(完全已知,形式和参数都已知)【先验知识】。结合贝叶斯公式,我们可以得到一个关于#的公式,然后最大化。所以MAP和MLE的区别是MLE中,我们完全根据观察得出结果,MAP中,我们则借助了以往我们对#的认识。如果g(#)是一个常数,则2种方法的结果是一样的。

EM似乎和MAP是一样的。只是在认识上,EM强调了充分利用#的知识,考虑了#的各种可能性。

2.Gibbs sampling的原理:Gibbs 采样首先根据条件概率产生一个序列。这个序列满足马尔科夫链的性质。然后用Monte Carlo采样的原理来做近似计算。

比如前面的X,如果直接观察X比较困难,但是可以根据条件概率来产生一个X的最可能值。所以,我们就产生了N个这样的Xi。N很大的时候,这样得到的xi和直接观察得到的X应该很接近。也就是和X实际服从的分布很接近。也就可以从这些产生的Xi中取几个估计分布F。在RBM中,xi的产生只和前面的xi-1个变量有关。这样产生一个新的Xi就更简单了。Xi是第i个观察值或产生值,xi是X中的第i个 变量。

你可能感兴趣的:(GIBBS SAMPLING FOR THE UNINITIATED 学习备注)