MCMC 和Gibbs Sampling采样

这两个采样方法都是非常著名的,尤其是Gibbs Sampling在文本词的采样之中用的非常的多。我第一次遇到Gibbs Sampling是在pLSA(潜在语义分析)模型之中,而且pLSA模型还用到了一个有价值的算法应该:EM(最大期望)算法,以后希望能详细说一下这个算法。

1.随机模拟


MCMC 和Gibbs Sampling采样_第1张图片
MCMC 和Gibbs Sampling采样_第2张图片
MCMC 和Gibbs Sampling采样_第3张图片
MCMC 和Gibbs Sampling采样_第4张图片
MCMC 和Gibbs Sampling采样_第5张图片

最常用的一种,这两个方法在现代贝叶斯分析中被广泛使用。要了解这两个算法,我们首先要对马氏链的平稳分布的性质有基本的认识。

2. 马氏链及其平稳分布


MCMC 和Gibbs Sampling采样_第6张图片
MCMC 和Gibbs Sampling采样_第7张图片
MCMC 和Gibbs Sampling采样_第8张图片
MCMC 和Gibbs Sampling采样_第9张图片
MCMC 和Gibbs Sampling采样_第10张图片
MCMC 和Gibbs Sampling采样_第11张图片
MCMC 和Gibbs Sampling采样_第12张图片

3. Markov Chain Monte Carlo


MCMC 和Gibbs Sampling采样_第13张图片
MCMC 和Gibbs Sampling采样_第14张图片
MCMC 和Gibbs Sampling采样_第15张图片
MCMC 和Gibbs Sampling采样_第16张图片
MCMC 和Gibbs Sampling采样_第17张图片
MCMC 和Gibbs Sampling采样_第18张图片
MCMC 和Gibbs Sampling采样_第19张图片

4. Gibbs Sampling


MCMC 和Gibbs Sampling采样_第20张图片
MCMC 和Gibbs Sampling采样_第21张图片
MCMC 和Gibbs Sampling采样_第22张图片
MCMC 和Gibbs Sampling采样_第23张图片
MCMC 和Gibbs Sampling采样_第24张图片
MCMC 和Gibbs Sampling采样_第25张图片

你可能感兴趣的:(MCMC 和Gibbs Sampling采样)