MCMC 采样

蒙特卡罗方法

原理是通过大量随机样本，去了解一个系统，进而得到所要计算的值。

概率分布采样

如何基于概率分布去采样基于这个概率分布的 n 个 x 的样本集？
　
一些常见的连续分布，比如t分布，F分布，Beta分布，Gamma分布等，都可以通过类似的方式从uniform(0,1)得到的采样样本转化得到。

接受-拒绝采样

对于概率分布不是常见的分布，一个可行的办法是采用接受-拒绝采样来得到该分布的样本

image.png

马尔科夫链

• 马尔科夫链模型的状态转移矩阵收敛到的稳定概率分布与我们的初始状态概率分布无关。
• 所有的 MCMC 方法都是以马氏链的收敛定理为基础。

image.png

基于马尔科夫链采样

image.png

随意给定一个平稳分布π,如何得到它所对应的马尔科夫链状态转移矩阵P？

MCMC采样

image.png

M-H采样（改进版）

image.png

缺点：

• 一是需要计算接受率，在高维时计算量大。并且由于接受率的原因导致算法收敛时间变长。
• 二是有些高维数据，特征的条件概率分布好求，但是特征的联合分布不好求。

Gibbs Sampling

二维Gibbs采样

image.png

多维Gibbs采样

image.png

学习链接

• http://www.cnblogs.com/pinard/p/6625739.html