马尔可夫蒙特卡洛（MCMC）-Metropolis-Hastings和Gibbs采样

Metropolis-Hastings

算法流程

1. 从proposal distribution $q(z\mid z^{(\ell )})$采样$\hat{z}$
2. 从0-1区间采样$u$
3. 计算接受率$\alpha$
   如果$u<\alpha$，则接受当前从$q(z\mid z^{(\ell )})$采样的$\hat{z}$，否则选取上一个接受的样本作为该时刻的样本
   

应用场景

MH采样可以用于估算intractable的后验概率$p(\mathbf{z})$，利用贝叶斯公式展开$p(\mathbf{z})$。

$q$为马尔可夫链中的状态转移矩阵，$q(z^{(\ell )}\mid \hat{z})$代表从状态 $\hat{z}$ 转移到状态 $z^{(\ell )}$ 的概率。

考虑如下例子

如果状态转移矩阵是对称的，那么就可以简化计算过程

Gibbs采样

Gibbs采样是MH采样的一种特殊情况，用于维度很高的情况下联合概率$p(\mathbf{z})$很难求，但可以通过每次固定其他维度，只对某一维度进行采样的方法对条件概率$p\left(z_k\mid {\mathbf{z}}_{\backslash k}^{(\ell )}\right)$进行采样，即：

sample $z_k$ from
$$q_k\left(\mathbf{z}\mid {\mathbf{z}}^{(\ell )}\right)=p\left(z_k\mid {\mathbf{z}}_{\backslash k}^{(\ell )}\right)$$

如上图所示接受率为1

流程

从1到L时刻，每次分别对某一维度依次采样，依此类推

总结

MCMC应用场景为target distribution$p(\mathbf{z})$很难通过抽样得到，构建proposal pdf$q_k\left(\mathbf{z}\mid {\mathbf{z}}^{(\ell )}\right)$进行抽样，得到的样本（概率）构建成一条马尔可夫链