《深度学习》：蒙特卡洛方法

采样和蒙特卡洛方法

当无法精确计算和或积分（例如，和具有指数数量个项，且无法被精确简化） 时，通常可以使用蒙特卡罗采样来近似它

根据大数定理，如果样本x是独立同分布的，那么其平均值几乎必然收敛到期望值

重要采样

一个好的 q 分布的选择可以显著地提高蒙特卡罗估计的效率，而一个糟糕的 q 分布选择则会使效率更糟糕。

MCMC采样

对于一些复杂的分布直接采样不太方便，可以基于马尔可夫链采样，因为经过n轮转移，初始分布会逐渐收敛到一个平稳分布。而收敛的条件如下：

这个a(i, j)就是MCMC采样中的接受率，有点像接受-拒绝采样

M-H采样

M-H采样解决了MCMC采样率过低的问题

吉布斯采样

M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集的问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维时计算量大。并且由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布好求，但是特征的联合分布不好求。因此需要一个好的方法来改进M-H采样，这就是我们下面讲到的Gibbs采样。

其满足细致平稳条件的转移矩阵是