MCMC模拟初学

蒙特卡罗思想

假设某个函数h(x)关于概率分布$\pi (x)$的期望
$E_{\pi }$(h(x))=$\int$h(x)$\pi$(x)dx

存在。如果能生成服从$\pi$(x)的n独立样本$x_1$，$x_2$，…，$x_n$，根据大数定理，对充分大的n，可以取
$\hat{y}={\sum }_{k=1}^{n}h(x_k)/n$
这就是蒙特罗的思想。

马尔科夫链

假设随机过程$X_t$表示系统在时间$t$的状态，若在$X_t$已知的条件下，系统在将来时刻$X_{t+n}$的状态的概率与过去状态$X_s（s<t）$无关，只与过程在$t$时刻的状态有关，则称随机过程{$X_t$}为马尔科夫过程。

MCMC算法思想

现在要生成具有概率分布$P(X=j)=\pi (j)$,$j=1,2,...,N$的随机变量X的随机数。如果能够生成一个具有极限概率{$\pi (j)$}的马尔科夫链{$X_t$}，根据马尔科夫链的收敛定理，不管初始状态$X_0$如何，是什么分布，在经过一段时间后，{$X_t$}的边际分布近似于极限分布$\pi (x)$。因此可以通过运行马尔科夫链n步，n足够大，来获得$X_n$的值，并将这个值近似认为是想要生成的随机变量随机数。另外，为了估计$E_{\pi }$(h(X))=${\sum }_{j=1}^{N}h(j)\pi (j)$，可选马尔科夫链中的$X_1$，$X_2$，…，$X_n$，用${\sum }_{k=1}^{n}h(X_k)/n$估计$E_{\pi }$(h(X))，即
${\sum }_{k=1}^{n}h(X_k)/n$$\to$$E_{\pi }$(h(X))。在应用中选取适当的$k$，用${\sum }_{k=1}^{n}h(X_k)/(n-k)$估计。

MCMC算法的思想就是建立一个马尔科夫链，以$\pi (x)$为平稳分布，从马尔科夫链中抽取样本。