马尔可夫链蒙特卡洛（Markov Chain Monte Carlo）

MCMC方法的许多应用是关于贝叶斯统计分析问题的，这些贝叶斯统计分析中常常需要计算后验分布的一些数字特征，如后验期望、后验方差、后验众数、后验分位数等。

$\text{蒙特卡洛抽样方法}$

设 $p(\mathbf{x}|\theta )$表示样本的概率函数（或称为参数$\theta$ 的似然函数), $\pi (\theta )$为$\theta$ 的先验分布，则$\theta$ 的后验分布为
$$\pi (\theta |\mathbf{x})=\frac{p(\mathbf{x}|\theta )\pi (\theta )}{\int p(\mathbf{x}|\theta )\pi (\theta )d\theta }(1)$$我们的目标是函数$h(\theta )$的后验期望
$$E[h(\theta )|\mathbf{x}]=\int h(\theta )\pi (\theta |\mathbf{x})=\frac{\int h(\theta )p(\mathbf{x}|\theta )\pi (\theta )d\theta }{\int p(\mathbf{x}|\theta )\pi (\theta )d\theta }(2)$$
当$h(\theta )=\theta$时，上式表示$\theta$的后验期望；
当$h(\theta )=[\theta -E(\theta |\mathbf{x}){]}^2$,上式表示$\theta$的后验方差。

对于一些复杂问题式(2)没有显式表达，除了使用分析逼近方法或者数值积分方法之外，蒙特卡洛抽样方法是一个可选用的有效计算方法。

因此对于式(2)应用蒙特卡洛抽样方法，从后验分布$\pi (\theta |\mathbf{x})$中产生i.i.d.观测值${\theta }_1,{\theta }_2,\dots ,{\theta }_m$,则由大数定律：
$${\bar{h}}_m=\frac{1}{m}\sum _{i=1}^{m}h({\theta }_i)(3)$$
这种用式（3）去逼近式（2）的方法被称为蒙特卡洛抽样方法。
很多时候从后验分布$\pi (\theta |\mathbf{x})$中产生i.i.d.观测值很困难， 而从与后验分布非常接近的分布$g$中抽样比较容易，从而在蒙特卡洛方法中引入重要性函数的概念。

对于式（2）最右边项的分子：
$$\begin{gathered} \int h(\theta )p(\mathbf{x}|\theta )\pi (\theta )d\theta =\int \left\{\frac{h(\theta )p(\mathbf{x}|\theta )\pi (\theta )}{g(\theta )}\right\}\cdot g(\theta )d\theta =E_g\left\{\frac{h(\theta )p(\mathbf{x}|\theta )\pi (\theta )}{g(\theta )}\right\} \\ (4) \end{gathered}$$
同样对于分母：
$$\int p(\mathbf{x}|\theta )\pi (\theta )d\theta =\int \left\{\frac{p(\mathbf{x}|\theta )\pi (\theta )}{g(\theta )}\right\}\cdot g(\theta )d\theta =E_g\left\{\frac{p(\mathbf{x}|\theta )\pi (\theta )}{g(\theta )}\right\}(5)$$因此从式(2),(4),(5)可知，$E[h(\theta )|\mathbf{x}]$
可表示为：
$$E[h(\theta )|\mathbf{x}]=\frac{E_g\left\{\frac{h(\theta )p(\mathbf{x}|\theta )\pi (\theta )}{g(\theta )}\right\}}{E_g\left\{\frac{p(\mathbf{x}|\theta )\pi (\theta )}{g(\theta )}\right\}}(6)$$设${\theta }_1,{\theta }_2,\dots ,{\theta }_m$，为从分布$g(\cdot )$中生成的i.i.d.观测值，则由大数定律可知

$$E_g\left\{\frac{h(\theta )p(\mathbf{x}|\theta )\pi (\theta )}{g(\theta )}\right\}=E_g\left\{h(\theta )\omega (\theta )\right\}\approx \frac{1}{m}\sum _{i=1}^{m}h({\theta }_i)\omega ({\theta }_i)$$
$$E_g\left\{\frac{p(\mathbf{x}|\theta )\pi (\theta )}{g(\theta )}\right\}=E_g\{\omega (\theta )\}\approx \frac{1}{m}\sum \omega ({\theta }_i)$$
其中$$\omega (\theta )=\frac{p(\mathbf{x}|\theta )\pi (\theta )}{g(\theta )}$$
因此$E[h(\theta )|\mathbf{x}]$的另一个估计为
$$\hat{m}=\frac{{\sum }_{i=1}^{m}h({\theta }_i)\omega ({\theta }_i)}{{\sum }_{i=1}^m\omega ({\theta }_i)}(7)$$
由大数定律，${\hat{h}}_m$几乎处处收敛到$E[h(\theta )|\mathbf{x}]$，故${\hat{h}}_m$是$E[h(\theta )|\mathbf{x}]$的一个蒙特卡洛逼近。

在式(4),式(5)中引进的函数$g(\theta )$称为重要函数(importance function)，上述这种引进重要函数的方法称为蒙特卡洛重要性抽样.

关于重要性函数的选取，它的选择一般来说应当满足下列条件：首先从分布$g$中抽样要容易方便，使模拟容易实现；其次以式(1)为例，选择$g$应该尽可能接近后验分布，以便提高蒙特卡洛逼近的效果。

然而很多时候$g$的选择很难达到满意的逼近效果，很难找到离目标后验分布比较接近的重要性函数。因此，应该从后验分布本身抽样，但是又由于后验分布本身不是标准分布，难以从中直接抽样，因此此时我们引入MCMC方法。在MCMC方法中，以目标后验分布$\pi (\theta |x)$作为Markov链的稳定分布，生成随机样本，代替从后验分布中直接抽取的样本（即MCMC中的第一个MC），利用前面所述的蒙特卡洛逼近方法(MCMC中的第二个MC)，从而获得较为满意的模拟结果.

$\text{马尔科夫链(Markov Chain)}$

定义1 设$\{X_n,n\ge 0\}$是只取有限个或可列个值的随机过程，若$X_n=i$，表示过程在时刻$n$的状态处于$i$，$S=\{0,1,2,\cdots \}$为状态集.若对一切$n$有
$$P(X_{n+1}=j|\underline{X_0=i_0,X_1=i_1,\cdots ,X_{n-1}=i_{n-1}},X_n=i)=P(X_{n+1}=j|X_n=i)$$
则称$\{X_n,n\ne 0\}$是离散时间马尔可夫链，常简称为马式链.
由定义，可以看出将来状态$X_{n+1}=j$只与当前状态$X_n=i$有关，而与过去状态$X_k=i_k,k\le n-1$无关.

条件概率$P(X_{n+1}=j|X_n=i)$称为马氏链的一步\textbf{转移概率}，若转移概率与$n$无关，且为固定值，则称马式链有平稳转移概率，记为$p_{ij}$.具有平稳转移概率的马氏链也称为时间齐性马式链。$\mathbf{P}=(p_{ij}),\forall i,j\in S$称为马氏链的转移概率矩阵，满足条件：
$$p_{ij}\ge 0,\sum _{i=0}^{\infty }{p}_{ij}=1$$

1、平稳性

定义2 设马尔可夫链有转移概率阵$\mathbf{P}=(p_{ij})$,一个概率分布$\pi =\{{\pi }_i,i\ge 0\}$如果满足${\pi }_j={\sum }_i{\pi }_i{p}_{ij}$，则称之为此马尔可夫链的平稳分布(stationary distribution).

2、不可约性

定义3 一个具有可数状态空间$S$和转移概率矩阵$\mathbf{P}=(p_{ij})$的马氏链$\{X_n\}$称为是不可约的(irreducible)，如果对任意两个状态$i,j\in S$,此链从状态i出发转移到状态$j$的概率为正的，即对某个$n\ge 1$有
$$p_{ij}^n=P(X_n=j|X_0=i)>0$$

由定义可知，具有不可约性的马氏链意味着从任一状态出发总可到达任一其他状态。

3、非周期性

定义4 一个马氏链的状态$i$有周期$k$，如果经过$k$的倍数步后一定可以返回到状态$i$，即
$$k(i)=gcd\{n:P(X_n=i|X_0=i)>0\}$$
其中$gcd$表示”最大公约数“.如果返回任一状态的次数的最大公约数是1，则称此马氏链是非周期的(aperiodic),非周期的马氏链可以保证不会陷入循环当中.

4、正常返性

定义5 对常返状态$i$，定义$T_i=inf\{n\ge 1:X_n=i|X_0=i\}$为首次返回状态$i$的时刻，如果
$${\mu }_i=E(T_i)<\infty$$
则称状态$i$是正常返的（positive recurrent）.当${\mu }_i=\infty$,称状态$i$是零常返的

5、遍历性

定义6 一个马氏链的状态称为遍历的(ergodic)，如果它是非周期且正常返的。如果马氏链的所有状态都是遍历的，则称此马氏链是遍历的。

综上所述，我们需要构造的马氏链必须是不可约的、正常返和非周期的.满足这些正则条件的马氏链存在唯一的平稳分布.

$\text{马氏链极限定理}$

定理1 设$\{X_n,n\ge 0\}$为一具有可数状态空间S的马氏链，其转移概率矩阵为$\mathbf{P}$.进一步假设它是不可约、非周期，有平稳分布$\pi =\{{\pi }_i,i\in S\}$,则有
$$\sum _{j\in S}|P(X_n=j)-{\pi }_j|\to 0$$对$X_0$任意的初始分布$\pi$成立.也就是在较大的$n$下，$X_n$的分布将会接近$\pi$ .

定理2(马氏链的大数定律) 假设$\{X_n,n\ge 0\}$为一具有可数状态空间S的马氏链，其转移概率矩阵为$\mathbf{P}$.进一步假设它是不可约的且有平稳分布$\pi =\{{\pi }_i:i\in S\}$,则对任何有界函数$h$,$S\to \mathbf{R}$以及初始值$X_0$的任意初始分布有
$$\frac{1}{n}\sum _{i=0}^{n-1}h(X_i)\to \sum _{j}h(j){\pi }_j,n\to \infty$$
依概率成立.当状态空间为不可数，马氏链$\{X_n,n\ge 0\}$为不可约且有平稳分布$\pi$,也有
$$\frac{1}{n}\sum _{i=0}^{n-1}h(X_i)\to {\int }_{S}h(x)d\pi (x),n\to \infty$$

MCMC实施

1、初始值

初始值被用来初始化一个马氏链。一般地，选择多个从不同初始值开始的链是推荐的做法(Brooks(1998)以及 Kass et al.(1998))。初始值远离后验后验密度的最高区域或者靠近后验分布的中心位置或似然函数的最大值点都被证明不是一个很好的选择Kass et al.(1998).

2、预烧期

在MCMC方法中用以保证链达到平稳状态所运行的时间称为预烧期(burn-in period)，其迭代次数记为B.为避免初始值的影响，预烧期中B个迭代值将被从样本中去除.只要链运行的时间足够长，去除预烧期对后验推断的影响几乎没有。

3、筛选间隔或步长

马氏链产生的样本并不是相互独立的，如果需要独立样本，可以通过监视产生样本的自相关图，然后选择筛选间隔或抽样步长$L>1$,使得$L$步长以后的自相关性很低。这样就可以通过每间隔$L$个样本抽取一个来获得(近似)独立样本.

4、迭代保持数$T$

设迭代总次数为$J$，迭代保持数为迭代总次数去掉预烧期迭代次数后，提供给后验贝叶斯分析用的实际样本数，故有$T=J-B$.

5、算法的收敛性

算法的收敛性是指所得到的链是否达到了平稳状态.如果达到了平稳分布，则我们得到的样本可以认为是从目标分布中抽取的样本.一般而言，我们并不清楚必须运行算法多长时间才能认为所得到的链达到了平稳分布.因此监视链的收敛性是MCMC方法中的本质问题.

6、蒙特卡洛误差

在MCMC输出结果分析中，一个必须监控的量就是蒙特卡洛误差。蒙特卡洛误差度量了每一个估计因为随机模拟而导致的波动性.常用的估计蒙特卡洛误差的方法有两种：组平均(batch mean)方法和窗口估计量(window estimator)方法.