马尔可夫链蒙特卡洛法（MCMC）的原理讲解以及Metropolis-Hasting与Jibbs算法python实现

马尔可夫链

考虑一个随机变量的序列$X=\{X_0,X_1,\cdots ,X_t,\cdots \}$，这里$X_t$表示时刻$t$的随机变量，$t=0,1,2,\cdots$，每个随机变量$X_t$的取值集合相同，称为状态空间，表示为$S$。随机变量可以是离散的，也可以是连续的，以上随机变量的序列构成随机过程（stochastic process）

马尔可夫性

$$P(X_t|X_0,X_1,\cdots ,X_{t-1})=P(X_t|X_{t-1}),t=1,2,\cdots$$
直观解释是：未来只依赖于现在，而与过去无关
若转移概率分布$P(X_t|X_{t-1})$与$t$无关，即
$$P(X_{t+s}|X_{t+s-1})=P(X_t|X_{t-1}),t=1,2,\cdots ;s=1,2,\cdots$$
则称该马尔可夫链为时间齐次的马尔可夫链。

马尔可夫链的分布

马尔可夫链的状态分布由初始分布和转移概率分布决定。
$$\pi (t)=P^t\pi (0)$$
其中，$P^t$称为$t$步转移概率矩阵。

平稳分布

对于马尔可夫链，若存在一个状态空间$S$上的一个分布，$\pi =[{\pi }_1,{\pi }_2,\cdots ]$，使得$\pi =P\pi$，则称$\pi$为马尔可夫链的平稳分布。
马尔可夫链可能存在唯一平稳分布，无穷多个平稳分布，或不存在平稳分布。

连续状态的马尔可夫链

设$S$是连续状态空间，对任意的$x\in S,a\subset S$，转移核$P(x,A)$定义为
$$P(x,A)={\int }_{A}p(x,y)dy$$
其中$p(x,\cdot )$是概率密度函数，满足$p(x,\cdot )⩾0$，$P(x,S)={\int }_{S}p(x,y)dy=1$，转移核$P(x,A)$表示从$x\sim A$的转移概率
$$P(X_t=A|X_{t-1}=x)=P(x,A)$$
如果马尔可夫链的状态空间$S$上的概率分布$\pi (x)$满足条件
$$\pi (y)=\int p(x,y)\pi (x)dx,\forall y\in S$$
则称分布$\pi (x)$为该马尔可夫链的平稳分布。

马尔可夫链的性质

1、不可约

设有马尔可夫链$X$，状态空间为$S$，对于任意状态$i,j\in S$，如果存在一个时刻$t(t>0)$，满足
$$P(X_t=i|X_0=j)>0$$
也就是说，时刻0从状态$j$出发，时刻$t$到达状态$i$的概率大于0，则称此马尔可夫链X是不可约的。

2、非周期

设马尔可夫链$X$，状态空间为$S$，对于任意状态$i\in S$，如果时刻0从状态$i$出发，$t$时刻返回状态的所有时间长$\{t:P(X_t=i|X_0=i)>0\}$的最大公约数是1，则称次马尔可夫链$X$是非周期的，否找称马尔可夫链是周期的。
直观上，一个非周期性的马尔可夫链，不存在一个状态，从这个状态出发，再返回到这个状态是所经历的时间长呈现一定的周期性。

定理1：不可约且非周期性的有限状态马尔可夫链，有唯一平稳分布存在。
注意，此时定理只对于有限状态的马尔可夫链成立。

3、正常返

设有马尔可夫链$X$，状态空间为$S$，对于任意状态$i,j\in S$，定义概率$p_{ij}^t$为时刻0从状态$j$出发，时刻$t$首次转移到状态$i$的概率，即$p_{ij}^t=P(X_t=i,X_s\ne i,s=1,2,\cdots ,t-1|X_0=j),t=1,2,\cdots$，若对所有状态$i,j$都满足${\lim }_{t\to \infty }{p}_{ij}^t>0$，则称马尔可夫链$X$是正常返的。
直观上，一个正常返的马尔可夫链，其中任意一个状态，从其他任意一个状态出发，当时间趋于无穷时，首次转移到这个状态的概率不为0.
定理2：不可约、非周期且正常返的马尔可夫链，有唯一平稳分布存在。
此时对于连续状态空间的马尔可夫链也成立。

4、遍历定理

设马尔可夫链$X$，状态空间为$S$，若次马尔可夫链为不可约、非周期且正常返的，则此马尔可夫链有位移的平稳分布$\pi =({\pi }_1,{\pi }_2,\cdots {)}^T$，并且转移概率的极限分布是马尔可夫链的平稳分布
$$\underset{t\to \infty }{\lim }P(X_t=i|X_0=j)={\pi }_i,i=1,2,\cdots ;j=1,2,\cdots$$
直观解释：蛮子相应条件的马尔可夫链，当时间区域正无穷时，马尔可夫链的状态分布趋近于平稳分布，随机变量的函数的样本均值以概率1收敛于该函数的数学期望。

5、可逆马尔可夫链

设有马尔可夫链$X$，状态空间为$S$，转移概率矩阵为$P$，如果有状态分布$\pi =({\pi }_1,{\pi }_2,\cdots {)}^T$，对于任意状态$i,j\in S$，对任意一个时刻$t$满足
$$P(X_t=i|X_{t-1}=j){\pi }_j=P(X_t=j|X_{t-1}=i){\pi }_i,i,j=1,2,\cdot$$
或简写为
$$p_{ji}{\pi }_j=p_{ij}{\pi }_i,i,j=1,2,\cdots$$
则称此马尔可夫链$X$可逆马尔可夫链。上述式子为细致平衡方程(detailed-balance equation)
满足细致平衡方程的状态分布$\pi$就是该马尔可夫链的平稳分布，即
$$P\pi =\pi$$
可逆马尔可夫链一定有唯一平稳分布，此为充分条件。
证明：
$$P(\pi {)}_i=\sum _j{p}_{ij}{\pi }_j=\sum _j{p}_{ji}{\pi }_i={\pi }_i\sum _j{p}_{ji}={\pi }_i$$

马尔可夫链蒙特卡洛法（MCMC）

适用于随机变量时多元的、密度函数是非标准形式的、随机变量各分量不独立等情况。
假设多元随机变量，其概率密度为$p(x)$，$f(x)$是定义在$x$上的函数。目标是获取符合概率分布$p(x)$的分布，并求解函数$f(x)$的数学期望$E_{p(x)}[f(x)]$。
基本思想：在随机变量$x$的状态空间$S$上定义一个满足变量定理的马尔可夫链，使其平稳分布就是抽样的目标分布$p(x)$。

Metropolis-Hastings算法

假设要抽样的概率分布为$p(x)$，M-H方法采用转移核为$p(x,x^{{}^{\prime }})$的马尔可夫链：
$$p(x,x^{{}^{\prime }})=q(x,x^{{}^{\prime }})\alpha (x,x^{{}^{\prime }})$$
其中$q(x,x^{{}^{\prime }})$和$\alpha (x,x^{{}^{\prime }})$分别称为建议分布和接受分布。建议分布$q(x,x^{{}^{\prime }})$是另外一个马尔可夫链的转移核，并且$q(x,x^{{}^{\prime }})$是不可约的，其概率值恒不为0，同时是一个容易抽样的分布。接受分布$\alpha (x,x^{{}^{\prime }})$是
$$\alpha (x,x^{{}^{\prime }})=\min \{1,\frac{p(x^{{}^{\prime }})q(x^{{}^{\prime }},x)}{p(x)q(x,x^{{}^{\prime }})}\}$$
可以证明，转移核为$p(x,x^{{}^{\prime }})$的马尔可夫链是可逆马尔可夫链（满足遍历定理），其平稳分布就是$p(x)$，即要抽样的目标分布。
展示代码：

import numpy as np
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['FangSong']
plt.rcParams['axes.unicode_minus'] = False


class MCMC:
    def __init__(self, m, n):
        self.m = m
        self.n = n
        self.x = 2.5
        self.samples = []

    def p(self, x):  # 假设f1为我们想要进行抽样的分布
        return 0.3/np.sqrt(np.pi*2)*np.exp(-(x+2)**2/2) + 0.7/np.sqrt(np.pi*2)*np.exp(-(x-4)**2/2)

    def q(self, m, x):
        return 1/np.sqrt(2*np.pi)*np.exp(-(x-m)**2/2)

    def plot(self):
        x = np.arange(-10, 10, 0.01)
        plt.plot(x, self.p(x), linewidth=3)

    def sampling(self):
        for i in range(self.m):
            x = np.random.normal(self.x, 1)
            t = min(1, self.p(x)*self.q(x, self.x)/(self.p(self.x)*self.q(self.x, x)))
            u = np.random.random()
            if u < t:
                self.x = x
        for i in range(self.n):
            x = np.random.normal(self.x, 1)
            t = min(1, self.p(x) * self.q(x, self.x) / (self.p(self.x) * self.q(self.x, x)))
            u = np.random.random()
            if u < t:
                self.x = x
            self.samples.append(self.x)

    def test(self):
        plt.hist(self.samples, bins=200, normed=True)
        plt.show()


M = MCMC(10000, 500000)
M.sampling()
M.plot()
M.test()

运行结果为：

可以看到，抽样的结果已经近似于标准的分布。

Jibbs算法

Jibbs采样用于多元变量联合分布的抽样估计。基本做法是，从联合概率分布定义满条件概率分布，依次对满条件概率分布进行抽样，得到样本的序列。可以证明这样的抽样过程是在一个马尔可夫链上游走，每一个样本对应着马尔可夫链的状态，平稳分布就是目标的联合分布。
假设多元变量的联合分布为$p(x)=p(x_1,x_2,\cdots ,x_k)$。吉布斯抽样从一个初始样本$x^{(0)}=(x_1^{(0)},x_2^{(0)},\cdots ,x_k^{(0)}{)}^T$出发，不断进行迭代，每一次迭代得到联合分布的一个样本$x^{(i)}=(x_1^{(i)},x_2^{(i)},\cdots ,x_k^{(i)}{)}^T$。最终得到样本序列$\{x^{(0)},x^{(1)},\cdots ,x^{(n)}\}$。
在每次迭代中，依次对k个随机变量中的一个变量进行随机抽样。如果在第$i$次迭代中，对第$j$个变量进行随机抽样，那么抽样的分布是满条件概率分布$p(x_j|x_{-j}^{(i)})$，这里$x_{-j}^{(i)}$表示第$i$次迭代中，变量$j$以外的其他变量。
Jibbs抽样就是单分量Metropolis-Hesting 算法的特殊情况，定义建议分布当前变量$x_j,j=1,2,\cdots ,k$的满条件概率分布
$$q(x,x^{{}^{\prime }})=p(x_j^{{}^{\prime }}|x_{-j})$$
用到$p(x_{-j})=p(x_{-j}^{{}^{\prime }})$和$p(\cdot |x_{-j})=p(\cdot |x_{-j}^{{}^{\prime }})$，可以证明接受概率$\alpha =1$
代码如下：

import numpy as np
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['FangSong']
plt.rcParams['axes.unicode_minus'] = False


class Jibbs:
    def __init__(self, m, n):
        self.x = [0, 0]
        self.samples = []
        self.mean = [0, 0]
        self.p = 0.5
        self.cov = [[1, self.p], [self.p, 1]]
        self.m = m
        self.n = n

    def sampling(self):
        for i in range(self.m):
            x = np.random.normal(self.p * self.x[1], 1 - self.p ** 2)
            self.x[0] = x
            x = np.random.normal(self.p * self.x[0], 1 - self.p ** 2)
            self.x[1] = x
        for i in range(self.n):
            x = np.random.normal(self.p * self.x[1], 1 - self.p ** 2)
            self.x[0] = x
            self.samples.append(self.x.copy())
            x = np.random.normal(self.p * self.x[0], 1 - self.p ** 2)
            self.x[1] = x
            self.samples.append(self.x.copy())
        self.samples = np.array(self.samples)

    def process(self):  # 展示抽样过程
        plt.pause(1)
        for i in range(self.samples.shape[0]):
            plt.plot(self.samples[:i, 0], self.samples[:i, 1], color='blue')
            plt.pause(0.01)
        plt.pause(3)

    def contrast(self):  # 与标准进行对比
        p1 = plt.subplot(1, 2, 1)
        p1.set_title('抽样结果')
        plt.axis([-5, 5, -5, 5])
        plt.scatter(self.samples[:, 0], self.samples[:, 1])
        p2 = plt.subplot(1, 2, 2)
        p2.set_title('标准')
        plt.axis([-5, 5, -5, 5])
        X = np.random.multivariate_normal(self.mean, self.cov, self.samples.shape[0])
        plt.scatter(X[:, 0], X[:, 1])
        plt.show()


J = Jibbs(100, 150)
J.sampling()
J.process()

运行的结果为：

展示的是采用Gibbs采样的过程。
最终的采样结果为：

可见，抽样的结果已经与标准相差无几。