机器学习-白板推导系列笔记（十三）-MCMC

此文章主要是结合哔站shuhuai008大佬的白板推导视频：MCMC_218min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、蒙特卡洛方法

蒙特卡洛方法（Monte Carlo Method）：基于采样的随机近似方法。
该方法旨在求得复杂概率分布下的期望值：

$E_{Z|x}[f(z)]=\int p(z|x)f\left(z\right)\text{d}z\approx \frac{1}{N}{\sum }_{i=1}^{N}f\text{(}{z}_i\text{)}$

其中 $z_i$ 是从概率分布 $p(z|x)$ 中取的样本，也就是从概率分布中取$N$个点来近似计算这个积分。

（一）概率分布采样

• a.求得概率密度函数PDF的累计密度函数CDF
• b.求CDF的反函数
• c.在0-1之间均匀取样，带入反函数，得到取样点

缺点：大部分PDF难以求得CDF

（二）拒绝采样（Rejection Sampling）

对于较复杂的概率分布 $p(z)$ ，引入简单的提议分布（proposal distribution）$q(z)$，使得任意的 $Mq(z_i)\ge p(z_i)$ ，然后对$q(z)$ 进行采样获得样本。具体的采样方法步骤为：

• a.选择概率密度函数为$q(z)$，作为提议分布，使其对任一$z$满足$Mq(z_i)\ge p(z_i)$，其中$M>0$；
• b.按照提议分布随机抽样$q(z)$得到样本$z_i$，再按照均匀分布在$(0,1)$范围内抽样得到$u_i$；
• c.如果$u_i\le \frac{p(z_i)}{Mq(z_i)}$，则将$z_i$作为抽样结果；否则，返回步骤b；
• d.获得$N$个样本，即结束。

优点：容易实现
缺点：采样效率可能不高

如果$p(z)$的涵盖体积占$Mq(z)$的涵盖体积的比例很低，就会导致拒绝的比例很高，抽样效率很低。
一般是在高维空间抽样，会遇到维度灾难的问题，即使$p(z)$与$Mq(z)$很接近，两者涵盖体积的差异也可能很大。

（三）重要性采样（Importance Sampling）

直接对期望$E_{p(z)}[f(z)]$进行采样

引入另一个分布$q(z)$：

$$\begin{gathered} E_{p\left(z\right)}\left[f\left(z\right)\right]=\int p\left(z\right)f\left(z\right)\text{d}z \\ =\int \frac{p\left(z\right)}{q\left(z\right)}q\left(z\right)f\left(z\right)\text{d}z \\ =\int f\left(z\right)\frac{p\left(z\right)}{q\left(z\right)}q\left(z\right)\text{d}z \\ \approx \frac{1}{N}\sum _{i=1}^{N}f\text{（}{z}_i\text{）}\underset{weight}{\frac{p\left(z_i\right)}{q\left(z_i\right)}} \\ {z}_i\sim q(z),i=1,2,\cdots ,N \end{gathered}$$

于是在$q(z)$中采样，并通过权重计算和。

缺点：权重⾮常⼩的时候，效率非常低

重要性采样有⼀个变种 Sampling Importance Resampling，这种方法，首先和上面⼀样进行采样，然后在采样出来的N个样本中，重新采样，这个重新采样，使⽤每个样本点的权重作为概率分布进行采样。

二、齐次马尔可夫链

马尔可夫链：时间和状态都是离散的

（一）齐次马尔可夫链（一阶马尔可夫链）

$X=\{X_0,X_1,\cdots ,X_t,\cdots \}$其中$X_t$表示$t$时刻的随机变量，并且每个随机变量的取值空间相同。
如果$X_t$只依赖于$X_{t-1}$，而不依赖于$\{X_0,X_1,\cdots ,X_{t-2}\}$，则称这一性质为马尔可夫性，即

$P(X_t|X_1,X_2,\cdots ,X_{t-1})=P(X_t|X_{t-1}),t=1,2,\cdots$

具有马尔可夫性的随机序列$X=\{X_0,X_1,\cdots ,X_t,\cdots \}$称为马尔可夫链（Markov Chain），或马尔可夫过程（Markov Process）。条件概率分布$P(X_t|X_{t-1})$称为马尔可夫链的转移概率分布。

当转移概率分布$P(X_t|X_{t-1})$与$t$无关，也就是说不同时刻的转移概率是相同的，则称该马尔可夫链为时间齐次的马尔可夫链（Time Homogenous Markov Chain），形式化的表达是：

$P(X_{t+s}|X_{t-1+s})=P(X_t|X_{t-1}),t=1,2,\cdots ;s=1,2,\cdots$

（二）概率转移矩阵

如果马尔可夫链的随机变量$X_t(t=0,1,2,\cdots )$定义在离散空间，则转移概率分布可以由矩阵表示。若马尔可夫链在时刻$t-1$处于状态$j$，在时刻t移动到状态$i$，将转移概率记作：
$q_{ij}=(X_t=i|X_{t-1}=j),i=1,2,\cdots ;j=1,2,\cdots$
满足：$q_{ij}\ge 0,{\sum }_i{q}_{ij}=1$
马尔可夫链的转移概率可以由矩阵表示，状态转移矩阵：（随机矩阵）

$$\begin{gathered} Q={\left[\begin{array}{ccccc}{Q}_{11}& Q_{12}& Q_{13}& \cdots & Q_{1k}\\ Q_{21}& Q_{22}& Q_{23}& \cdots & Q_{2k}\\ Q_{31}& Q_{32}& Q_{33}& \cdots & Q_{3k}\\ \cdots & \cdots & \cdots & \cdots & \cdots \\ Q_{k1}& Q_{k2}& Q_{k3}& \cdots & Q_{kk}\end{array}\right]}_{k\ast k} \\ {p}_{ij}\ge 0,\sum _i{p}_{ij}=1 \end{gathered}$$

令 $q^{(t+1)}={\left[\begin{array}{cccc}(q^{(t+1)}(x=1)& q^{(t+1)}(x=2)& \cdots & q^{(t+1)}(x=k))\end{array}\right]}_{1\ast k}$

而 $q^{(t+1)}(x=j)={\sum }_{i=1}^k{q}^{(t)}(x=i)Q_{ij}$

所以

$q^{(t+1)}={\left[\begin{array}{cccc}({\sum }_{i=1}^k{q}^{(t)}(x=i)Q_{i1}& {\sum }_{i=1}^k{q}^{(t)}(x=i)Q_{i2}& \cdots & {\sum }_{i=1}^k{q}^{(t)}(x=i)Q_{ik})\end{array}\right]}_{1\ast k}=q^{(t)}Q$
$q^{(t)}={\left[\begin{array}{cccc}(q^{(t)}(x=1)& q^{(t)}(x=2)& \cdots & q^{(t)}(x=k))\end{array}\right]}_{1\ast k}$
$q^{(t+1)}=q^{(t)}Q=\cdots =q^{(1)}{Q}^t$

因为随机矩阵：特征值的绝对值$\le 1$，所以$Q=A\Lambda A^{-1}$，其中

$$\Lambda =\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \cdots & \\ & & & {\lambda }_k\end{array}\right]，\left|{\lambda }_i\right|\le 1，i=1,2,\cdots ,k$$

不妨设只有${\lambda }_i$为$1$， $q^{(t+1)}=q^{(1)}(A\Lambda A^{-1}{)}^t=q^{(1)}A\Lambda A^{-1}$ ，存在足够大的$m$，使得

$${\Lambda }^m=\left[\begin{array}{ccccc}0& & & & \\ & \cdots & & & \\ & & 1& & \\ & & & \cdots & \\ & & & & 0\end{array}\right]$$

所以：

$$q^{(m+1)}=q^{(1)}A{\Lambda }^m{A}^{-1}$$$$\begin{gathered} q^{(m+2)}=q^{(m+1)}A\Lambda A^{-1} \\ =q^{(1)}A{\Lambda }^m{A}^{-1}A\Lambda A^{-1} \\ =q^{(1)}A{\Lambda }^{m+1}{A}^{-1} \\ =q^{(m+1)} \end{gathered}$$

所以得到：

$$q^{(m+2)}=q^{(m+1)}$$

当$t>m$时，

$$q^{(m+1)}=q^{(m+1)}=\cdots =q^{(\infty )}=\cdots$$

（三）状态分布

考虑马尔可夫链$X=\{X_0,X_1,\cdots ,X_t,\cdots \}$在时刻$X_t(t=0,1,2,\cdots )$的概率分布，称为时刻$t$的状态分布，记作：

$$\pi (t)=\left[\begin{array}{c}{\pi }_1(t)\\ {\pi }_2(t)\\ ⋮\end{array}\right]$$

其中${\pi }_i(t)$表示时刻$t$状态为$i$的概率$P(X_i=i)$，即：
${\pi }_i(t)=P(X_i=i),i=1,2,\cdots$

对于马尔可夫链的初始状态分布：

$$\pi (0)=\left[\begin{array}{c}{\pi }_1(0)\\ {\pi }_2(0)\\ ⋮\end{array}\right]$$

其中${\pi }_i(0)$表示时刻$0$状态为$i$的概率$P(X_0=i)$。通常初始分布${\pi }_i(0)$的向量只有一个分量是$1$，其余分量为$0$，表示马尔可夫链是从一个具体状态开始的。

马尔可夫链在时刻$t$的状态分布，可以由在时刻$t-1$的状态分布以及转移概率分布决定：

$$\pi (t)=P\pi (t-1)$$

其中：

$$\begin{gathered} {\pi }_i(t)=P(X_t=i) \\ =\sum _{m}P(X_t=i|X_{t-1}=m)P(X_{t-1}=m) \\ =\sum _m{p}_{im}{\pi }_m(t-1) \end{gathered}$$

马尔可夫链在时刻的状态分布，可以通过递推得到：

$$\pi (t)=P\pi (t-1)=P(P\pi (t-2))=P^2\pi (t-2)$$

递推得到：

$$\pi (t)=P^t\pi (0)$$

这里的递推式表明马尔可夫链的状态分布由初始分布和转移概率分布决定。

这里的$P^t$称为$t$步转移概率矩阵：

$$P_{ij}^t=P(X_t=i|X_0=j)$$

（四）平稳分布

对于一个马尔可夫链$X$，如果其状态空间上存在一个分布：

$$\pi =\left[\begin{array}{c}{\pi }_1\\ {\pi }_2\\ ⋮\end{array}\right]$$

使得$\pi =P\pi$，则称$\pi$为马尔可夫链$X$的平稳分布。

直观地来看，如果以该平稳分布作为初始分布，面向未来进行随机状态转移，之后任何一个时刻的状态分布都是该平稳分布。
利用Markov Chain收敛于平稳分布，设计$Q$，使得平稳分布$q(x)\approx$目标分布$p(x)$

三、Metropilis-Hastings算法（MH算法）

假设要抽样的概率分布为$p(x)$。MH算法采用转移核为$p(x,x^{\ast })$的马尔可夫链：

$$p(x,x^{\ast })=q(x,x^{\ast })\alpha (x,x^{\ast })$$

其中$q(x,x^{\ast })$称为建议分布（proposal distribution），$\alpha (x,x^{\ast })$称为接受分布（acceptance distribution）。

$q(x,x^{\ast })$是另一个马尔可夫链的转移核，并且$q(x,x^{\ast })$是不可约的，即其概率值恒不为0，同时也是一个容易抽样的分布。接受分布$\alpha (x,x^{\ast })$是：

$$\alpha (x,x^{\ast })=min\left\{1,\frac{p(x^{\ast })q(x^{\ast },x)}{p(x)q(x,x^{\ast })}\right\}$$

$$p(x,x^{\ast })=\{\begin{array}{c}q(x,x^{\ast }),p(x^{\ast })q(x^{\ast },x)\ge p(x)q(x,x^{\ast })\\ q(x^{\ast },x)\frac{p(x^{\ast })}{p(x)},p(x^{\ast })q(x^{\ast },x)<p(x)q(x,x^{\ast })\end{array}$$

从区间(0,1)上的均匀分布中抽取一个随机数$u$，决定时刻$t$的状态：

$$x_t=\{\begin{array}{c}{x}^{\ast },u\le \alpha (x,x^{\ast })\\ x,u>\alpha (x,x^{\ast })\end{array}$$

（一）定理

由转移核$p(x,x^{\ast })=q(x,x^{\ast })\alpha (x,x^{\ast })$构成的马尔可夫链是可逆的，即：

$$p(x)p(x,x^{\ast })=p(x^{\ast })p(x^{\ast },x)$$

并且$p(x)$是该马尔可夫链的平稳分布。

（二）证明

若$x=x^{\ast }$，则上式显然成立。
若$x\ne x^{\ast }$，则：

$$\begin{gathered} p(x)p(x,x^{\ast })=p(x)q(x,x^{\ast })min\left\{1,\frac{p(x^{\ast })q(x^{\ast },x)}{p(x)q(x,x^{\ast })}\right\} \\ =min\left\{p(x)q(x,x^{\ast }),p(x^{\ast })q(x^{\ast },x)\right\} \\ =p(x^{\ast })q(x^{\ast },x)min\left\{\frac{p(x)q(x,x^{\ast })}{p(x^{\ast })q(x^{\ast },x)},1\right\} \\ =p(x^{\ast })p(x^{\ast },x) \end{gathered}$$

由$p(x)p(x,x^{\ast })=p(x^{\ast })p(x^{\ast },x)$知：

$$\begin{gathered} \int p(x)p(x,x^{\ast })\mathrm{d}x \\ =\int p(x^{\ast })p(x^{\ast },x)\mathrm{d}x \\ =p(x^{\ast })\int p(x^{\ast },x)\mathrm{d}x \\ =p(x^{\ast }) \end{gathered}$$

所以$p(x)$是该马尔可夫链的平稳分布。

（三）建议分布

建议分布$q(x,x^{\ast })$有多种可能的形式，这里介绍两种常用形式。

• 第一种形式
  假设建议分布是对称的，即对任意的$x$和$x^{\ast }$有：$q(x,x^{\ast })=q(x^{\ast },x)$
  这样的建议分布称为Metropolis选择，也是MH算法最初采用的建议分布。这时，接受分布$\alpha (x,x^{\ast })$简化为：

$\alpha (x,x^{\ast })=min\left\{1,\frac{p(x^{\ast })}{p(x)}\right\}$

Metropolis特例：

①$q(x,x^{\ast })=p(x^{\ast }|x)$，定义为多元正态分布，其均值是$x$，其协方差矩阵是常数矩阵（因为协方差矩阵是常数矩阵，所以$q(x,x^{\ast })$对称）。
②$q(x,x^{\ast })=q(|x=x^{\ast }|)$，这时算法称为随机游走Metropolis算法。例如：
$q(x,x^{\ast })\propto exp\left\{-\frac{(x^{\ast }-x{)}^2}{2}\right\}$
Metropolis选择的特点是当$x^{\ast }$与$x$接近时，$q(x,x^{\ast })$的概率值高，否则$q(x,x^{\ast })$的概率值低。状态转移在附近点的可能性更大。

• 第二种形式
  第二种形式称为独立抽样，假设$q(x,x^{\ast })$与当前状态x无关，即$q(x,x^{\ast })=q(x^{\ast })$。建议分布的计算按照$q(x^{\ast })$独立抽样进行。此时，接受分布可以写成：

$$\alpha (x,x^{{}^{\prime }})=min\left\{1,\frac{w(x^{{}^{\prime }})}{w(x)}\right\}$$

其中：

$$w(x^{\ast })=\frac{p(x^{\ast })}{q(x^{\ast })},w(x)=\frac{p(x)}{q(x)}$$

独立抽样实现简单，但可能收敛速度慢，通常选择接近目标状态分布$p(x)$的分布作为建议分布$q(x)$。

（四）满条件分布

MCMC的目标分布通常是多元联合概率分布$p(x)=p(x_1,x_2,\cdots ,x_k)$，其中$x=(x_1,x_2,\cdots ,x_k{)}^T$为$k$维随机变量。如果条件概率分布$p(x_I|x_{-I})$中所有$k$个变量全部出现，其中$x_I=\left\{x_i,i\in I\right\},x_{-I}=\left\{x_i,i\notin I\right\},I\subset K=\left\{1,2,\cdots ,k\right\}$，那么称这种条件概率分布为满条件分布（full conditional distribution）。

满条件分布有以下性质：对任意的$x,x^{\ast }\in \mathcal{X}$和任意的$I\subset K$有：

$$p(x_I|x_{-I})=\frac{p(x)}{\int p(x)\mathrm{d}{x}_I}\propto p(x)$$

而且，对任意的$x,x^{\ast }\in \mathcal{X}$和任意的$I\subset K$有：

$$\frac{p(x_I^{\ast }|x_{-I}^{\ast })}{p(x_I|x_{-I})}=\frac{p(x^{\ast })}{p(x)}$$

MH算法中可以利用上述性质，简化运算，提高效率。具体地，通过满条件分布概率的比$\frac{p(x_I^{\ast }|x_{-I}^{\ast })}{p(x_I|x_{-I})}$计算联合概率的比$\frac{p(x^{\ast })}{p(x)}$，而前者更容易计算。

（五）计算步骤

• a.任意选择一个初始值$x_0$；
• b.对$i=1,2,\cdots ,n$循环执行：
    (i)设状态$x_{i-1}=x$，按照建议分布$q(x,x^{\ast })$随机抽取一个候选状态$x^{\ast }$；
    (ii)计算接收概率：$\alpha (x,x^{\ast })=min\left\{1,\frac{p(x^{\ast })q(x^{\ast },x)}{p(x)q(x,x^{\ast })}\right\}$
    (iii)从区间$(0,1)$中按均匀分布随机抽取一个数$u$。若$u\le \alpha (x,x^{\ast })$，则状态$x_i=x^{\ast }$，否则，状态$x_i=x$；
• c.得到样本集合$\left\{x_{m+1},x_{m+2},\cdots ,x_n\right\}$，计算函数样本均值$f_{mn}$：

$$f_{mn}=\frac{1}{n-m}\sum _{i=m+1}^{n}f(x_i)$$

（六）单分量MH算法

在MH算法中，通常需要对多元变量分布进行抽样，有时对多元变量的抽样是困难的。可以对多元变量的每一变量的条件分布依次分别进行抽样，从而实现对整个多元变量的一次抽样，这就是单分量MH（single-component Metropolis-Hastings）算法。
假设马尔可夫链的状态有$k$维随机变量表示：

$$x=(x_1,x_2,\cdots ,x_k{)}^T$$

为了生成容量为$n$的样本集合$\left\{x^{(1)},x^{(2)},\cdots ,x^{(n)}\right\}$，单分量MH算法由下面的$k$步迭代实现MH算法的一次迭代。
设在第$i-1$次迭代结束时分量$x_j$的取值为$x_j^{(i-1)}$，在第$i$次迭代的第$j$步，对分量$x_j$根据MH算法更新，得到其新的取值$x_j^{(i)}$。首先，由建议分布$q(x_j^{(i-1)},x_j|x_{-j}^{(i)})$抽样产生分量$x_j$的候选值$x_j^{{}^{\prime }(i)}$，这里x${}_{-j}^{(i)}$表示在第i次迭代的第$j-1$步后的$x^i$除去$x_j^{i-1}$的所有值，即：

$$x_{-j}^{(i)}=(x_1^{(i)},\cdots ,x_{j-1}^{(i)},x_{j+1}^{(i-1)},\cdots ,x_k^{(i-1)}{)}^T$$

其中分量$1,2,\cdots ,j-1$已经更新。然后，按照接受概率：

$$\alpha (x_j^{(i-1)},x_j^{{}^{\prime }(i)}|x_{-j}^{(i)})=min\left\{1,\frac{p(x_j^{{}^{\prime }(i)}|x_{-j}^{(i)})q(x_j^{{}^{\prime }(i)},x_j^{(i-1)}|x_{-j}^{(i)})}{p(x_j^{(i-1)}|x_{-j}^{(i)})q(x_j^{(i-1)},x_j^{{}^{\prime }(i)}|x_{-j}^{(i)})}\right\}$$

抽样决定是否接受候选值$x_j^{{}^{\prime }(i)}$。如果$x_j^{{}^{\prime }(i)}$被接受，则令$x_j^{(i)}=x_j^{{}^{\prime }(i)}$；否则$x_j^{(i)}=x_j^{(i-1)}$。其余分量在第$j$步不改变。马尔可夫链的转移概率为：

$$p(x_j^{(i-1)},x_j^{{}^{\prime }(i)}|x_{-j}^{(i)})=\alpha (x_j^{(i-1)},x_j^{{}^{\prime }(i)}|x_{-j}^{(i)})q(x_j^{(i-1)},x_j^{{}^{\prime }(i)}|x_{-j}^{(i)})$$

四、吉布斯抽样（Gabbs sampling）

吉布斯抽样使用广泛，可以认为是MH算法的特殊情况，但是更容易实现。

（一）基本原理

吉布斯抽样（Gabbs sampling）用于多元变量联合分布的抽样和估计。

假设多元变量的联合概率分布为$p(x)=p(x_1,x_2,\cdots ,x_k)$。吉布斯抽样从一个初始样本$x^{(0)}=(x_1^{(0)},x_2^{(0)},\cdots ,x_k^{(0)}{)}^T$出发，不断进行迭代，每一次迭代得到联合概率分布的一个样本$x^{(i)}=(x_1^{(i)},x_2^{(i)},\cdots ,x_k^{(i)}{)}^T$。最终得到样本序列$\left\{x^{(0)},x^{(1)},\cdots ,x^{(n)}\right\}$。

在每次迭代中，依次对$k$个随机变量中的一个变量进行随机抽样。如果在第$i$次迭代中，对第$j$个变量进行随机抽样，那么抽样的分布就是满条件概率分布$p(x_j,x_{-j}^{(i)})$。

设在第$i-1$步得到样本$(x_1^{(i-1)},x_2^{(i-1)},\cdots ,x_k^{(i-1)}{)}^T$，在第$i$步，首先对第一个变量按照以下满条件概率分布随机抽样：

$$p(x_1|x_2^{(i-1)},\cdots ,x_k^{(i-1)})$$

得到$x_1^{(i)}$，之后依次对第$j$个变量按照以下满条件概率分布随机抽样：

$$p(x_j|x_1^{(i)},\cdots ,x_{j-1}^{(i)},x_{j+1}^{(i-1)},\cdots ,x_k^{(i-1)}),j=2,\cdots ,k-1$$

得到$x_j^{(i)}$，最后对第$k$个变量按照以下满条件概率分布随机抽样：

$$p(x_k|x_1^{(i)},\cdots ,x_{k-1}^{(i)})$$

得到$x_k^{(i)}$，于是得到样本$x^{(i)}=(x_1^{(i)},x_2^{(i)},\cdots ,x_k^{(i)}{)}^T$。

（二） 吉布斯抽样与单分量MH算法的关系

吉布斯抽样是单分量MH算法的特殊情况。定义建议分布是当前变量$x_j，j=1,2,\cdots ,k$的满条件概率分布：

$$q(x,x^{\ast })=p(x_j^{\ast }|x_{-j})$$

这时，接受概率$\alpha =1$，

$$\begin{gathered} \alpha (x,x^{\ast })=min\left\{1,\frac{p(x^{\ast })q(x^{\ast },x)}{p(x)q(x,x^{\ast })}\right\} \\ =min\left\{1,\frac{p(x_{-j}^{\ast })p(x_j^{\ast }|x_{-j}^{\ast })p(x_j|x_{-j}^{\ast })}{p(x_{-j})p(x_j|x_{-j})p(x_j^{\ast }|x_{-j})}\right\}=1 \end{gathered}$$

这里用到了$p(x_{-j})=p(x_{-j}^{\ast })$和$p(\cdot |x_{-j})=p(\cdot |x_{-j}^{\ast })$。

转移核就是满条件概率分布：

$$p(x,x^{\ast })=p(x_j^{\ast }|x_{-j})$$

也就是说按照单分量的满条件概率分布$p(x_j^{{}^{\prime }}|x_{-j})$进行随机抽样，就能实现单分量MH算法。吉布斯抽样对每次抽样的结果都接受，没有拒绝，这一点和一般的MH算法不同。
这里，假设满条件概率分布$p(x_j^{{}^{\prime }}|x_{-j})$不为$0$，即马尔可夫链是不可约的。

（三）计算步骤

• a.初始化，给出初始样本$x^{(0)}=(x_1^{(0)},x_2^{(0)},\cdots ,x_k^{(0)}{)}^T$；
• b.对$i=1,2,\cdots ,n$循环执行：
  (第$1$步))由满条件分布$p(x_1|x_2^{(i-1)},\cdots ,x_k^{(i-1)})$抽取$x_1^{(i)}$；
  $⋮$
  (第$j$步)由满条件分布$p(x_j|x_1^{(i)},\cdots ,x_{j-1}^{(i)},x_{j+1}^{(i-1)},\cdots ,x_k^{(i-1)})$抽取$x_j^{(i)}$；
  $⋮$
  (第$k$步)由满条件分布$p(x_k|x_1^{(i)},\cdots ,x_{k-1}^{(i)})$抽取$x_k^{(i)}$。
  得到第$i$次迭代值$x^{(i)}=(x_1^{(i)},x_2^{(i)},\cdots ,x_k^{(i)}{)}^T$。
• c.得到样本集合$\left\{x^{(m+1)},x^{(m+2)},\cdots ,x^{(n)}\right\}$，计算函数样本均值$f_{mn}$：

$$f_{mn}=\frac{1}{n-m}\sum _{i=m+1}^{n}f(x^{(i)})$$

（四）对比单分量MH算法

单分量MH算法中，抽样会在样本点之间移动，但其间可能在某一些样本点上停留（由于采样被拒绝），适合于满条件概率分布不容易抽样的情况。
吉布斯抽样算法中，抽样点会在样本点之间持续移动，适合于满条件概率分布容易抽样的情况。

五、MCMC的问题

• 理论上只保证了收敛性，但不知何时开始收敛
• mixing time过长$\to p(x)$太复杂$\to$高维及相关性
• 样本之间有一定的相关性

下一章传送门：白板推导系列笔记（十四）-隐马尔可夫模型

参考文章
MCMC|机器学习推导系列