机器学习笔记马尔可夫链蒙特卡洛方法(二)马尔可夫链与平稳分布

引言

上一节介绍了蒙特卡洛方法的具体思想 以及一些具体的蒙特卡洛方法。本节将介绍MCMC的另一个关键点：马尔可夫链(Markov Chain)。

回顾：蒙特卡洛方法

蒙特卡洛方法(Monte Carlo Method)的本质是通过采样的方式求解概率分布的期望信息。但主要问题在于采样过程中，由于待采样的概率分布$\mathcal{P}(\mathcal{X})$过于复杂(例如样本维度特征过高)，从而无法实现 直接采样。

基于上述问题，介绍了两种采样方式：拒绝采样(Rejection Sampling)和重要性采样(Importance Sampling)。两种采样方式的共同点在于：

• 它们都没有直接对概率分布$\mathcal{P}(\mathcal{X})$进行采样，而是选择一个较容易采样的概率分布$\mathcal{Q}(\mathcal{X})$作为候选分布(Proposal Distribution)，构建$\mathcal{P}(\mathcal{X})$和$\mathcal{Q}(\mathcal{X})$之间的关联关系，从而 通过采样$\mathcal{Q}(\mathcal{X})$来近似估计$\mathcal{P}(\mathcal{X})$的采样：

  • 拒绝采样将某样本点$x^{(i)}\in \mathcal{X}$在$\mathcal{P}(x^{(i)})$和$\mathcal{M}\cdot \mathcal{Q}(x^{(i)})$之间的差距关系映射成概率，从而基于该概率进行采样：
    $$u\sim \mathcal{U}(0,1)u\stackrel{\text{?}}{\iff }\frac{\mathcal{P}(x^{(i)})}{\mathcal{M}\cdot \mathcal{Q}(x^{(i)})}$$
  • 重要性采样引入候选分布$\mathcal{Q}(\mathcal{X})$将原始概率分布$\mathcal{P}(\mathcal{X})$的期望结果映射为带重要性权重的期望结果：
    $$\begin{array}{rl}{\mathbb{E}}_{\mathcal{P}(\mathcal{X})}[f(\mathcal{X})]& ={\int }_{\mathcal{X}}\left[\frac{\mathcal{P}(\mathcal{X})}{\mathcal{Q}(\mathcal{X})}\cdot f(\mathcal{X})\right]d\mathcal{X}\\ & =\frac{1}{N}\sum _{i=1}^N\left[f(x^{(i)})\cdot \frac{\mathcal{P}(x^{(i)})}{\mathcal{Q}(x^{(i)})}\right]\end{array}$$

• 在使用相应方法的过程中，对相应的候选分布$\mathcal{Q}(\mathcal{X})$存在限制条件：它们都需要候选分布$\mathcal{Q}(\mathcal{X})$与原始分布$\mathcal{P}(\mathcal{X})$相似：

  • 拒绝采样需要满足$\mathcal{X}$定义域内，$\mathcal{M}\cdot \mathcal{Q}(\mathcal{X})$结果处处大于$\mathcal{P}(\mathcal{X})$的条件下，使$\mathcal{M}$越小越好。但这不仅仅和$\mathcal{M}$相关，选择的候选分布同样重要；
  • 重要性采样需要选择的候选分布$\mathcal{Q}(\mathcal{X})$使重要性权重$\frac{\mathcal{P}(\mathcal{X})}{\mathcal{Q}(\mathcal{X})}$尽可能地趋近于1。
    $$\frac{\mathcal{P}(\mathcal{X})}{\mathcal{Q}(\mathcal{X})}\iff 1$$

实际情况是，在基于高维空间中的概率分布$\mathcal{P}(\mathcal{X})$，很难找到一个与$\mathcal{P}(\mathcal{X})$近似并且采样简单的概率分布$\mathcal{Q}(\mathcal{X})$。因此，需要观察是否存在其他的采样方法——马尔可夫链蒙特卡洛方法(Markov Chain Monte Carlo,MCMC)。

马尔可夫链与平稳分布

马尔可夫链

马尔可夫链是一种具有马尔可夫性质，并且存在于离散的时间与状态下的随机过程。
随机过程研究的对象不同于以往的随机变量，而是随机变量序列。

• 通常情况下，随机变量$\mathcal{X}$可能服从某一概率分布$P(\mathcal{X})$：
  $$\mathcal{X}\sim P(\mathcal{X})$$
• 随机过程研究的对象可能是基于时间或者空间变化的若干离散随机变量组成的序列。通常用$\{{\mathcal{X}}_T\}$表示：
  有可能是有限的，也有可能是无限的~
  $$\{{\mathcal{X}}_T\}=\{{\mathcal{X}}_1,{\mathcal{X}}_2,\cdots ,{\mathcal{X}}_t,{\mathcal{X}}_{t+1},\cdots \}$$

而马尔可夫链具备马尔可夫性质。即隐马尔可夫模型的背景介绍中提到的齐次马尔可夫假设：给定当前状态随机变量${\mathcal{X}}_t$的条件下，未来状态的随机变量与过去状态无关。以一阶齐次马尔可夫假设为例，数学符号表示如下：
$$P({\mathcal{X}}_{t+1}\mid {\mathcal{X}}_1,{\mathcal{X}}_2,\cdots ,{\mathcal{X}}_t)=P({\mathcal{X}}_{t+1}\mid {\mathcal{X}}_t)$$
由于各状态的随机变量内部均是离散的。因此，和隐马尔可夫模型类似，定义$\mathcal{A}$为状态转移矩阵。

• 基于离散的随机变量，定义任一状态的随机变量$\mathcal{X}$存在$\mathcal{K}$种取法。即：
  $${\mathcal{X}}_1,\cdots ,{\mathcal{X}}_T\in \{x_1,x_2,\cdots ,x_{\mathcal{K}}\}$$
• 因而，状态转移矩阵是一个$\mathcal{K}\times \mathcal{K}$的方阵：
  $$\mathcal{A}=[a_{ij}{]}_{\mathcal{K}\times \mathcal{K}}(i,j\in \{1,2,\cdots ,\mathcal{K}\})$$
  方阵$\mathcal{A}$中的每一个元素$a_{ij}$均可表示如下：
  一个关于‘马尔可夫性质’的条件概率。
  $$a_{ij}=P({\mathcal{X}}_{t+1}=x_j\mid {\mathcal{X}}_t=x_i)$$

平稳分布

基于上述介绍，一个马尔可夫链的概率图 表示如下：

针对概率图中的任一随机变量${\mathcal{X}}_i(i=1,2\cdots )$，它的选择结果是离散的，因而每一个随机变量均对应一个概率分布。这里以${\mathcal{X}}_1$为例，构建它的 概率分布：

• 随机变量${\mathcal{X}}_1$可选择的离散结果以及对应概率表示如下：

${\mathcal{X}}_1$可选择结果	$x_1$	$x_2$	$\cdots$	$x_{\mathcal{K}}$
各结果对应概率	$\mathcal{Q}({\mathcal{X}}_1=x_1)$	$\mathcal{Q}({\mathcal{X}}_1=x_2)$	$\cdots$	$\mathcal{Q}({\mathcal{X}}_1=x_{\mathcal{K}})$

• 根据概率密度积分公式，自然有：
  $$\sum _{i=1}^{\mathcal{K}}\mathcal{Q}({\mathcal{X}}_1=x_i)=1$$
• 因此，定义$\pi ({\mathcal{X}}_1)$为随机变量${\mathcal{X}}_1$的概率分布：
  $$\pi ({\mathcal{X}}_1)=\{\mathcal{Q}({\mathcal{X}}_1=x_1),\mathcal{Q}({\mathcal{X}}_1=x_2)\cdots ,\mathcal{Q}({\mathcal{X}}_1=x_{\mathcal{K}})\}$$
• 同理，其他随机变量同样存在 相应的概率分布：
  $$\pi ({\mathcal{X}}_1),\pi ({\mathcal{X}}_2),\cdots \pi ({\mathcal{X}}_t),\pi ({\mathcal{X}}_{t+1}),\cdots$$

而平稳分布(Stationary Distribution)表示随着时间状态的推移，基于马尔可夫性质，最终会收敛至一个相对稳定的分布。
假设状态转移过程中到达第$m$时刻 实现平稳分布，即$m$时刻之后的所有概率分布均可视为相同的概率分布。即：
$$\pi ({\mathcal{X}}_m)=\pi ({\mathcal{X}}_{m+1})=\cdots$$

以随机变量${\mathcal{X}}_t$向随机变量${\mathcal{X}}_{t+1}$的状态转移过程 为例，基于马尔可夫性质，概率分布之间的关联关系表示如下：
定义一个符号：$\pi ({\mathcal{X}}_{t+1}=x^{\ast })$:表示在t+1时刻的概率分布$\pi ({\mathcal{X}}_{t+1})$下，随机变量${\mathcal{X}}_{t+1}$选择一个具体结果$x^{\ast }$；
$$\pi ({\mathcal{X}}_{t+1}=x^{\ast })=\sum _{x_1,\cdots ,x_{\mathcal{K}}}\pi ({\mathcal{X}}_t=x)\cdot P({\mathcal{X}}_{t+1}=x^{\ast }\mid {\mathcal{X}}_t=x)x\in \{x_1,x_2,\cdots ,x_{\mathcal{K}}\}$$

假设存在一个概率分布${\pi }^{\ast }(\mathcal{X})$：
$$\begin{gathered} {\pi }^{\ast }(\mathcal{X})=\{{\pi }^{\ast }(\mathcal{X}=x_1),{\pi }^{\ast }(\mathcal{X}=x_2),\cdots ,{\pi }^{\ast }(\mathcal{X}=x_{\mathcal{K}})\} \\ \sum _{i=1}^{\mathcal{K}}{\pi }^{\ast }(\mathcal{X}=x_i)=1 \end{gathered}$$
该概率分布在任意时刻都能满足：
$${\pi }^{\ast }(\mathcal{X}=x^{\ast })=\sum _{x_1,\cdots ,x_{\mathcal{K}}}{\pi }^{\ast }(\mathcal{X}=x)\cdot P(\mathcal{X}=x^{\ast }\mid \mathcal{X}=x)$$
则${\pi }^{\ast }(\mathcal{X})$被称为平稳分布。通俗点说就是分布${\pi }^{\ast }(\mathcal{X})$在任意时刻都能满足齐次马尔可夫假设。从而其他时刻随机变量的概率分布 都可以使用平稳分布进行表示：
$$\pi ({\mathcal{X}}_1),\pi ({\mathcal{X}}_2),\cdots \pi ({\mathcal{X}}_t),\pi ({\mathcal{X}}_{t+1}),\cdots \to {\pi }^{\ast }(\mathcal{X})$$

细致平衡

平稳分布${\pi }^{\ast }(\mathcal{X})$在 马尔可夫链的任意时刻均可以进行表示。如果我们将得到平稳分布 作为目标，去构建马尔科夫链。满足什么条件的概率分布才是平稳分布？

这里介绍一个条件：细致平衡(Detail Balance)。
细致平衡是一个统计物理学名词，所谓热力学平衡是通过细致平衡达到的。而在马尔可夫过程中，它表示一种可逆性条件。具体公式表示如下：
$$\pi (\mathcal{X}=x_i)\cdot a_{ij}=\pi (\mathcal{X}=x_j)\cdot a_{ji}i,j\in \{1,2,\cdots ,\mathcal{K}\}$$
对应的图形关系如下所示：

如果将细致平衡延伸至更泛化的条件，具体公式表示如下：
其中$x$可以表示$\{x_1,\cdots ,x_{\mathcal{K}}\}$中的任意一个元素，$x^{\ast }$表示经过状态转移后产生的未来状态的某元素。
$$\pi (\mathcal{X}=x)\cdot P(\mathcal{X}=x^{\ast }\mid \mathcal{X}=x)=\pi (\mathcal{X}=x^{\ast })\cdot P(\mathcal{X}=x\mid \mathcal{X}=x^{\ast })$$
细致平衡是马尔科夫链存在平稳分布的充分非必要条件。即某一时刻如果马尔可夫链中的各元素满足细致平衡条件，那么该时刻随机变量$\mathcal{X}$的概率分布就是平稳分布。

• 首先观察平稳分布的关系式：
  $x$项既在${\pi }^{\ast }(\mathcal{X}=x)$又在$P(\mathcal{X}=x^{\ast }\mid \mathcal{X}=x)$中，无法进行化简;
  $$\sum _{x_1,\cdots ,x_{\mathcal{K}}}{\pi }^{\ast }(\mathcal{X}=x)\cdot P(\mathcal{X}=x^{\ast }\mid \mathcal{X}=x)dx$$
• 将细致平衡条件带入，即使用${\pi }^{\ast }(\mathcal{X}=x^{\ast })\cdot P(\mathcal{X}=x\mid \mathcal{X}=x^{\ast })$替换上式中的${\pi }^{\ast }(\mathcal{X}=x)\cdot P(\mathcal{X}=x^{\ast }\mid \mathcal{X}=x)$：
  $$\begin{array}{rl}& \sum _{x_1,\cdots ,x_{\mathcal{K}}}{\pi }^{\ast }(\mathcal{X}=x^{\ast })\cdot P(\mathcal{X}=x\mid \mathcal{X}=x^{\ast })dx\\ & ={\pi }^{\ast }(\mathcal{X}=x^{\ast })\cdot \sum _{x_1,\cdots ,x_{\mathcal{K}}}P(\mathcal{X}=x\mid \mathcal{X}=x^{\ast })dx\\ & ={\pi }^{\ast }(\mathcal{X}=x^{\ast })\end{array}$$

至此，通过细致平衡条件，可以推出平稳分布的关系式。我们在构建马尔可夫链时，只需要满足细致平衡条件，就可以得到平稳分布，而不是通过定义的条件去求解平稳分布。

关于平稳分布的补充

马尔可夫链的本质

重新观察平稳分布的关系式：
$${\pi }^{\ast }(\mathcal{X}=x^{\ast })=\sum _{x_1,\cdots ,x_{\mathcal{K}}}{\pi }^{\ast }(\mathcal{X}=x)\cdot P(\mathcal{X}=x^{\ast }\mid \mathcal{X}=x)$$
需要注意的点是：无论是${\pi }^{\ast }(\mathcal{X}=x)$还是${\pi }^{\ast }(\mathcal{X}=x^{\ast })$，它们都是计算过程中产生的中间结果，每个状态的转移过程是基于概率的随机选择，不受人为控制。

而真正固定不变的量是状态转移矩阵。通过构建有效的状态转移矩阵可以约束每个状态的元素向下一状态转移的过程。

最终，通过状态转移矩阵的约束，随着状态的变化，使每个状态的分布逼近至平稳分布。

平稳分布的收敛性证明

• 详细观察状态转移矩阵$\mathcal{A}$，将其展开：
  $$\mathcal{A}={\left(\begin{array}{c}{a}_{11},a_{12},\cdots ,a_{1\mathcal{K}}\\ a_{21},a_{22},\cdots ,a_{2\mathcal{K}}\\ ⋮\\ a_{\mathcal{K}1},a_{\mathcal{K}2},\cdots ,a_{\mathcal{KK}}\end{array}\right)}_{\mathcal{K}\times \mathcal{K}}{a}_{ij}=P({\mathcal{X}}_{t+1}=x_j\mid {\mathcal{X}}_t=x_i)$$
  首先，矩阵$\mathcal{A}$中的每一行结果之和为$1$。以第一行为例，即：
  其表示的具体意义是：在当前状态选择$x_1$的条件下，必然要转移至下一状态。而下一状态只包含离散的$\mathcal{K}$种，只能从$\mathcal{K}$种转移结果中选择一个，无其他选择；
如果随机变量是连续的 -> 将描述修改为‘范围’即可。
  $$\sum _{j=1}^{\mathcal{K}}{a}_{1j}=1$$
  其次，矩阵$\mathcal{A}$中的每一列结果之和为1。以第一列为例，即：
  其表示的具体意义是：确定了状态转移的目标是$x_1$的条件下，同样也只能从离散的$\mathcal{K}$种状态中进行选择，并进行转移。
  $$\sum _{i=1}^{\mathcal{K}}{a}_{i1}=1$$
  我们也称$\mathcal{A}$为随机矩阵(Stochastic Matrix)

• 基于上述随机矩阵的逻辑，从$t$时刻开始转移，转移至$t+1$时刻选择$x_j$的概率如何表示？
  实际上，并不知道$t$时刻到底是哪一项元素$x_i(i=1,2,\cdots ,\mathcal{K})$,而该元素的产生是由$t$时刻状态的概率分布决定的。
  $$\pi ({\mathcal{X}}_{t+1}=x_j)=\sum _{i=1}^{\mathcal{K}}\pi ({\mathcal{X}}_t=x_i)\cdot a_{ij}$$
  观察上述公式，包含求和符号，并且包含随机矩阵$\mathcal{A}$的元素项$a_{ij}$。尝试将上式用矩阵表达出来：

  • 定义$t+1$时刻状态下随机变量${\mathcal{X}}_{t+1}$的概率分布表示为：
    $$\pi ({\mathcal{X}}_{t+1})={\left[\pi ({\mathcal{X}}_{t+1}=x_1),\pi ({\mathcal{X}}_{t+1}=x_2),\cdots ,\pi ({\mathcal{X}}_{t+1}=x_{\mathcal{K}})\right]}_{1\times \mathcal{K}}$$
  • 基于上述定义，利用上式对$\pi ({\mathcal{X}}_{t+1})$进行表示：
    写成列向量的形式，便于观察~
    $$\pi ({\mathcal{X}}_{t+1})={\left[\begin{array}{c}{\sum }_{i=1}^{\mathcal{K}}\pi ({\mathcal{X}}_t=x_i)\cdot a_{i1}\\ {\sum }_{i=2}^{\mathcal{K}}\pi ({\mathcal{X}}_t=x_i)\cdot a_{i2}\\ ⋮\\ {\sum }_{i=1}^{\mathcal{K}}\pi ({\mathcal{X}}_t=x_i)\cdot a_{i\mathcal{K}}\end{array}\right]}_{1\times \mathcal{K}}^T$$

  以第一项${\sum }_{i=1}^{\mathcal{K}}\pi (\mathcal{X}=x_i)\cdot a_{i1}$为例：
  $$\begin{array}{rl}\sum _{i=1}^{\mathcal{K}}\pi (\mathcal{X}=x_i)\cdot a_{i1}& =\pi ({\mathcal{X}}_t=x_1)\cdot a_{11}+\pi ({\mathcal{X}}_t=x_2)\cdot a_{21}+\cdots +\pi ({\mathcal{X}}_t=x_{\mathcal{K}})\cdot a_{\mathcal{K}1}\\ & =[\pi ({\mathcal{X}}_t=x_1),\cdots ,\pi ({\mathcal{X}}_t=x_{\mathcal{K}})]\left(\begin{array}{c}{a}_{11}\\ a_{21}\\ ⋮\\ a_{\mathcal{K}1}\end{array}\right)\end{array}$$
  同理，其他项也可以表示为上述形式：
  $$[\pi ({\mathcal{X}}_t=x_1),\cdots ,\pi ({\mathcal{X}}_t=x_{\mathcal{K}})]\left(\begin{array}{c}{a}_{12}\\ a_{22}\\ ⋮\\ a_{\mathcal{K}2}\end{array}\right),\cdots ,[\pi ({\mathcal{X}}_t=x_1),\cdots ,\pi ({\mathcal{X}}_t=x_{\mathcal{K}})]\left(\begin{array}{c}{a}_{1\mathcal{K}}\\ a_{2\mathcal{K}}\\ ⋮\\ a_{\mathcal{KK}}\end{array}\right)$$
  将上述所有项进行合并，有：
  $[\pi ({\mathcal{X}}_t=x_1),\cdots ,\pi ({\mathcal{X}}_t=x_{\mathcal{K}})]$就是$t$时刻状态下随机变量${\mathcal{X}}_t$的概率分布$\pi ({\mathcal{X}}_t)$；
  $$\begin{array}{rl}\pi ({\mathcal{X}}_{t+1})& =[\pi ({\mathcal{X}}_t=x_1),\cdots ,\pi ({\mathcal{X}}_t=x_{\mathcal{K}})]\cdot {\left(\begin{array}{c}{a}_{11},a_{12},\cdots ,a_{1\mathcal{K}}\\ a_{21},a_{22},\cdots ,a_{2\mathcal{K}}\\ ⋮\\ a_{\mathcal{K}1},a_{\mathcal{K}2},\cdots ,a_{\mathcal{KK}}\end{array}\right)}_{\mathcal{K}\times \mathcal{K}}\\ & =\pi ({\mathcal{X}}_t)\cdot \mathcal{A}\end{array}$$

• 至此，找到了$t$时刻与$t+1$时刻随机变量概率分布 之间的关联关系。实际上，从初始概率分布$\pi ({\mathcal{X}}_{init})$开始，每一时间节点均乘一次随机矩阵$\mathcal{A}$：
  $$\pi ({\mathcal{X}}_{t+1})=\pi ({\mathcal{X}}_{init})\cdot {\mathcal{A}}^t$$
  根据随机矩阵$\mathcal{A}$的一条特殊性质：随机矩阵各特征值的绝对值 $\le 1$。
  基于该性质，对$\mathcal{A}$进行特征值分解：
  $$\mathcal{A}=\mathcal{P}\Lambda {\mathcal{P}}^{-1}$$
  而对角矩阵$\Lambda$对角线上元素即$\mathcal{A}$的特征值结果：
  $$\Lambda =\left(\begin{array}{c}{\lambda }_1,0,\cdots ,0\\ 0,{\lambda }_2,\cdots ,0\\ ⋮\\ 0,0,\cdots ,{\lambda }_{\mathcal{K}}\end{array}\right){\lambda }_i\le 1;i=1,2,\cdots ,\mathcal{K}$$
  将$\mathcal{A}$的分解结果带入$\pi ({\mathcal{X}}_{t+1})$中：
  $$\begin{array}{rl}\pi ({\mathcal{X}}_{t+1})& =\pi ({\mathcal{X}}_{init})\cdot {\mathcal{A}}^t\\ & =\pi ({\mathcal{X}}_{init})(\mathcal{P}\Lambda {\mathcal{P}}^{-1}{)}^t\\ & =\pi ({\mathcal{X}}_{init})(\mathcal{P}\Lambda {\mathcal{P}}^{-1}\mathcal{P}\Lambda {\mathcal{P}}^{-1}\cdots \mathcal{P}\Lambda {\mathcal{P}}^{-1})\end{array}$$
  由于${\mathcal{P}}^{-1}\mathcal{P}=E$，即单位矩阵。因此，$\pi ({\mathcal{X}}_{t+1})$的结果表示如下：
  $$\begin{array}{rl}\pi ({\mathcal{X}}_{t+1})& =\pi ({\mathcal{X}}_{init})\cdot \mathcal{P}{\Lambda }^t{\mathcal{P}}^{-1}\\ & =\pi ({\mathcal{X}}_{init})\cdot \mathcal{P}\left(\begin{array}{c}{\lambda }_1^t,0,\cdots ,0\\ 0,{\lambda }_2^t,\cdots ,0\\ ⋮\\ 0,0,\cdots ,{\lambda }_{\mathcal{K}}^t\end{array}\right){\mathcal{P}}^{-1}\end{array}$$

• 当转移次数足够多的时候，即$t$足够大的时候，由于${\lambda }_1,\cdots ,{\lambda }_{\mathcal{K}}$均小于等于1恒成立，则有：
  $$\underset{t\to \infty }{\lim }{\lambda }_i^t=0(i=1,2,\cdots ,\mathcal{K})$$
  假设转移次数分别执行了$m$次和$m+1$次，它们对应随机变量的概率分布表示如下：
  $$\begin{gathered} \pi ({\mathcal{X}}_{m+1})=\pi ({\mathcal{X}}_{init})\cdot \mathcal{P}{\Lambda }^m{\mathcal{P}}^{-1} \\ \pi ({\mathcal{X}}_{m+2})=\pi ({\mathcal{X}}_{init})\cdot \mathcal{P}{\Lambda }^{(m+1)}{\mathcal{P}}^{-1} \end{gathered}$$
  而此时的 对角阵${\Lambda }^m,{\lambda }^{m+1}$中的各元素均无限趋近于0(特征值为1的结果除外)，因此，在$m$足够大时：
  $${\Lambda }^m={\Lambda }^{m+1}$$
  从而有：
  $$\pi ({\mathcal{X}}_{m+1})=\pi ({\mathcal{X}}_{m+2})$$

• 基于上述推导过程，如果转移次数$t>m$时，有：
  $\pi ({\mathcal{X}}_{end})$表示转移过程的终结状态~
  $$\pi ({\mathcal{X}}_{m+1})=\pi ({\mathcal{X}}_{m+2})=\cdots =\pi ({\mathcal{X}}_{end})$$

相关总结

• 平稳分布是马尔可夫链的一种性质，这种性质是基于状态转移矩阵是 双随机矩阵 的性质得到，和各时刻随机变量的概率分布之间没有关系；
  双随机矩阵即‘矩阵各行，列结果之和为1’的矩阵。
• 细致平衡是马尔可夫链存在平稳分布 的充分非必要条件，因此它是衡量平稳分布的重要指标；
• 对于马尔可夫链，唯一能够调整(按照人的意志)是状态转移矩阵，换句话说，随机变量$\mathcal{X}$的状态转移的过程是基于概率的随机结果，不因人的意志变化而变化，我们只能通过调整状态转移概率来影响模型。

下一节将介绍MH算法(Metropolis Hastings)

相关参考：
随机矩阵 - 百度百科
机器学习-白板推导系列-蒙特卡洛方法6 （Monte Carlo Method）- 平稳分布
机器学习-白板推导系列-蒙特卡洛方法6 （Monte Carlo Method）- 马尔可夫链（Markov Chain）