【应用随机过程】03. 马尔可夫链的状态

第三讲 马尔可夫链的状态

一、常返和暂留

Part 1：常返和暂留的定义

在马尔可夫链运行和转移的过程中，各个状态所起的作用不完全相同，因此我们要讨论几类特殊状态的特点，并给出状态空间的分解定理。设 $\{X_n\}$ 是一个时齐马尔可夫链，这是我们这一节的研究对象。此外这一节的概念比较多，需要注意区分。

首中时：给定状态 $j\in I$ ，定义 ${\tau }_j=\inf \{n\ge 1:X_n=j\}$ ，称为 $j$ 的首中时。约定 $\inf \varnothing =\infty$ ，即如果不存在 $n\ge 1$ 使得 $X_n=j$ ，则定义 ${\tau }_j=\infty$ 。

首中时的含义是在零时刻从状态 $i$ 出发的马尔可夫链首次到达状态 $j$ 的时刻。

• 当 $X_0=i=j$ 时，${\tau }_j$ 表示马尔可夫链首次回到状态 $j$ 的时刻；
• 当 $X_0=i\ne j$ 时，${\tau }_j$ 表示马尔可夫链首次到达状态 $j$ 的时刻。

利用首中时的概念，我们可以将马尔可夫链的状态分为常返态和暂留态。

• 如果 $P({\tau }_j<\infty |X_0=j)=1$ ，则称 $j$ 是常返态。常返态的含义是从某一状态出发以概率 $1$ 在有限时间内返回该状态。
• 如果 $P({\tau }_j<\infty |X_0=j)<1$ ，则称 $j$ 是暂留态。暂留态的含义是从某一状态出发以一个正的概率不再返回该状态。

平均回转时：若状态 $j$ 是常返态，定义 ${\mu }_j=\mathrm{E}({\tau }_j|X_0=j)$ ，称为 $j$ 的平均回转时。

利用平均回转时的概念，我们可以将常返态进一步分为正常返态和零常返态。

• 如果 ${\mu }_j=\mathrm{E}({\tau }_j|X_0=j)<\infty$ ，则称 $j$ 是正常返态。
• 如果 ${\mu }_j=\mathrm{E}({\tau }_j|X_0=j)=\infty$ ，则称 $j$ 是零常返态。

上述定义说明的是，在平均的意义下，正常返态的返回速度快于零常返态的返回速度。

简单回顾一下，这一部分我们介绍了两个概念——首中时和平均回转时。根据首中时我们将马尔可夫链的状态分为常返态和暂留态，根据平均回转时我们又将常返态分为了正常返态和零常返态。

Part 2：常返的判别条件 I

在上一节的学习中，我们知道马尔可夫链的性质常常用转移概率来刻画。在定义了常返态和暂留态之后，我们也希望能用一个概率来刻画常返态和暂留态的性质。

首先我们定义 $n$ 步首次击中概率和 $n$ 步首次返回概率。

• 令 $f_{ij}^{(n)}$ 表示从状态 $i$ 出发经过 $n$ 步之后首次击中状态 $j$ 的概率，则有

$$f_{ij}^{(n)}=P\left({\tau }_j=n|X_0=i\right)=P\left(X_n=j,X_{n-1}\ne j,\cdots ,X_1\ne j|X_0=i\right).$$

• 令 $f_{jj}^{(n)}$ 表示从状态 $j$ 出发经过 $n$ 步之后首次返回状态 $j$ 的概率，则有

$$f_{jj}^{(n)}=P\left({\tau }_j=n|X_0=j\right)=P\left(X_n=j,X_{n-1}\ne j,\cdots ,X_1\ne j|X_0=j\right).$$

接着我们定义可达概率和可返回概率。

• 令 $f_{ij}$ 表示从状态 $i$ 出发在有限步能击中状态 $j$ 的概率，则有

$$f_{ij}=P({\tau }_j<\infty |X_0=i)=\sum _{n=1}^{\infty }{f}_{ij}^{(n)}.$$

• 令 $f_{jj}$ 表示从状态 $j$ 出发在有限步能返回状态 $j$ 的概率，则有

$$f_{jj}=P({\tau }_j<\infty |X_0=j)=\sum _{n=1}^{\infty }{f}_{jj}^{(n)}.$$

根据以上定义，我们可以得到常返态的第一个判别条件：

• 状态 $j$ 是常返态，当且仅当 $f_{jj}=1$ 。
• 状态 $j$ 是暂留态，当且仅当 $f_{jj}<1$ 。

若状态 $j$ 是常返态，我们可以通过 $n$ 步首次返回概率计算平均回转时，从而对正常返态和零常返态进行判别。利用离散型随机变量的数学期望的定义即可得到
$${\mu }_j=\mathrm{E}({\tau }_j|X_0=j)=\sum _{n=1}^{\infty }n{f}_{jj}^{(n)}.$$
概括以上判别方法的主要思路：对于状态 $j$ 的每一步 $n$ 求出 $f_{jj}^{(n)}$ ，根据 $f_{jj}=\sum _{n=1}^{\infty }{f}_{jj}^{(n)}$ 和 ${\mu }_j=\sum _{n=1}^{\infty }n{f}_{jj}^{(n)}$ 计算可返回概率和平均回转时，从而判断状态 $j$ 的常返性。

在实际应用时，我们一般计算 $f_{jj}^{(n)}$ 的方法是画出状态转移图，利用图论的知识和一步转移概率进行计算。显然，这种方法适用于状态转移过程简单的马尔可夫链，对于复杂的马尔可夫链并不适用。

Part 3：常返的判别条件 II

回到时齐的马尔可夫链本身，我们往往已知的是一步转移概率矩阵 $P$ ，从而很容易得到 $n$ 步转移概率矩阵 $P^n$ 。下面我们就从转移概率的角度来给出常返态的判别条件。

首先讨论一下常返态的特性：假设状态 $j$ 是常返态，并且过程开始时处于 $j$ ，则过程将以概率 $1$ 返回 $j$ 。由马尔可夫链的定义知，当它再次进入 $j$ 时，上述过程将被重复，从而状态 $j$ 将以概率 $1$ 再次被访问。继续重复可得如下结论：如果状态 $j$ 是常返态，那么开始处于状态 $j$ 的过程将以概率 $1$ 无穷多次地返回状态 $j$ 。

定义 $N_j=♯\{n\ge 0:X_n=j\}$ ，表示马尔可夫链访问 $j$ 的次数。我们可以得到常返态的第二个判别条件：

• 状态 $j$ 是常返态，当且仅当 $P(N_j=\infty |X_0=j)=1$ ，当且仅当 $\sum _{n=1}^{\infty }{p}_{jj}^{(n)}=\infty$ 。
• 状态 $j$ 是暂留态，当且仅当 $P(N_j<\infty |X_0=j)=1$ ，当且仅当 $\sum _{n=1}^{\infty }{p}_{jj}^{(n)}<\infty$ 。

这里我们需要给出第二个等价条件的证明。根据数学期望的定义，显然有如下结论成立：

• 若 $P(N_j=\infty |X_0=j)=1$ ，则 $\mathrm{E}\left(N_j|X_0=j\right)=\infty$ ；
• 若 $P(N_j<\infty |X_0=j)=1$ ，则 $\mathrm{E}\left(N_j|X_0=j\right)<\infty$ 。

令 $I_n=\{\begin{array}{ll}1,& X_n=j,\\ 0,& X_n\ne j.\end{array}$ ，则 $N_j=\sum _{n=0}^{\infty }{I}_n$ 表示马尔可夫链处于状态 $j$ 的次数。于是
$$\mathrm{E}\left(N_j|X_0=j\right)=\sum _{n=0}^{\infty }\mathrm{E}\left(I_n|X_0=j\right)=\sum _{n=0}^{\infty }P\left(X_n=j|X_0=j\right)=\sum _{n=0}^{\infty }{p}_{jj}^{(n)}.$$
如此我们就证明了第二个等价条件成立。

我们再讨论一下暂留态的特性：假设状态 $i$ 是暂留态，则有可返回概率 $f_{jj}<1$ 。因此过程每次访问 $i$ 都将以一个正的概率 $1-f_{ii}$ 不再进入这个状态。所以，开始处于状态 $i$ 的过程将恰好在状态 $i$ 访问 $n$ 次的概率等于 $f_{ii}^{n-1}\left(1-f_{ii}\right)$ 。

换句话说，如果状态 $i$ 是暂留态，那么开始处于状态 $i$ 的过程再次访问 $i$ 的次数服从参数为 $1-f_{ii}$ 的几何分布。利用几何分布的数学期望，也可以得到
$$\sum _{n=0}^{\infty }{p}_{jj}^{(n)}=\mathrm{E}\left(N_j|X_0=j\right)=\frac{1}{1-f_{jj}}<\infty .$$
推论：一个暂留态只能被访问有限次，从而一个有限状态的马尔可夫链中至少有一个状态是常返态。推论可以用反证法进行证明，假设所有状态都是暂留态，进而推出在有限时间后无状态可访问即可。

二、状态之间的关系

Part 1：互达

关于常返和暂留的特点，以上我们都是对单个状态进行讨论的，下面我们考虑能否通过状态之间的关系来判断一个状态的常返性。

首先介绍一下可达和互达的概念。设 $i$ 和 $j$ 是状态空间 $I$ 中的任意两个状态：

• 如果存在 $n\ge 1$ 使得 $p_{ij}^{(n)}>0$ ，则称状态 $i$ 可达状态 $j$ ，记为 $i\to j$ 。
• 如果 $i\to j$ 且 $j\to i$ ，则称状态 $i$ 和状态 $j$ 互达，记为 $i\leftrightarrow j$ 。

可以证明互达关系是一种等价关系，满足以下三个性质：

1. 自反性：$i\leftrightarrow j$ ；
2. 对称性：如果 $i\leftrightarrow j$ ，则 $j\leftrightarrow i$ ；
3. 传递性：如果 $i\leftrightarrow j,j\leftrightarrow k$ ，则 $i\leftrightarrow k$ 。

我们将两个互达的状态，称为属于同一个互达等价类中。于是，按照互达关系，状态空间 $I$ 可以表示成可列个互不相交的互达等价类的并。如果状态空间 $I$ 中的任意两个状态都是互达的，则称该马尔可夫链是不可约的。

闭集：设 $C\subset I$ 是一个互达等价类，如果从 $C$ 中的任何状态出发，都无法到达 $I\setminus C$ 中的状态，则称 $C$ 为闭集。换句话说，如果 $C$ 是闭集，则对任意 $i\in C$ 和 $j\notin C$ ，都有 $i\nrightarrow j$ 。一般规定空集 $\varnothing$ 和状态空间 $I$ 是闭集。

吸收态：如果闭集 $C\subset I$ 只有一个状态 $i$ ，即 $C=\{i\}$ ，则称状态 $i$ 为吸收态。吸收态的含义是一旦处于该状态，它将永远不会离开。

我们可以举个例子来理解，设马尔可夫链的状态空间 $I=\{1,2,3,4,5,6\}$ ，转移概率矩阵为
$$P=\left[\begin{array}{cccccc}\frac{1}{2}& \frac{1}{2}& 0& 0& 0& 0\\ \frac{1}{4}& \frac{3}{4}& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& \frac{1}{3}& 0& \frac{1}{3}& \frac{1}{3}\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right],$$
则该状态空间可以分为三个互达等价类：$C_1=\{1,2\},C_2=\{3,4,5\},C_3=\{6\}$ 。其中 $C_1$ 和 $C_3$ 是闭集，因为从 $C_1$ 或 $C_3$ 出发不可能到达其他互达等价类。而 $C_2$ 不是闭集，因为从 $C_2$ 出发可以到达 $C_3$ 。此外 $C_3$ 是吸收态，因为 $C_3$ 是闭集且只有一个状态。

Part 2：周期

设 $i$ 是状态空间 $I$ 中的任意一个状态，定义状态 $i$ 的周期为
$$d(i)=\gcd \left\{n\ge 1:p_{ii}^{(n)}>0\right\},$$
其中 $\gcd$ 表示集合中各元素的最大公因子。因此，周期的含义是可达步数的最大公因子，即从 $i$ 出发只有经过 $d(i)$ 的整数倍步数后，才有可能以正概率返回 $i$ 。

如果 $d(i)=1$ ，则称状态 $i$ 是非周期的。如果对所有的状态 $i\in I$ 都是非周期的，则称此马尔可夫链是非周期的。

如果状态 $i$ 是正常返且非周期的，则称状态 $i$ 是遍历状态。不可约非周期正常返的马尔可夫链称为遍历的马尔可夫链。

定理：如果 $i\leftrightarrow j$ ，则

1. $i$ 和 $j$ 具有相同的周期，即 $d(i)=d(j)$ ；
2. $i$ 是暂留态当且仅当 $j$ 是暂留态；
3. $i$ 是常返态当且仅当 $j$ 是常返态；
4. $i$ 是正常返态当且仅当 $j$ 是正常返态。

该定理说明在同一个互达等价类中，各状态具有相同的周期和常返性。因此在判断一个状态的性质时，我们可以从它的互达等价类中找到一个容易判断的状态来进行判断。