严平稳过程:设 { X n : n ≥ 0 } \{X_n:n\geq0\} {Xn:n≥0} 是一个随机过程,如果对任意 n ≥ 0 n\geq0 n≥0 和 m ≥ 1 m\geq1 m≥1 ,有
( X m , X m + 1 , ⋯ , X m + n ) = d ( X 0 , X 1 , ⋯ , X n ) , \left(X_m,X_{m+1},\cdots,X_{m+n}\right)\xlongequal{d}\left(X_0,X_{1},\cdots,X_{n}\right) \ , (Xm,Xm+1,⋯,Xm+n)d(X0,X1,⋯,Xn) ,
则称 { X n : n ≥ 0 } \{X_n:n\geq0\} {Xn:n≥0} 是严平稳过程。即随机过程的任意有限维分布不依赖于时间。
设 { X n } \{X_n\} {Xn} 是时齐的马尔可夫链,如果 { X n } \{X_n\} {Xn} 是严平稳过程,则称 { X n } \{X_n\} {Xn} 具有平稳分布。这里我们只需考虑初始分布和一步之后的分布相同的情况,因为由此可以推出任意步之后的分布都和初始分布相同。
设初始分布为 π = ( π 1 , π 2 , ⋯ , π N ) \pi=(\pi_1,\pi_2,\cdots,\pi_N) π=(π1,π2,⋯,πN) ,一步转移矩阵为 P = ( p i j ) N × N P=(p_{ij})_{N\times N} P=(pij)N×N ,则一步之后的分布为 π P \pi P πP 。因此 { X n } \{X_n\} {Xn} 具有平稳分布当且仅当 π = π P \pi=\pi P π=πP ,此时我们称 π \pi π 为 { X n } \{X_n\} {Xn} 的平稳分布。
设 { X n } \{X_n\} {Xn} 具有平稳分布,如果我们想要求出平稳分布,需要求解下列具有约束条件的线性方程组:
{ ∑ i = 1 N π i p i j = π j , j = 1 , 2 , ⋯ , N , ∑ i = 1 N π i = 1 , π i ≥ 0 , i = 1 , 2 , ⋯ , N . \left\{\begin{array}{l} \displaystyle\sum_{i=1}^N\pi_ip_{ij=\pi_j} \ , \quad j=1,2,\cdots,N \ , \\ \displaystyle\sum_{i=1}^N\pi_i=1 \ , \\ \pi_i\geq0 \ , \quad i=1,2,\cdots,N \ . \end{array} \right. ⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧i=1∑Nπipij=πj ,j=1,2,⋯,N ,i=1∑Nπi=1 ,πi≥0 ,i=1,2,⋯,N .
注意,马尔可夫链的平稳分布不一定是唯一的,与上述方程组的解的情况有关。
这里我们就列出几个定理而不给出证明了。
定理:不可约马尔可夫链的性质
定理:常返和暂留的其他性质
推论:正常返和零常返的等价描述
对于时齐的马尔可夫链 { X n } \{X_n\} {Xn} ,如果存在状态空间 I I I 上的概率分布 μ = ( μ i : i ∈ I ) \mu=(\mu_i:i\in I) μ=(μi:i∈I) ,使得对所有状态 i ∈ I i\in I i∈I 都有概率分布 lim n → ∞ P ( X n = i ) = μ i \displaystyle\lim_{n\to\infty}P(X_n=i)=\mu_i n→∞limP(Xn=i)=μi ,则称 μ \mu μ 是 { X n } \{X_n\} {Xn} 的极限分布。
需要注意两点:
对于时齐的马尔可夫链 { X n } \{X_n\} {Xn} ,在已知初始分布 μ ( 0 ) \mu^{(0)} μ(0) 和转移概率矩阵 P P P 的情况下,想要计算该马尔可夫链的极限分布,只需要计算 lim n → ∞ P ( n ) = lim n → ∞ P n \displaystyle\lim_{n\to\infty}P^{(n)}=\lim_{n\to\infty}P^{n} n→∞limP(n)=n→∞limPn ,从而有
μ = μ ( 0 ) ⋅ lim n → ∞ P n . \mu=\mu^{(0)}\cdot\lim_{n\to\infty} P^{n} \ . μ=μ(0)⋅n→∞limPn .
根据线性代数的知识,我们可以通过计算矩阵特征值的方法得到 lim n → ∞ P n \displaystyle\lim_{n\to\infty}P^{n} n→∞limPn 的结果但在这里我们不做要求。思考一个问题:极限分布和平稳分布之间是否存在什么样的关系?
一般情况下,极限分布与平稳分布之间没有必然联系,但在一些特殊条件的约束下,我们常常有极限分布与平稳分布是相同的。此时我们就可以通过求解平稳分布的方法,计算出极限分布。
定理:若 { X n } \{X_n\} {Xn} 是不可约非周期的马尔可夫链,转移概率矩阵为 P P P ,则该马尔可夫链存在极限分布当且仅当存在平稳分布,并且两者相等。
这里我们需要了解两个定理。
定理:如果 i ∈ I i\in I i∈I 常返,则 i i i 的互达等价类 C i = { j ∈ I : i ↔ j } C_i=\{j\in I:i\leftrightarrow j\} Ci={j∈I:i↔j} 是闭集。
采用反证法。假设 C i C_i Ci 不是闭集,则存在 j ∈ C i j\in C_i j∈Ci 和 k ∉ C i k\notin C_i k∈/Ci 使得 j → k j\to k j→k 。注意到 k ↛ j k\not\to j k→j ,否则 k ↔ j k\leftrightarrow j k↔j 进而 k ∈ C i k\in C_i k∈Ci 。这样有 i → j , j → k i\to j,\,j\to k i→j,j→k 但 k ↛ i k\not\to i k→i ,即从 i i i 出发的过程,存在一个正的概率进入状态 k k k 之后不再返回状态 i i i ,所以 i i i 不是常返态,矛盾。
定理:状态空间的分解定理:
I = C 1 ∪ C 2 ∪ ⋯ ∪ C k ∪ T , I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , I=C1∪C2∪⋯∪Ck∪T ,
其中 C i C_i Ci 表示常返状态互达等价类, T T T 表示所有暂留态的全体。由第一个定理可知,不同常返状态互达等价类是互不相交的闭集。这里 k k k 可以取 + ∞ +\infty +∞ 。
利用不可约马尔可夫链的性质,我们再看马尔可夫链状态空间的分解定理,
I = C 1 ∪ C 2 ∪ ⋯ ∪ C k ∪ T , I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , I=C1∪C2∪⋯∪Ck∪T ,
这次我们限制状态空间 I I I 是有限的,则这里的每个集合都是有限集,其中 C 1 , C 2 , ⋯ , C k C_1,C_2,\cdots,C_k C1,C2,⋯,Ck 是所有的常返的互达等价类且是闭集, T T T 是余下的所有暂留态的全体,这里 k k k 一定是有限数。我们有如下结论:
这里我们主要介绍一种分析方法——一步分析法。首先我们了解一下我们需要研究的问题,考虑有限状态空间的马尔可夫链,根据上述定理,可以将状态空间分解为
I = C 1 ∪ C 2 ∪ ⋯ ∪ C k ∪ T , I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , I=C1∪C2∪⋯∪Ck∪T ,
其中 C 1 , C 2 , ⋯ , C k C_1,C_2,\cdots,C_k C1,C2,⋯,Ck 是正常返的互达等价类, T T T 是暂留态的全体。
定义 a i = P ( T C 1 < ∞ ∣ X 0 = i ) a_i=P\left(T_{C_1}<\infty|X_0=i\right) ai=P(TC1<∞∣X0=i) ,表示从状态 i i i 出发在有限步内进入闭集 C 1 C_1 C1 的概率,则有
a i = { 1 , i ∈ C 1 , 0 , i ∈ C j , j ≠ 1 , ∑ j p i j a j , i ∈ T . a_i=\left\{ \begin{array}{ll} 1 \ , & i\in C_1 \ , \\ 0 \ , & i\in C_j \ , \ \ j\neq 1\ , \\ \sum\limits_{j}p_{ij}a_j \ , & i\in T \ . \end{array} \right. ai=⎩⎪⎨⎪⎧1 ,0 ,j∑pijaj ,i∈C1 ,i∈Cj , j=1 ,i∈T .
令 i i i 取遍 T T T 中所有的暂留态,便可以得到一个线性方程组,进而我们便可以解出从任意状态 i i i 出发在有限步内进入 C 1 C_1 C1 的概率,同理也可以解出进入其他闭集 C i C_i Ci 的吸收概率。
由于马尔可夫链一旦进入某个 C i C_i Ci 之后将永远不会离开 C i C_i Ci ,所以我们一般研究从某个暂留态 i ∈ T i\in T i∈T 出发,最终被某个 C i C_i Ci 吸收概率,这就是吸收概率问题。
接下来我们研究平均吸收时间问题。定义 h i = E ( T C ∣ X 0 = i ) h_i={\rm E}\left(T_C|X_0=i\right) hi=E(TC∣X0=i) ,表示从状态 i i i 出发进入集合 C C C 的平均时间,这里不妨设正常返态的全体为 C = d e f C 1 ∪ C 2 ∪ ⋯ ∪ C k C\xlongequal{def}C_1\cup C_2\cup\cdots\cup C_k CdefC1∪C2∪⋯∪Ck ,则有
h i = { 0 , i ∈ C , ∑ j p i j ( 1 + h j ) = 1 + ∑ j p i j h j , i ∈ T . h_i=\left\{ \begin{array}{ll} 0 \ , & i\in C \ , \\ \sum\limits_{j}p_{ij}(1+h_j)=1+ \sum\limits_{j}p_{ij}h_j \ , & i\in T \ . \end{array} \right. hi={0 ,j∑pij(1+hj)=1+j∑pijhj ,i∈C ,i∈T .
同理我们令 i i i 取遍 T T T 中所有的暂留态,便可以通过求解线性方程组,解得从任意状态 i i i 出发进入集合 C C C 的平均时间。
可以看到,一步分析法的基本思想就是全概率公式。当马尔可夫链存在多个闭集时,我们可以利用马尔可夫性和全概率公式,利用一步分析法建立线性方程组,从而计算被某一个特定闭集吸收的吸收概率和平均吸收时间。一般情况下,一步分析法常应用于状态空间中存在吸收态的情况。常见的例子有赌徒输光问题和迷宫老鼠问题,可以在课本中找到。这里我们看一个特殊的例子。
股票价格问题:用 X n X_n Xn 表示 n n n 时刻某只股票的价格,设 { X n } \{X_n\} {Xn} 是一个时齐马尔可夫链,状态空间为 I = { 1 , 2 , 3 , 4 , 5 } I=\{1,2,3,4,5\} I={1,2,3,4,5} ,一步转移矩阵为
P = [ 1 2 1 2 0 0 0 1 3 1 3 1 3 0 0 0 1 4 1 4 1 2 0 0 0 1 2 1 4 1 4 0 0 1 8 4 8 3 8 ] . P=\left[\begin{array}{ccccc} \frac12 &\frac12 & 0 & 0 & 0 \\ \frac13 & \frac13 & \frac13 & 0 & 0 \\ 0 & \frac14 & \frac14 & \frac12 & 0 \\ 0 & 0 & \frac12 & \frac14 & \frac14 \\ 0 & 0 & \frac18 & \frac48 & \frac38 \\ \end{array}\right] \ . P=⎣⎢⎢⎢⎢⎡213100021314100031412181002141840004183⎦⎥⎥⎥⎥⎤ .
已知初始分布为 P ( X 0 = 2 ) = 3 4 , P ( X 0 = 3 ) = 1 4 P(X_0=2)=\dfrac34,\,P(X_0=3)=\dfrac14 P(X0=2)=43,P(X0=3)=41 。(1) 求股票价格在涨到 4 4 4 元之前不曾跌倒 1 1 1 元的概率。
(2) 求股票价格到达 4 4 4 元的平均时间。
解:(1) 所求概率为 P ( T 4 < T 1 ) P(T_4
P(T4<T1) 。注意到,该值与到达 1 1 1 或到达 4 4 4 之后的过程没有关系,即我们所关心的问题在股票价格到达 1 1 1 或 4 4 4 之后便停止研究,所以我们可以将 1 1 1 和 4 4 4 看成吸收态。定义 a i = P ( T 4 < T 1 ∣ X 0 = i ) a_i=P(T_4
ai=P(T4<T1∣X0=i) ,则 a 1 = 0 , a 4 = 1 a_1=0,\,a_4=1 a1=0,a4=1 。由题意知以下方程组成立:
{ a 2 = 1 3 a 1 + 1 3 a 2 + 1 3 a 3 , a 3 = 1 4 a 2 + 1 4 a 3 + 1 2 a 4 , \left\{ \begin{array}{l} a_2=\dfrac13 a_1+\dfrac13 a_2+\dfrac13a_3\ , \\ a_3=\dfrac14a_2+\dfrac14a_3+\dfrac12a_4 \ , \end{array}\right. ⎩⎪⎨⎪⎧a2=31a1+31a2+31a3 ,a3=41a2+41a3+21a4 ,
解得 a 2 = 2 5 , a 3 = 4 5 a_2=\dfrac25,\,a_3=\dfrac45 a2=52,a3=54 ,所以由全概率公式可得
P ( T 4 < T 1 ) = ∑ i = 1 4 P ( X 0 = i ) P ( T 4 < T 1 ∣ X 0 = i ) = 3 4 × 2 5 + 1 4 × 4 5 = 1 2 . P(T_4P(T4<T1)=i=1∑4P(X0=i)P(T4<T1∣X0=i)=43×52+41×54=21 .
(2) 所求时间为 E ( T 4 ) {\rm E}(T_4) E(T4) ,同理该值与到达 4 4 4 之后的过程没有关系,所以我们将 4 4 4 看成吸收态。定义 h i = E ( T 4 ∣ X 0 = i ) h_i={\rm E}(T_4|X_0=i) hi=E(T4∣X0=i) ,则 h 4 = 0 h_4=0 h4=0 ,由题意知以下方程组成立:
{ h 1 = 1 + 1 2 h 1 + 1 2 h 2 , h 2 = 1 + 1 3 h 1 + 1 3 h 2 + 1 3 h 3 , h 3 = 1 + 1 4 h 2 + 1 4 h 3 + 1 2 h 4 , \left\{ \begin{array}{l} h_1=1+\dfrac12h_1+\dfrac12h_2\ , \\ h_2=1+\dfrac13h_1+\dfrac13h_2+\dfrac13h_3\ , \\ h_3=1+\dfrac14h_2+\dfrac14h_3+\dfrac12h_4 \ , \end{array}\right. ⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧h1=1+21h1+21h2 ,h2=1+31h1+31h2+31h3 ,h3=1+41h2+41h3+21h4 ,
解得 h 1 = 23 2 , h 2 = 19 2 , h 3 = 9 2 h_1=\dfrac{23}2,\,h_2=\dfrac{19}2,\,h_3=\dfrac92 h1=223,h2=219,h3=29 ,所以由全概率公式/全期望公式可得
E ( T 4 ) = ∑ i = 1 4 P ( X 0 = i ) E ( T 4 ∣ X 0 = i ) = 3 4 × 19 2 + 1 4 × 9 2 = 33 2 . {\rm E}(T_4)=\sum_{i=1}^4P(X_0=i){\rm E}(T_4|X_0=i)=\frac34\times\frac{19}2+\frac14\times\frac92=\frac{33}{2} \ . E(T4)=i=1∑4P(X0=i)E(T4∣X0=i)=43×219+41×29=233 .