马尔可夫链学习笔记
3 马尔可夫链
考虑由多个随机变量组成的系统，其演化可由一个随机过程描述，随机变量 X n X_n Xn在时刻n取值 x n x_n xn称为系统在n时刻的状态。随机变量所有可能的值构成的空间称为系统的状态空间。如果随机过程 { X n , n = 1 , 2 , . . . } \lbrace X_n,n =1,2,... \rbrace {Xn,n=1,2,...}的构造使得 X n + 1 X_{n+1} Xn+1的条件概率分布仅依靠于 X n X_n Xn的值而与其他以前的值无关，称这个过程为马尔可夫链。更准确地说，我们有
P （ X n + 1 = x n + 1 ∣ X n = x n , . . . , X 1 = x 1 ） = P （ X n + 1 ∣ X n = x n ） (式12) P（X_{n+1} = x_{n+1}|X_n = x_n,...,X_1 = x_1）= P（X_{n+1}|X_n = x_n） \tag{式12} P（Xn+1=xn+1∣Xn=xn,...,X1=x1）=P（Xn+1∣Xn=xn）(式12)
这称之为马尔可夫特性。换句话说：
如果系统在 n + 1 n+1 n+1时刻出现状态 x n + 1 x_{n+1} xn+1的概率仅依赖于系统在n时刻出现状态 x n x_n xn的概率，则随机变量序列 X 1 , X 2 , X 3 . . . , X n , X n + 1 X_1,X_2,X_3...,X_n,X_{n+1} X1,X2,X3...,Xn,Xn+1称为马尔可夫链。
转移概率
在马尔可夫链中，从一个状态到另一个状态的转移是随机的，但输出符合却是确定的。令
p i j = P （ X n + 1 = j ∣ X n = i ） (式13) p_{ij} = P（X_{n+1} = j|X_n = i） \tag{式13} pij=P（Xn+1=j∣Xn=i）(式13)
表示在n时刻状态 i i i转移到 n + 1 n+1 n+1时刻状态j的转移概率。既然 p i j p_{ij} pij为条件概率，所有的转移概率必须满足两个条件：
p i j ≥ 0 , 对 于 所 有 的 i ， j (式14) p_{ij} \geq 0, 对于所有的i，j \tag{式14} pij≥0,对于所有的i，j(式14)
∑ j p i j = 1 ， 对 于 所 有 的 i (式15) \sum_j p_{ij } = 1，对于所有的i \tag{式15} j∑pij=1，对于所有的i(式15)
将假定转移是固定的，不随时间改变，即式13所有时间n成立，在这种情况下，马尔可夫链称为关于时间是齐次的。
若系统具有有限数目的可能状态，例如K个状态，则转移概率构成一个 K X K K X K KXK的矩阵
P = ∣ p 11 p 12 . . . p 1 k p 21 p 22 . . . p 2 k . . . . p k 1 p k 2 . . . p k k ∣ (式16) P = \begin{vmatrix} p_{11} &p_{12} & ... &&p_{1k} \\p_{21} &p_{22} & ... &&p_{2k} \\ &....\\\\ p_{k1} &p_{k2} & ... &&p_{kk} \\ \end{vmatrix} \tag{式16} P=∣∣∣∣∣∣∣∣∣∣p11p21pk1p12p22....pk2.........p1kp2kpkk∣∣∣∣∣∣∣∣∣∣(式16)
它的元素满足式14和式15所述的条件。而后一条件就是P的每行的和为1.这种类型的矩阵称为随机矩阵。任何随机矩阵可以作为转移概率矩阵。
令 p i j ( m ) p_{ij}^{(m)} pij(m)表示从状态 i i i到状态 j j j的m步转移概率：
p i j ( m ) = P ( X n + m = x j ∣ X n = x i ) ， m = 1 , 2 , . . . (式17) p_{ij}^{(m)} = P(X_{n+m} = x_j|X_n = x_i)，m=1,2,... \tag{式17} pij(m)=P(Xn+m=xj∣Xn=xi)，m=1,2,...(式17)
p i j ( m + 1 ) = ∑ k p i k ( m ) p k j ， m = 1 , 2 , . . . (式18) p_{ij}^{(m+1)} = \sum_k p_{ik}^{(m)}p_{kj}，m =1,2,... \tag{式18} pij(m+1)=k∑pik(m)pkj，m=1,2,...(式18)
p i j ( m + m ) = ∑ k p i k ( m ) p k j ( n ) ， m = 1 , 2 , . . . (式19) p_{ij}^{(m+m)} = \sum_k p_{ik}^{(m)}p_{kj}^{(n)}，m =1,2,... \tag{式19} pij(m+m)=k∑pik(m)pkj(n)，m=1,2,...(式19)
马尔可夫链的详细说明
(1) 一个由如下项目定义的随机模型：
有限K可能状态，表示为S={1，2，…K}。
一些列相应的概率{ p i j p_{ij} pij}，其中 p i j p_{ij} pij为从状态 i i i到 j j j的状态转移概率，并且满足
p i j ≥ 0 p_{ij} \geq 0 pij≥0
∑ j p i j = 1 ， 对 于 所 有 的 i \sum_j p_{ij } = 1，对于所有的i j∑pij=1，对于所有的i
(2) 给定已描述的随机模型，马尔可夫链是由下列一系列的随机变量 X 0 , X 1 , X 2 , . . . . X_0,X_1,X_2,.... X0,X1,X2,....所给定，其中他们的值根据相应的马尔可夫特征取值于状态S：
P ( X n + 1 = j ∣ X n = i , X n − 1 , . . . . , X 0 = i 0 ) = P ( X n + 1 = j ∣ X n = i ) P(X_{n+1} = j|X_n=i,X_{n-1},....,X_0=i_0) =P(X_{n+1} = j|X_n = i) P(Xn+1=j∣Xn=i,Xn−1,....,X0=i0)=P(Xn+1=j∣Xn=i)
常返性
假设一个马尔可夫链从状态 i i i开始，它以概率1返回状态i，则称状态i为常返的，也就是说
p i = P ( 状 态 i 的 每 一 个 返 回 ） = 1 p_i = P(状态i的每一个返回）=1 pi=P(状态i的每一个返回）=1
若状态 p i < 1 p_i<1 pi<1,则称状态 i i i为瞬态。
如果马尔可夫链从一常态开始，则该状态在时间上将无穷次重现，如果从一瞬态开始，它将只能有限次重现
周期性
上图显示一个具有常返态的马尔可夫链，此链经过一系列子态，经过三倍次移动后以相同子态结束。图示说明这个常返的马尔可夫链具有周期性。