Markov Process & Markov Chain(II)

• 相关定理

       定理1：Chapman-Kolmogorov方程（查普曼-科莫高洛夫方程）

       对于任意的n , m≥0级i , j∈S，有

       证明：按时刻n的状态进行分解，再用Markov性，有

              P ij (n+m)=P(X n+m =j | X 0 =i)

                            =Σ (下标k) P(X n+m =j , X n =k | X 0 =i)

                            =Σ (下标k) P(X n =k | X 0 =i)P(X n+m =j | X n =k , X 0 =i)

                            =Σ (下标k) P(X n =k | X 0 =i)P(X n+m =j | X n =k)

                            =Σ (下标k) P ik (n)P kj (m)

       该方程的直观意义十分明显，从状态i出发经过n+m步到达状态j可分两阶段走：先从状态i出发经过n步到达状态k，然后从状态k出发经过m步到达状态j。由Markov性，后一阶段的状态转移与前一阶段的状态转移独立，故两个阶段的转移概率相乘。由于状态k不受任何限制，因此应对全部k求和。

       推论1：对于任意的n , m≥0，P(n+m)=P(n)P(m)

       注：推论1中的转移概率矩阵可以是无穷阶的，但是乘法规则与有限矩阵一样。

       推论2：对于任意的n≥0，P(n)=P^n