马尔可夫过程及其例题分析

---

前言

本文的主要内容是马尔可夫过程的分类、马尔可夫链的定义、一步和n步转移概率、马尔可夫链的状态分类、状态空间的分解、平稳分布以及相关例题的解析。

---

一、马尔可夫过程的分类

时间、状态都离散的马尔可夫过程，称为马尔可夫链。
时间连续、状态离散的马尔可夫过程，称为连续时间马尔可夫链。
时间、状态都连续，称为马尔可夫过程。

---

二、马尔可夫链的定义

马尔可夫链的统计特性完全由条件概率：

所决定。

---

三、转移概率

1.一步转移概率

称上式的条件概率为马尔可夫链 {Xn,n∈T} 在时刻 n 的一步转移概率，简称为转移概率，其中的 i,j∈I。
转移概率p不仅与状态 i,j 有关，还与时刻 n 有关，当p不依赖于n时，表示马尔可夫链具有平稳转移概率。
转移概率p与n无关时，称马尔可夫链 {Xn,n∈T} 是齐次的。
一步转移概率矩阵的性质：

对（1），即矩阵中的每个元素都是大于等于0的；对（2），矩阵中的每行元素的和为1。通常满足（1）和（2）的矩阵为随机矩阵。

2.n步转移概率

其具有的性质有：

其中性质(1)称为切普曼-柯尔莫哥洛夫方程，简称为C-K方程。
性质(2)说明n步转移概率由一步转移概率确定。
性质(3)(4)说明n步转移矩阵可以由一步转移矩阵乘n次得到。

3.C-K方程应用例题

---

四、马尔可夫链的状态分类

1.周期性

如果集合：

非空，则称该集合的最大公约数 d 为状态i的周期，d>1 就称 i 是周期的，d=1 就称 i 是非周期的。

2.常返性

上式表示质点从状态 i 出发，经过有限步终于到达 j 的概率。

若 i 是非常返的，则从 i 出发后以正概率 1-f_ii 永远不再返回到 i 。
若 i 是常返的，由定义：

构成一个概率分布，其分布的期望值为：

它表示由 i 出发再次返回到 i 的平均返回时间。

若 i 是常返的，则有：

3.求首达概率例题

---

五、状态空间的分解

1.定义

设C为状态空间 I 的非空子集，若对任意 i ∈C 及 k∉C 都有p_ik =0，则称C为闭集。若C中所有的状态是互通的，称C为不可约的闭集。若马尔可夫链 {Xn} 的状态空间 I 是不可约的闭集，则称 {Xn} 为不可约的马尔可夫链。
闭集的意思是自C的内部不能到达C的外部，这意味着一旦质点进入闭集C中，它将永远留在C中循环运动。
任一马氏链的状态空间 I，可唯一地分解成有限个或可列个互不相交的子集D，C1，C2，… 之和，使得：

用一个式子表达状态空间 I 如下。

2.常返性、周期性例题

---

六、平稳分布

1.定义

设{Xn，n≥0} 是齐次马尔可夫链，状态空间为 I ，转移概率为p_ij。

不可约非周期马尔可夫链才能求其平稳分布。

2.平稳分布例题

---

总结

以上就是马尔可夫过程及其例题分析章节的所有内容了，本文参考的是刘次华随机过程第五版课本。