S.P. Markov链（一）

1.Markov链的定义

1.1 Markov链的定义

Markov链有限维分布列由它的初始分布和“转移概率”（条件概率）所决定。
可将Xn看作【现在】，Xn+1看作【将来】，X1~Xn-1看作【过去】，已知现在，过去和将来独立。
若已知过去和现在来预测将来，可以去掉“过去”。

1.2 Markov链的转移概率

1.3 随机游动

1. 无限制的随机游动
   

2. 有粘性的随机游动
   
   经过一个单位时间，向右移动的概率p，向左移动的概率q，停留在原地的概率r

3. 带两个吸收壁的随机游动
   

4. 带一个反射壁的随机游动
   
   除0状态以外，等同于无限制随机游动
   状态0：以概率q停留在状态0，以概率p反射到状态1
   （在正半轴上的随机游动）

1.4 Ehrenfest模型

Ehrenfest模型是一个著名的统计力学的数学模型。
考虑一个容器内有2a个粒子，一张薄膜将容器分成左右两部分， 经过一个单位时间任选一个粒子从左到右或从右到左.，以 Xn 记 n 时刻左右两部分粒子数之差。

1.5 离散分支过程

1.6 状态转移图

红绿灯的变化（确定性的转移）：

天气的变化（概率）：

整数点上的随机游动：

2.C-K方程

2.1 转移概率矩阵的性质

2.2 n步转移概率

2.3 C-K方程及证明

直观理解：
左边：马氏链经过n步，从i状态跑到了j状态
右边：它经过l步从i状态到达了某一状态k，又经过n-l步从状态k到达了状态j

n步转移概率矩阵等于一步概率矩阵的n次方。

2.4 两状态Markov链

2.5 初始概率分布与绝对概率分布

3.Markov链状态的分类

3.1 状态之间的差异

3.2 状态的可达

3.3 首达时及其概率分布

3.4 常返与非常返

常返的直观含义：

引理：首次进入分解定理

常返与非常返的判别准则：


ℤ上无限制随机游动

对称随机游动

3.5 正常返与零常返

正常返与零常返判别准则：

3.6 状态的类性质

3.7 闭集

3.8 状态空间的分解

3.9 有限状态情形

例：

1. 一维无限制情形，对称随机游动是一个不可约的零常返链，非对称随机游动是一个不可约的非常返链.
2. 带两个吸收壁的随机游动，0,N为两个吸收态, 1,2,⋯,N−1都是非常返态.
3. Ehrenfest链是一个不可约的正常返链.