齐次马氏链的性质(详解)

目录

一、齐次马氏链和一般马氏链的区别

二、齐次马氏链的性质

1、计算n步转移矩阵

2、熟悉绝对分布,初始分布,极限分布

3、齐次马氏链的遍历性和平稳性

3.0一个重要定理

3.1遍历性定义

3.2判断方法

3.3计算极限分布公式

3.4平稳性定义

3.5判断方法

3.6计算平稳性公式


一、齐次马氏链和一般马氏链的区别

一般马氏链:将来的状态只与现在有关,与过去无关

齐次马氏链:既是一般马氏链,又满足:一步转移概率 \bg_white \fn_phv p_{ij}(m) 与初始时间无关,即: p_{ij}(m)=p_{ij}

二、齐次马氏链的性质

1、计算n步转移矩阵

齐次马氏链的n步转移矩阵 p_{ij}^{(n)} 等于一步转移矩阵 p_{ij}^{n} 的n次方,即:p_{ij}^{(n)}=p_{ij}^{n}

2、熟悉绝对分布,初始分布,极限分布

为讨论马氏链在不同时刻处于各个状态的概率,引入概率分布向量 \pi _{i}(n)

绝对分布 \pi (n)=\begin{bmatrix} \pi_{1} (n), \pi_{2} (n), \pi_{3} (n), ... , \pi_{i} (n), ... \end{bmatrix}n时刻处于各个状态的概率分布向量:计算绝对分布

初始分布 \pi (0)=\begin{bmatrix} \pi_{1} (0), \pi_{2} (0), \pi_{3} (0), ... , \pi_{i} (0), ... \end{bmatrix}0时刻处于各个状态的概率分布向量

最终(极限)分布 \pi (\infty )=\prod =\begin{Bmatrix} \pi _{j}, j\in E \end{Bmatrix}无穷时刻处于各个状态的概率分布向量

齐次马氏链的绝对分布初始分布一步转移矩阵确定

齐次马氏链的有限维分布初始分布转移概率确定

3、齐次马氏链的遍历性和平稳性

3.0一个重要定理

如果齐次马氏链是遍历的,则它的极限分布也是它的平稳分布

3.1遍历性定义

n趋于无穷时,极限分布不仅存在,而且与初始状态无关,则具有遍历性;此时有极限分布 \pi (\infty )=\prod =\begin{Bmatrix} \pi _{j}, j\in E \end{Bmatrix}

3.2判断方法

存在一个转移矩阵P^{n}中的所有元素都满足 p_{ij}^{(n)}> 0,一般求一下两步转移矩阵即可做出判断

3.3计算极限分布公式

通过 \left\{\begin{matrix}\prod =\prod P \\ \sum \pi _{i}=1 \end{matrix}\right. 计算

3.4平稳性定义

满足三个条件: (1) v_{j}\geq 0,j\in E; (2) \sum_{j\in E} v_{j}=1; (3) v_{j}= \sum_{j\in E} v_{j}p_{ij} ,即说此马氏链是平稳的

3.5判断方法

用定义

3.6计算平稳性公式

通过\left\{\begin{matrix}V =V P \\ \sum v _{i}=1 \end{matrix}\right. 计算,此处只是换一个字母,与遍历性一样

你可能感兴趣的:(随机过程与排队论笔记,齐次马氏链,齐次马氏链的性质,齐次马氏链的遍历性,齐次马氏链的平稳性平稳性,齐次马氏链的平稳性)