数学模型与数学建模(急救版80+)常考知识点(二)

马尔可夫预测模型(与过去无关)

一、定义

设有随机过程X_{T}=\left \{ X_{T},t\in T\right \}, T=\left \{ 0,1,2,\cdots \right \},其中状态空间为I=\left \{ 0,1,2\cdots \right \} 

若对任意的正整数k,任意t_{i} \in T,t_{i}< t_{i+1}(i=0,1,2,\cdots ,k+1)及任意非负整数i_{_{0}},i_{_{1}},i_{_{2}},\cdots i_{_{k+1}},有

P\left \{ X_{t_{k+1}}=i_{k+1} \mid X_{t_{0}}=i_{0}, X_{t_{1}}=i_{1}, X_{t_{2}}=i_{2},\cdots X_{t_{k}}=i_{k} \right \} =P\left \{ X_{t_{k+1}}=i_{k+1}\mid X_{t_{k}}=i_{k} \right \}\cdots \cdots \cdots\cdots \cdots \cdots \cdots \cdots \cdots (1.1)                         

则称X_{T}为离散时间的马尔可夫链,简称马尔可夫链或马氏链.其中上式表示的性质为马尔可夫性或无后效性. 无后效性的直观意义是:如果把时刻t_{k}看作现在,那么t_{k+1}是将来的时刻,而t_{0},t_{1},t_{2},\cdots ,t_{k+1}则是以前的时刻,马尔可夫性表示在确切知道系统现在状态的条件下,系统将来状态的概率分布只与现在的状态有关,与之前的状态无关。


二、C-K方程

对于任意的正整数k,li,j\in I有:

p^{(k+l)}_{ij}=\sum_{r\in I}p^{(k)}_{ij}+p^{(l)}_{ij}\cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots (1.2)

根据定理(1.1)C-K方程也可以写成矩阵形式为P^{(k+l)}=P^{(k)}P^{(l)}. 因此,我们有k+1步转移概率与一步转移概率之间的关系为p^{(k+1)}_{ij}=\sum_{j_{1},j_{2},j_{3},\cdots j_{k\in I}} p_{ij_{1},j_{2},j_{3}\cdots ,j_{k}j}

n步转移概率矩阵P^{(n)}与一步转移概率矩阵P的关系为P^{(n)}=P^{n}


三、转移概率

条件概率P\left \{ X_{n+k}=j\mid X_{n}=i \right \}称为在时刻n系统从状态i经过k步,转移到状态jk步转移概率,记为p^{(k)}_{ij}(n)=p\left \{ X_{n+k}=j\mid X_{n}=i \right \},i,j\in I. 

一般地,转移概率p^{(k)}_{ij}(n)不仅与状态ij有关,而且与时刻n有关,当p^{(k)}_{ij}(n)n无关时,表明马尔可夫链具有平稳的转移概率,此时称马尔可夫链为(时间)齐次的马尔可夫链,并把p^{(k)}_{ij}(n)记为p^{k}_{ij}.  以下以仅讨论齐次的马尔可夫链,通常将“齐次”两字省略. 当k=1时,把p^{(1)}_{ij}记为p_{ij},称p_{ij}为马尔可夫链的一步转移概率.  若用P^{k}表示马尔可夫链的k步转移概率所组成的矩阵,则P^{k}=(p^{(k)}_{ij})称为k步转移概率矩阵.  此外,特别地,规定p^{(0)}_{ij}=\delta =\left\{\begin{matrix} 0 ,i\neq j& \\ 1,i=j& \end{matrix}\right.

进一步,当k=1时,一步转移概率组成的矩阵P^{(1)}=P=(p_{ij}). 显然,转移概率矩阵具有如下性质:

P_{ij}\geqslant 0,i,j=1,2,\cdots \cdots N         

即每个元素为非负

\sum_{j=1}^{N}P_{ij}=1,i=1,2,\cdots \cdots N   

即矩阵每行的元素和为1

马氏链模型说明【重在理解】

1.时间、状态均为离散的随机转移过程

2.系统在每个时期所处的状态是随机的

3.从一时期到下时期的状态按一定概率转移

4.下时期状态只取决于本时期状态和转移概率

5.本质:已知现在,将来与过去无关(无后效性)

6.注意转移概率与初始分布的区别与联系

7.每行的概率之和为1

8.求解某马尔可夫链具有稳定性,只看列,而不看行(易错)

题目一 

甲、乙两人进行同一场比赛(双方对战),设每局比赛中甲胜的概率是p,乙胜的概率是q,和局的概率是r,其中p+q+r=1。设每局比赛后,胜者记“+1”分,负者记“-1”分,和局不记分。当两人中有一人获得2分结束比赛。以X,,表示比赛至第n局时甲获得的分数。

(1)写出状态空间;

(2)求p(2);

(3)问在甲获得1分的情况下,再赛二局可以结束比赛的概率是多少?

解:

(1)记甲获得“负2分”为状态1,获得“负1分”为状态2,获得“0分”为状态3,获得“正1分”为状态4,获得“正2分”为状态5,则状态空间为:

一步转移概率矩阵

数学模型与数学建模(急救版80+)常考知识点(二)_第1张图片

(2)二步转移概率矩阵

P^{(2)}=P^{2} =\begin{bmatrix} 1 & 0 &0 & 0 & 0\\ q+rp & r^{2}+pq & 2pr & p^{2} & 0\\ q^{2}& 2rq & r^{2}+2pq & 2qr &p^{2} \\ 0& q^{2} & 2qr & r^{2}+pq & p+rq\\ 0& 0 & 0 & 0 & 1 \end{bmatrix}

(3)

P^{2}p^{(2)}_{45}是在甲得1分的情况下经二步转移至得2分

p^{2}_{41}是在甲得1分的情况下经二步转移至-2分(即乙得2分)从而结束比赛的概率。

所以题中所求概率为

p^{(2)}_{45}+p^{(2)}_{41}=(p+rp)+0=p(1+r)

马尔可夫遍历性与稳定性【计算】

题目二 

设马尔可夫链X_{T}=\left \{ X_{n} ,n=0,1,2,\cdots \right \}的状态空间为I=\left \{ 1,2,3 \right \},其一步转移矩阵为P=\begin{bmatrix} 1/3 &2/3 &0 \\ 1/3& 0 &2/3 \\ 0& 1/3 &2/3 \end{bmatrix}

试求证此马尔可夫链具有遍历性,并求其平稳分布.

解:

由于P^{(2)}=P^{2}=\begin{bmatrix} 1/3 &2/9 &4/9 \\ 1/9 & 4/9 &4/9 \\ 1/9& 2/9 &2/3 \end{bmatrix}

所以,n_{0}=2时,对一切i,j\in I都有p^{(2)}_{ij}>0,因此该马尔可夫链具有遍历性。

由定理(1.2),建立方程组

\left\{\begin{matrix} \pi(1) =\pi(1)/3+\pi (2)/3 & \\ \pi(2)=2\pi(1)/3+\pi(3)/3 & \\ \pi(3)= 2\pi(2)/3+2\pi(3)/3 & \\ \pi(1)+\pi(2) \pi(3)=1 &\\ \pi (1)>0,\pi (2)>0,\pi (3)>0 \end{matrix}\right.

解得:\pi (1)=1/7,\pi (2)=2/7,\pi (3)=4/7

此时,(\pi (1),\pi (2),\pi (3))=(1/7,2/7,4/7)即为该马尔可夫链多平稳分布.

【总结】

本节在于讲述马尔可夫模型(链)的理论知识内容,要求学会理解,会做题,其次在于应用

马尔可夫预测模型——数学模型与数学建模(急救版80+)常考知识点(二)

若对各位有帮助的,请点赞收藏哦,以防下次找不到了哦!!!

你可能感兴趣的:(Matlab必备学习笔记,数学建模,矩阵,线性代数)