它是随即转移过程的工具,某些确定性系统也可以用马氏链模型,下个时期只与这个时期的状态和概率有关,这个时期之前的各个时期都和它没有关系。
保险公司要通过大量数据对状态转变的概率作出估计,确定不同年龄、不同健康状况的人的保险金和理赔金数额。
马氏链的重要性质:n→∞时,状态概率a1(n),a(n)趋向于稳定值,该值与初始状态无关。
把人的死亡作为第三种状态,Xn=3表示:今年健康、明年可能因突发疾病或偶然事故而死亡,今年患病,明年更可能转为死亡,而一旦死亡当然就不能在转为健康或者疾病。
仍然用ai(n)表示状态概率,i=1,2,3,用pij表示状态转移概率,i,j=1,2,3
注意:p31=p32=0,p33=1,因为前一年死亡,后一年必定死亡。
第n+1年的状态概率可类似于(1)式用
若投保人一开始是健康状态
不论初始状态如何,最终都转化到了状态3,这表示代表了另一种主要的马氏链类型。
马氏链的方程:
a i ( n + 1 ) = ∑ j = 1 k a j ( n ) p j i , i = 1 , 2 , . . . , k ( 3 ) a_i(n+1)=\sum^{k}_{j=1}a_j(n)p_{ji},\qquad i=1,2,...,k\qquad(3) ai(n+1)=∑j=1kaj(n)pji,i=1,2,...,k(3)
并 且 a i ( n ) 和 p i j 应 满 足 并且a_i(n)和p_{ij}应满足 并且ai(n)和pij应满足
引入转态概率向量(行向量)和转移概率矩阵(简称转移矩阵)
a ( n ) = ( a 1 ( n ) , a 2 ( n ) , . . . , a k ( n ) ) , P = { p i j } k × k ( 7 ) a(n)=(a_1(n),a_2(n),...,a_k(n)),P=\{p_{ij}\}_{k×k}\qquad(7) a(n)=(a1(n),a2(n),...,ak(n)),P={pij}k×k(7)
则基本方程(3)可以表为
(5)式表明转移矩阵P是非负矩阵,(6)式表示P的行和为1,称为随机矩阵。
对于例题的两种情况,可以得到转移矩阵为:
P = [ 0.8 0.2 0.7 0.3 ] P= \begin{bmatrix} 0.8&0.2\\ 0.7&0.3\\ \end{bmatrix} P=[0.80.70.20.3]
P = [ 0.8 0.18 0.02 0.65 0.25 0.1 0 0 1 ] P= \begin{bmatrix} 0.8&0.18&0.02\\ 0.65&0.25&0.1\\ 0&0&1\\ \end{bmatrix} P=⎣⎡0.80.6500.180.2500.020.11⎦⎤
对于马氏链模型的最基本问题是构造状态Xn及写出转移矩阵P,一旦有了P,那么给定初始状态概率a(0)就可以用(9)或(8)式计算任意时段n的概率a(n)。
这里的转移概率pij与时段n无关, 这种马氏链称为时齐的
特点:从任意状态出发,经过有限次转移都能达到另外的任意状态,有如下定义。
定理1:若马氏链的转移矩阵为P,则它是正则链的充要条件是:存在正整数N,使PN>0(指PN的每一个元素大于零)
上面举例的第一种情况显然满足定理1,即它是正则链。我们已经看到,任意初始状态a(0)出发,n→∞时状态概率a(n)趋于与a(0)无关的稳定值。事实上有如下定理。
定理2:正则链存在唯一的极限状态概率w=(w1,w2,…,wk),使得当n→∞时状态概率a(n)→w,w与初始状态概率a(0)无关,w又称稳态概率,满足
w p = w ( 10 ) wp=w\qquad(10) wp=w(10)
∑ i = 1 k w i = 1 ( 11 ) \sum_{i=1}^{k}w_i=1\qquad(11) i=1∑kwi=1(11)
从(9)或(10)得到
lim n → + ∞ P n \lim_{n \to +\infty} P^n limn→+∞Pn存在,记作 P ∞ P^∞ P∞,并且 P ∞ P^∞ P∞的每一行都是稳态概率w,如果记 P ∞ = { p i j ( ∞ ) } P^∞=\{p_{ij}^{(∞)}\} P∞={pij(∞)},那么有 p i i ( ∞ ) = w i p_{ii}^{(∞)}=w_i pii(∞)=wi。
从状态i出发经n次转移,第一次到达状态j的概率称为i到j的首达概率,记作 f i j ( n ) f_{ij}(n) fij(n),于是
μ i j = ∑ n = 1 ∞ n f i j ( n ) ( 12 ) μ_{ij}=\sum_{n=1}^{∞}nf_{ij}(n)\qquad(12) μij=n=1∑∞nfij(n)(12)
(12)式表示:由状态i第一次到达状态j的平均转移次数,特别地,μii是状态i首次返回的平均转移次数,μii与稳态概率w有密切关系,即
定理3:对于正则链有:μii=1/wi (13)
上面的第二个例子,状态3转移概率p33=1,于是系统一旦进入转态3就不会再离开它,可以把它看做“吸收”其他状态,并且从状态1或2出发,可以经有限次转移到达状态3,有如下定义。
其 中 k − r 阶 子 方 阵 Q 的 特 征 值 λ 满 足 ∣ λ ∣ < 1 , 这 要 求 子 阵 R ( k − r ) × r 中 必 含 有 非 零 元 素 , 以 满 足 从 任 一 非 吸 收 状 态 出 发 经 有 限 次 转 移 可 达 到 某 种 吸 收 状 态 的 条 件 。 这 样 Q 就 不 是 随 机 矩 阵 , 它 至 少 存 在 一 个 小 于 1 的 行 和 , 且 如 下 定 理 成 立 。 其中k-r阶子方阵Q的特征值λ满足|λ|<1,这要求子阵R_{(k-r)×r}中必含有非零元素,以满足从任一非吸收状态出发经有限次转移可达到某种吸收状态的条件。这样Q就不是随机矩阵,它至少存在一个小于1的行和,且如下定理成立。 其中k−r阶子方阵Q的特征值λ满足∣λ∣<1,这要求子阵R(k−r)×r中必含有非零元素,以满足从任一非吸收状态出发经有限次转移可达到某种吸收状态的条件。这样Q就不是随机矩阵,它至少存在一个小于1的行和,且如下定理成立。
定理4: 对 于 吸 收 链 P 的 标 准 形 式 ( 14 ) , I − Q 可 逆 , M = ( I − Q ) − 1 = ∑ s = 0 ∞ Q s ( 15 ) 对于吸收链P的标准形式(14),I-Q可逆,M=(I-Q)^{-1}=\sum_{s=0}^{∞}Q^s\qquad(15) 对于吸收链P的标准形式(14),I−Q可逆,M=(I−Q)−1=∑s=0∞Qs(15)
记 元 素 全 为 1 的 列 向 量 为 e = ( 1 , 1 , . . . , 1 ) T , 则 y = M e ( 16 ) 记元素全为1的列向量为e=(1,1,...,1)^T,则y=Me\qquad(16) 记元素全为1的列向量为e=(1,1,...,1)T,则y=Me(16)
y 的 第 i 分 量 是 从 第 i 个 非 吸 收 状 态 出 发 , 被 某 个 吸 收 状 态 吸 收 的 平 均 转 移 次 数 。 y的第i分量是从第i个非吸收状态出发,被某个吸收状态吸收的平均转移次数。 y的第i分量是从第i个非吸收状态出发,被某个吸收状态吸收的平均转移次数。
设状态i是非吸收状态,j是吸收状态,那么首达概率fij(n)实际上是i经n次转移被j吸收的概率,而
f i j = ∑ n = 1 ∞ f i j ( n ) ( 17 ) f_{ij}=\sum_{n=1}^{∞}f_{ij}(n)\qquad(17) fij=n=1∑∞fij(n)(17)
(17)式是从非吸收状态i出发终将被j吸收的概率,记为
F = { f i j } ( k − r ) × r F=\{f_{ij}\}_{(k-r)×r} F={fij}(k−r)×r
定理5:设吸收链的转移矩阵P表为标准形式(14),则
F = M R ( 18 ) F=MR\qquad(18) F=MR(18)
钢琴需求量近似服从泊松分布
周末库存可能为:0、1、2、3(架)
周初库存可能为:1、2、3
每周不同需求导致周库存状态的变化
当需求超过库存→失去销售机会
遇到的问题:动态过程,每周概率不同
解决的办法:在时间充分长之后,按照稳态进行分析计算。