马尔可夫链预测 (Markov Chain)

一、人寿保险案例(两状态）

人寿保险公司把人的健康状态分为健康和疾病两种，以一年为一个时段，研究健康状态的转变。假设对某一年龄段的人来说，今年健康，明年继续保持健康的概率为0.8，即明年转为疾病的概率为0.2;而今年患病，明年转为健康的概率为0.7，即明年继续保持疾病状态的概率为0.3。

由于投保人处于健康和疾病状态是随机的，故设Xn表示第n年的状态，Xn=1表示健康，Xn=2表示疾病，n=0,1,2,3,….ai(n)表示第n年处于状态i的概率，i=1,2，即an(i)=P{Xn=i},用pij来表示今年处于状态i来年处于状态j的概率,即pij=P(Xn+1=j|Xn=i)，i=1,2.绘制成链图，见图（1）。

将上面的描述写成表格，如表1，

表1   两状态的状态转移

 称P=(pij)2×2为状态转移概率矩阵。

根据全概率公式，有

简写为n=0,1,2,…【1】

由此可见，投保人第n+1时段的身体健康状态的概率，只与第n时段的状态概率和转移概率有关，与第n-1,n-2,…以前的状态概率无关，这种性质称为无后效性，也称为马尔可夫性质。

 记a(n)为第n时段投保人的身体健康状态的概率分布向量，则公式【1】可以简写为矩阵和向量的形式【2】

称公式【1】或【2】为状态转移方程，矩阵P称为状态转移矩阵

下面假定投保人初始阶段的身体健康状态分布向量，分别取a(0)=[1,0]T,a(0)=[0,1]T,a(0)=[0,75,0.25]T,分别代入公式【2】,计算结果保留在表2中

p=[0.8 0.2;0.7 0.3];
a01=[1,0];a02=[0,1];a03=[0.75,0.25];
A01=[a01;a01*p;a01*p^2;a01*p^3;a01*p^4;a01*p^8];
A02=[a02;a02*p;a02*p^2;a02*p^3;a02*p^4;a02*p^8];
A03=[a03;a01*p;a03*p^2;a03*p^3;a03*p^4;a03*p^8];
A=[A01;A02;A03];

表2 不同初始状态状态转移数据

n	0	1	2	3	4	…	∞
a1(n)	1	0.8	0.78	0.778	0.7778	…	0.777778
a2(n)	0	0.2	0.22	0.222	0.2222	…	0.222222
a1(n)	0	0.7	0.77	0.777	0.7777	…	0.777778
a2(n)	1	0.3	0.23	0.223	0.2223	…	0.222222
a1(n)	0.75	0.8	0.7775	0.77775	0.777775	…	0.777778
a2(n)	0.25	0.2	0.2225	0.22225	0.222225	…	0.222222

 从表2可以看出

1. 无论初始状态的概率分布如何，经过有限次转移后，都会稳定在一个固定的概率分布；
2. 从ai(∞）>0,i=1,2可以看出，无论初始状态i如何，总能以概率大于0达到所有状态j；（对于满足（2）的马氏链，称为正则马氏链。）
3. 状态转移的每个阶段，转移矩阵P都相同，称为马氏链的时齐性，没有特殊说明，一般研究的马氏链都具有时齐性。

二、人寿保险案例（三状态）

保险公式将人的生存状态定义为三种：健康、疾病和死亡（第三中状态）,用Xn=3表示.今年健康，明年可能突发疾病或偶然事件而死亡；今年疾病，明年可能继续疾病、健康或死亡，而一旦死亡，则不能再转为健康或疾病。根据统计，三种状态相互转化的概率如表3.

表3  三状态的状态转移 记ai(n)=P{Xn=i},pij=P{X(n+1)=i|X(n)=j},i,j=1,2,3;n=0,2,…则，此案例中的状态转移方程为【3】

将初始状态X01=[1,0,0]T,X02=[0,1,0]T和X03=[0.75,0.25,0]T代入公式【3】，经计算，结果填入表4.

X1=[1,0,0];X2=[0,1,0];X3=[0.75,0.25,0];
p=[0.8 0.18 0.02;0.25 0.65 0.1;0 0 1];
A1=[X1;X1*p;X1*p^2;X1*p^3;X1*p^30;X1*p^60];
A2=[X2;X2*p;X2*p^2;X2*p^3;X2*p^30;X2*p^60];
A3=[X3;X3*p;X3*p^2;X3*p^3;X3*p^30;X3*p^60];
A=[A1,A2,A3]'

表4 不同初始状态的转移结果的数据对比

时段n	0	1	2	3	30	60	∞
a1(n)	1	0.8000	0.6850	0.6133	0.1431	0.0307	0
a2(n)	0	0.1800	0.2610	0.2930	0.0859	0.0184	0
a3(n)	0	0.0200	0.0540	0.0938	0.7711	0.9509	1
a1(n)	0	0.2500	0.3625	0.4069	0.1192	0.0256	0
a2(n)	1	0.6500	0.4675	0.3691	0.0715	0.0154	0
a3(n)	0	0.1000	0.1700	0.2240	0.8092	0.9590	1
a1(n)	0.75	0.6625	0.6044	0.5617	0.1371	0.0294	0
a2(n)	0.25	0.2975	0.3126	0.3120	0.0823	0.0177	0
a3(n)	0	0.0400	0.0830	0.1264	0.7806	0.9529	1

从表4可以看出：无论初始状态如何，通过状态转移之后，终究会定格在状态3不改变；若转移概率矩阵中pii=1，称状态i为吸状态，称这样的马氏链为吸收链。

三、马氏链基本概念 

1、马氏链及其基本方程

按系统的发展进程，时间离散化为n=0,1,2,…，对每个n，系统的状态为随机变量Xn表示，可以取k个值，Xn=1,2,…,k，记ai(n)=P{Xn=i},即状态概率(分布）,从Xn=i到xn+1=j的概率记为pij=P{Xn+1=j|Xn=i}，即转移概率。若Xn+1的取值取决于Xn的取值和转移概率，与前面的xn-1,xn-2,…的取值无关，称这种离散状态按照时间转移的过程为马氏链。

称状态转移概率矩阵，简称转移矩阵，它满足

记为第n时段的状态概率(分布)行向量。

称为马氏链基本方程。

在上述公式中，每个两个阶段的状态转移概率矩阵都是同一个矩阵P，称这种性质为马氏链的时齐性。

2、正则链

2.1 正则链定义：从任意状态出发，通过有限次转移，都能到另外的状态。

2.2 马氏链为正则链的充分必要条件←→状态转移矩阵P满足PN>0,即PN的每个分量都大于0.

2.3 正则链存在唯一的极限状态概率w=[w1,w2,…,wk]，使得称w为稳态概率，满足不难看出，w就是P转置矩阵的征值为1的特征向量的（标准化）行写法。

3、吸收链

若状态转移概率矩阵P中，有pii=1，则称i为吸收态。若马氏链中包含吸收态，则从任何一个非吸收态出发，经过有限次转移，都会以一个正概率到大吸收态。称这样的马氏链为吸收链。

4、首次到大概率和首次平均返回次数

记fij(n)为从状态i出发，经过n次转移，首次到大状态j的首达概率，于是从i到j的平均转移次数为μii称为平均首次返回次数。

5、吸收链的转移矩阵

若吸收链有r个吸收态，则转移矩阵P可以写为

其中方阵Q至少有一个行和小于1.

且I-Q可逆，满足设列向量的第i分量表示从第i个非吸收态出发，被某个吸收态吸收的平均转移次数。

由于状态一旦进入吸收态，就不会再进入非吸收态，所以，从某个非吸收态i出发，进入某个吸收态j，实际上首达概率fij(n)实际表示从i出发，经过n次转移被j吸收的概率，而则表示从非吸收态i出发终将被吸收态j吸收的概率。