Markov chain 学习

除了reward markov chain外,所有内容都已学习完成,总结将从多个角度说明。

以下内容来来自于学习材料:我将把所有的知识点都圈起来,后续进行说明。

Markov chain 学习_第1张图片


Markov chain 学习_第2张图片

Markov chain 学习_第3张图片

 

对于任意的markov链

1)  首先要以类为单位将其进行划分,划分为两大类R和T,即常返和瞬时;然后对R进行分析,如果当前的类周期为d,那么再将其划分为d个小的子类,这是每个子类的的周期均为1

2)  然后对T和Ri(i=1,2,…d)单独进行分析。T所有的特征值必然都小于1,因此最终的P^n收敛于0。针对Ri分析时,首先计算特征值为1时对应的左特征向量,对该向量做标准化处理,即令所有分量的和为1,其即为P的稳定状态向量;然后计算它所有的特征值以及对应的右特征向量,向量组成矩阵U,然后求解该矩阵的逆矩阵(其逆矩阵的行向量为对应特征值的左特征向量,但是这是的这个左特征向量是经过了标准化的结果,V = 1);最后P^n既可以表示为以下形式:

                                   

3)经过1和2的处理将所有的Ri和T对应Pi^n进行组合,就会得到最终的结果P^n。

 

       

你可能感兴趣的:(数学)