马尔可夫链

1.定义
该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于将来（即当期以后的未来状态）是无关的。即未来决定于现在而不是过去，是一类随机过程。
比如，父代所处的阶层，对于子代是有影响的，但是祖辈是没有影响的

2.转移概率与矩阵
Pij(n)=P{Xn+1=j|Xn=i}

3.平稳过程
当n为无穷时， π = （π（1），π（2），...π（j）,...） 求和为1
这是稳定状态，之后每个时期都是这个概率
满足π* × P = π*

4.举例：
4.1当知道 t 时我们就能知道 t+1 发生的概率，那么我们自然可以把有限可数的状态空间的转移法(transistion law)写成一个矩阵。举个例子，如果状态空间只包含了两个状态A和B。如果今天是A，那么明天还是A的概率为0.8。如果今日是B，那么明天还是B的概率为0.7。转移矩阵可写为：

P =

4.2 定义：π＝|prob(A) prob(B)|
4.3假设我们今天的状态是A而不是B,那么我们明天是A还是B的可能性为：

图一

后天是A还是B的可能性为：

图二

大后天是A还是B的可能性为：

图三

均衡状态下的条件 ：π * P = π
代码如下：

表四

5.模型实例
假设现有商品ABC今年的市场占率分别为20%、20%和40%，A商品每年流失30%到B，流失30%到C；B商品下一年会流失20%到A，流失30%到C ；C商品每年会流失40%到A，流失40%到B，则刚开始ABC的市场占有率形成的矩阵[A0 B0 C0]=[0.2 0.2 0.4]，商品流动率形成的马尔科夫矩阵p=[0.4 0.3 0.3;0.2 0.5 0.3;0.4 0.4 0.2]，（这里要注意一下马尔科夫矩阵的性质：矩阵的每行的和为1，矩阵的每列的和也为1）。然后我们可以利用马尔科夫链推算下一年的商品ABC的市场占有率[A1 B1 C1]=p[A0 B0 C0]=[0.26 0.26 0.24] 。
如果ABC商品市场占有率满足马氏性，那么最终（平稳）的商品市场占有率为[An Bn Cn=pn[A0 B0 C0]=[0.2556 0.2556 0.2556]

6.小结
马尔科夫链就是在一定的假设下对未来的一种均衡结果的预测。知道当前的状态，然后知道转移矩阵即在各个条件下的转向不同状态的概率，通过连续转移变化就可以知道最终的概率或者结果的均衡稳定的解

仅供参考！！！

参考文献：
https://blog.csdn.net/wislon/article/details/77017557
https://blog.csdn.net/weaponsun/article/details/50007411