马尔科夫链预测

1. 适用条件——无后效性

        马尔科夫链适用于那些具有“无后效性”的随机过程。

        “无后效性”，也称无记忆性，是指系统下一时刻的情况只与当前时刻有关，而与过去无关。

        无后效性不仅是马尔科夫链的条件，也是动态规划问题的适用条件。在概率论里，离散型随机变量的概率分布中，只有几何分布具有无后效性；在连续性随机变量的分布中，只有指数分布具有这种无后效性，这两种分布分别描绘离散等待时间和连续等待时间。

        

2. 状态转移

        设代表状态 i 经过 m 步转变为状态 j 的概率，P(m) =  称为 m 步概率转移矩阵。结合以下两个定理， 就可以根据初始状态以及单步概率转移矩阵 P 得到任意 m 下的P(m).

     

        举例如下：

        考虑顾客购买商品的情况，这里为了满足“无后效性”所以假设购买行为是无记忆的。

        给定了初始购买概率 (0.2, 0.4, 0.4) 和单步的概率转移矩阵 P，则可以得到第 n 天的购买概率。

 

3. 极限概率分布

        马尔科夫链最常用的就是求长期情况下的极限概率。

        下面的定理保证，只要单步转移矩阵 P 是正则矩阵，那么概率就存在极限。且最终的概率向量 π 满足 πP = π 以及 。绝大多数情况下P本身的元素就都是正数，所以都存在极限概率。

        仍然以上面买味精为例，欲求一段时间后顾客购买情况的概率分布，直接联立方程组即可。