马尔科夫链 Markov chain

马尔科夫链(Markov chain)及其模型在机器学习中应用广泛，本文结合一些参考资料做一个总结。

注意的是，本文中提到的马尔科夫链，要与隐马尔科夫(HMM)作以区分。

1.实例

设某人的训练计划中有以下四项运动：

这4项运动并不是按照固定顺序进行的，有一定随机性。

另外，当前选择哪项运动与前一天选择哪项运动之间，存在一定依赖关系。

因此，它具有马尔科夫性。

为了搞清楚诸如已知前一天选择的运动，计算当前选择哪项运动的概率；第n天各项运动被选择的概率等问题，统计了62天以来，前后两天选择运动的频次。

根据频次，计算前一天选择某项运动选择下一天运动的频率：

转移矩阵的形式：

马尔科夫链(单向环)：

利用马尔科夫转移矩阵计算概率：

设第一天运动选择Run，第三天运动选择Push up，第二天的运动项目未知，它的概率计算如下：

马尔科夫链转移概率计算的一般式：

参考文献

[1] 马尔可夫链与马尔可夫模型（附代码）
[2] Markov models and Markov chains explained in real life: probabilistic workout routine