马尔科夫模型学习过程 MC, HMM, POMDP, MOMDP

马尔可夫模型具有四类子模型，其关系如上所示。

马尔可夫过程（MP）：

 https://www.jiqizhixin.com/graph/technologies/fdebe132-cd51-43ba-8bda-a42abc478cbb

该链接讲述了马尔科夫链的知识。其中涉及的细致平衡条件在以下一篇文章中做了证明：

https://blog.csdn.net/guolindonggld/article/details/79597491

隐马尔可夫过程(HMM）

https://www.cnblogs.com/skyme/p/4651331.html 

该文章讲述了隐马尔科夫的知识，和求解算法（个人感觉求解算法讲的不是很清楚）。

相对于公式推导计算的过程，比较推荐参考徐亦达老师的视频。链接为：

https://www.youtube.com/watch?v=sqDDNCI1xp0

马尔可夫决策过程(MDP)

https://zhuanlan.zhihu.com/p/28084942

讲述了从马尔可夫奖励过程到决策过程的变化。

 该文章中涉及一些公式，其中符号表达并没有写得很清楚，推荐一个youtubu视频：

https://www.youtube.com/watch?v=1Di3Q8kHL94

部分可观测马尔可夫决策过程（POMDP）

这个模型国内资料比较少。只能推荐一下youtube上的资料，至于哪个比较好，我也没什么想法。