算法学习之Markov Model(马尔可夫模型)

Markov Model(马尔可夫模型)

在概率论中，马尔可夫模型是一种用于对随机变化的系统建模的随机模型。

一种假定猜想：假设未来的状态只依赖于当前状态，而不依赖于之前发生的事件(也就是说，它假设了Markov属性)。

通常，这个假设支持使用模型进行推理和计算，否则这将是棘手的。因此，在预测模型和概率预测领域，

一个给定的模型最好能表现出马尔可夫性质。

在不同的情况下，有四种常见的马尔可夫模型，这取决于是否每个序列状态都是可观测的，及系统将根据下列意见作出调整:

 马尔可夫链：

最简单的马尔可夫模型是马尔可夫链。它用随时间变化的随机变量来模拟系统的状态。在这个上下文中，Markov属性表明这

个变量的分布只依赖于以前状态的分布。

隐马尔可夫模型

隐马尔可夫模型是一种状态只能部分观察到的马尔可夫链。换句话说，观测与系统的状态相关，但通常不足以精确地确定状态。

马尔可夫决策过程

马尔可夫决策过程是一个状态转换依赖于当前状态的马尔可夫链和应用于系统的动作向量。通常，马尔可夫决策过程用于计算

一个行动策略，该策略将最大化与预期回报相关的一些效用。它与强化学习密切相关，可以通过值迭代和相关方法求解。

部分可见马尔可夫决策过程

部分可观测马尔可夫决策过程(POMDP)是一种只部分观察系统状态的马尔可夫决策过程。POMDPs被认为是NP完全的，但是

最近的近似技术已经使它们在许多应用中变得有用，例如控制简单的代理或机器人。

马尔可夫随机场或马尔可夫网络可以被认为是多维马尔可夫链的推广。在马尔可夫链中，状态只依赖于时间上的前一个状态，而在马尔可夫随机场中，每个状态在多个方向上依赖于它的邻居。马氏随机场可以看成是随机变量的场或图，其中每个随机变量的分布取决于与之相连的相邻变量。更具体地说，图中任意随机变量的联合分布可以计算为包含该随机变量的图中所有派系的“派系势”的乘积。将问题建模为马尔可夫随机场是有用的，因为它意味着图中每个顶点的联合分布可以用这种方式计算。

的位置，可以被解释为确定更复杂的信息，比如这个人在执行什么任务或活动。层次马尔可夫模型分为层次隐马尔可夫模型和抽象隐马尔可夫模型都被用于行为识别。模型中不同抽象层次之间的[5]和某些条件独立属性允许更快的学习和推理。

容错马尔可夫模型(TMM)是一种概率算法的马尔可夫链模型。它根据一个条件上下文分配概率，该上下文认为要发生的序列中的最后一个符号是最可能的，而不是真正发生的符号。TMM可以模拟三种不同的性质:替换、添加或删除。成功的应用已经在DNA序列压缩中得到了有效的实现。