自然语言处理——6.1 马尔可夫模型

马尔可夫模型描述

存在一类重要的随机过程：如果一个系统有个状态, 随着时间的推移，该系统从某一状态转移到另一状态。如果用 表示系统在时间的状态变量，那么，时刻的状态取值为 的概率取决于前 个时刻的状态，该概率为：

• 假设1

如果在特定情况下，系统在时间 的状态只与其在时间 的状态相关，则该系统构成一个离散的一阶马尔可夫链：
公式6.1

• 假设2

如果只考虑公式(6.1)独立于时间的随机过程，即所谓的不动性假设，状态与时间无关，那么： ……公式6.2

该随机过程称为马尔可夫模型(Markov Model)。

在马尔可夫模型中，状态转移概率 必须满足下列条件：
……公式6.3

……公式6.4

马尔可夫模型又可视为随机的有限状态自动机，该有限状态自动机的每一个状态转换过程都有一个相应的概率，该概率表示自动机采用这一状态转换的可能性。

马尔可夫链可以表示成状态图（转移弧上有概率的非确定的有限状态自动机）

• 零概率的转移弧省略。

• 每个节点上所有发出弧的概率之和等于1。

  
  

状态序列 的概率：

其中，，为初始状态的概率。

因此，可求得：