概率图模型（2）隐马尔可夫模型HMM

1 概述

1.1 HMM概念理解

首先我们需要对一些看起来比较相似的概念做一个总结和区分：

马尔可夫性（Markov Property）：无后效性或无记忆性，在已知“现在”的条件下，“将来”与“过去”无关，这种特性就叫强马尔可夫性。如人口增长、电子跃迁、传染病传染人数等；
马尔可夫过程（Markov Process）：满足马尔可夫性的随机过程；
马尔可夫链（Markov Chain）：时间和状态都是离散的马尔可夫过程称为马尔可夫链，描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一个数列；
马尔可夫模型（Markov Model）：时间 $t$ 的状态只与其在时间 $t-1$ 的状态有关，即只取决于前面一个状态，比如语言模型中的二元语法模型2-gram就是一个马尔可夫模型。

在马尔可夫模型中，每个状态代表一个时间的可观察事件，比如在2-gram中每个状态就是一个单词，所以马尔可夫模型又称为可视马尔可夫模型（visible Markov Model，VHM）

那么对于状态不可观察的问题呢，我们观察到的不是状态，观察到的事件是状态的随机函数，状态是未知、不可见的，相当于有两层的随机过程，比如经典的掷硬币问题：假如有两个不均匀硬币 $A,B$ ，掷到正面的概率分别为 $\mu_A,\mu_B$ ，小明每次扔一个硬币，我来观察正反面，但我不知道他每次扔的是 $A$ 还是 $B$ ，即状态 $A,B$ 对我是不可见的，我观察到的正反面是状态 $A,B$ 的随机函数，这种问题怎么描述呢？显然VHM是行不通了，我们要使用隐马尔可夫模型（hidden Markov Model，HHM），如下图， $z$ 表示状态，为硬币 $A$ 或 $B$ ， $x$ 表示观察到的事件，为正面或反面：

1.2 HMM数学表示

HMM的图示简单明了，下面我们从数学的语言来定义一下隐马尔可夫模型：

1）模型变量：

设 $Q=\{q_1,q_2,...,q_N\}$ 是所有可能状态的集合， $V=\{v_1,v_2,...,v_M\}$ 是所有可能观测的集合。
对于一个长度为 $T$ 的序列： $Z=\{z_1,z_2,...,z_T\}$ 为状态序列， $X=\{x_1,x_2,...,x_T\}$ 为观测序列。

2）模型基本假设：

齐次马尔可夫性假设：任意时刻的隐藏状态只依赖于它前一个隐藏状态，即在时刻 $t$ 的隐藏状态是 $z_t=q_i$ ,在时刻 $t+1$ 的隐藏状态是 $z_{t+1}=q_j$ ，从时刻 $t$ 状态到时刻 $t+1$ 状态的转移概率 $a_{ij}$ 可以表示为：

$a_{ij}=P(z_{t+1}=q_{j}|z_{t}=q_{i})$

观测独立性假设：任意时刻的观察状态只依赖于当前时刻的隐藏状态，即 $t$ 时刻观察状态 $v_k$ 在隐藏状态 $q_i$ 下生成的概率为 $b_i(k)$ ：

$b_i(k) = P(x_t = v_k | z_t= q_i)$

3）模型参数：

状态转移概率分布 $A$ ：状态与状态之间互相转移的概率；
观测概率分布 $B$ ：某状态下生成观测的概率；
初始概率分布 $\pi$ ：某状态作为初始时刻状态的概率。

4）模型解决的问题：

我们知道，在HMM中我们观察到的是观测序列 $X$ ，即观测序列 $X$ 肯定是已知的，状态序列 $Z$ 和模型参数 $A,B,\pi$ 都有可能是未知的，因为很容易得到HMM的三个基本问题：

预测问题：求状态序列 $Z$ ，观测序列 $X$ 和模型参数 $A,B,\pi$ 为已知；
学习问题：求模型参数 $A,B,\pi$ ，观测序列 $X$ 为已知，状态序列 $Z$ 可能已知也可能未知；
概率计算问题：求观测序列 $X$ 出现的概率，模型参数 $A,B,\pi$ 为已知。

其中预测问题和学习问题是在应用中最常见的饿两个问题，但是要解决他们，问题三概率计算问题的解决是基础，所以我们接下来先来看看概率计算问题怎么解决。

2 概率计算问题

求观测序列 $X$ 出现的概率，就是计算 $P(X|A,B,\pi)$ ，将参数综合表示为 $\lambda$ ，即 $P(X|\lambda)$ ，最直接的方法是使用全概率公式，如果我们能把所有可能的状态 $z$ 都枚举出来， $P(X|\lambda)$ 就能以下式计算：

$P(X|\lambda)=\sum_Z P(X,Z|\lambda)=\sum_Z P(X|Z,\lambda)P(Z|\lambda)$

但是状态序列的可能性很多，上式的时间复杂度为 $O(TN^T)$ ，基本上是不可行的。那怎么办呢？我们采用前向算法或后向算法来计算。

2.1 前向计算

前向概率是t时刻状态和t之前（包括t）观测的联合概率：

$\alpha_t(i) = P(o_1,o_2,...o_t, i_t =q_i | \lambda)$

前向算法流程：

输入：HMM模型 $λ=(A,B,\pi)$ ，观测序列 $O=(o_1,o_2,...o_T)$
输出：观测序列概率 $P(O|λ)$

计算时刻1的各个隐藏状态前向概率：

$α_1(i)=π_ib_i(o_1),i=1,2,...N$

递推时刻2,3,...T时刻的前向概率：

$\begin{align*} α_{t+1}(i)&=P(o_1,o_2,...o_t,o_{t+1}, i_{t+1} =q_i | \lambda)\\ &=∑_{j=1}^NP(o_1,o_2,...o_t,o_{t+1}, i_{t+1} =q_i,i_{t} =q_j | >\lambda)\\ &=∑_{j=1}^NP(o_1,o_2,...o_t,i_{t} =q_j | \lambda)\times P(i_{t+1} >=q_i|o_1,o_2,...o_t,i_{t} =q_j,\lambda)\\&\times P(o_{t+1} >=q_i|o_1,o_2,...o_t,i_{t} =q_j,i_{t+1}=q_i,\lambda)\\ &=∑_{j=1}^Nα_t(j)\times P(i_{t+1} =q_i|i_{t} =q_j)\times >P(o_{t+1}|i_{t+1}=q_i)\\ &=[∑_{j=1}^Nα_t(j)a_{ji}]b_i(o_{t+1}),i=1,2,...N \end{align*}$

计算最终结果：

$P(O|λ)=∑_{i=1}^Nα_T(i)$

2.2 后向计算

后向概率是 $t$ 时刻状态条件下， $t$ 以后的观测的条件概率，定义时刻 $t$ 时隐藏状态为 $q_i$ , 从时刻 $t+1$ 到最后时刻 $T$ 的观测状态的序列为 $o_{t+1},o_{t+2},...o_T$ 的概率为后向概率。记为：

$\beta_t(i) = P(o_{t+1},o_{t+2},...o_T| i_t =q_i , \lambda)$

使用后向概率来计算 $P(O|λ)$ 仍然是一个动态规划的过程，找到 $\beta_t$ 和 $\beta_{t+1}$ 的关系，从后往前推即可：

后向算法流程：

输入：HMM模型 $λ=(A,B,\pi)$ ，观测序列 $O=(o_1,o_2,...o_T)$
输出：观测序列概率 $P(O|λ)$

初始化时刻T的各个隐藏状态后向概率：

$β_T(i)=1,i=1,2,...N$

递推时刻T−1,T−2,...1时刻的后向概率：

$\begin{align*} \beta_{t}(i) &= P(o_{t+1}, o_{t+2},\cdots,o_T|i_t=q_i,\lambda) \\ &=\sum_{j=1}^N{P(o_{t+1}, o_{t+2},\cdots,o_T, i_{t+1}=q_j|i_t=q_i,\lambda)} \\ &=\sum_{j=1}^N{P(o_{t+1}, o_{t+2},\cdots,o_T|i_{t+1}=q_j, i_t=q_i,\lambda)} \cdot P(i_{t+1}=q_j|i_t=q_i,\lambda)\\ &=\sum_{j=1}^N{P(o_{t+1}, o_{t+2},\cdots,o_T|i_{t+1}=q_j, i_t=q_i,\lambda)} \cdot a_{ij}\\ &=\sum_{j=1}^N{P(o_{t+1}, o_{t+2},\cdots,o_T|i_{t+1}=q_j,\lambda)} \cdot a_{ij}\quad \leftarrow 假设1 \\ &=\sum_{j=1}^N{P(o_{t+1}| o_{t+2},\cdots,o_T,i_{t+1}=q_j,\lambda)\cdot P(o_{t+2},\cdots,o_T|i_{t+1}=q_j,\lambda)} \cdot a_{ij}\quad \\ &=\sum_{j=1}^N{P(o_{t+1}|i_{t+1}=q_j,\lambda)\cdot P(o_{t+2},\cdots,o_T|i_{t+1}=q_j,\lambda)} \cdot a_{ij}\quad \leftarrow 假设2\\ &=\sum_{j=1}^N a_{ij}\cdot b_j(o_{t+1})\cdot \beta_{t+1}(j) \quad \end{align*}$

计算最终结果：

$P(O|λ)=∑_{i=1}^Nπ_ib_i(o_1)β_1(i)$

2.3 前向后向计算小结

前向后向算法的时间复杂度如何呢？不管是前向后向，都是T次递推，每次递推都有N次循环，最后还有一层N次循环，所以时间复杂度是 $O(TN^2)$ ，比 $O(TN^T)$ 小多了。

看到前向计算和后向计算的定义我们难免有这么个问题：为什么前向概率是联合概率形式，后向概率是条件概率形式呢？
我认为，因为前向计算是要从当前 $t$ 时刻向 $t+1$ 时刻推 $o_{t+1}$ 的， $o_{t+1}$ 由 $z_{t+1}$ 得到， $z_{t+1}$ 又可由 $z_{t}$ 得到，也就是说，推 $o_{t+1}$ 是不需要提前知道任何 $t+1$ 时刻的信息的，作为对比，我们再看看后向的公式为什么用条件概率的形式，后向计算要从后往前推，而HMM是有向的，从 $z_{t+1}$ 不能反向推到 $z_{t}$ ，所以我们要得到 $o_{t}$ 必须先得到 $z_{t}$ 作为条件，所以后向概率要设计成条件概率的形式。

前后向算法帮助我们解决了HMM的概率计算问题，接下来我们来尝试解决预测问题。

3 预测问题

预测问题：求状态序列 $Z$ ，观测序列 $X$ 和模型参数 $A,B,\pi$ 为已知。

所谓预测，就是找出最可能出现情况，将其作为我们预测的结果。在HMM中就是要找到使观测序列出现概率最大的状态序列 $Z$ ，即：

$Z=\arg \max_Z P(X|Z,\lambda)$

我们直接能想到的最简单的办法就是把所有可能的状态序列 $Z$ 枚举出来，挨个计算 $P(X|Z,\lambda)$ ，使其取得最大值的状态序列 $Z^*$ 即为我们的预测结果，然而问题还是时间复杂度，维特比算法能够大幅优化这个问题。

维特比算法是基于动态规划的求序列最短路径的方法，不只是用在HMM中，对于维特比算法的具体内容有一篇很好的博客，推荐一波，我就不再拾人牙慧了~链接如下：
小白给小白详解维特比算法（一)
稍微总结一下维特比算法的思路：全部路线下图1，最短路径是从A到D1最短的那条，当我们处于C层，想要到达D1点时，我们必然要选择C1C2C3中的一个（如图2），假设知道了C层前面的所有路线的距离，我们就能结合C到D之间路径的距离决定选择C层的哪个点，一层层依次往前走，我们就能推出一条路来。当然这是倒着想的，正着也是一样的，我们在A层没法决定B层走哪个点，但如果我们看远一点，就可以通过C层的信息决定B层的点，基本上就是这个思路，不清楚的话还是看上面的博客吧。

图1

图2

维特比算法的流程：

输入：HMM模型 $=(,,\pi)$ ，观测序列 $=(_1,_2,..._)$
输出：最可能的状态序列 $^∗={^∗_1,^∗_2,...,^∗_}$

初始化：

$\delta_1(i) = \pi_ib_i(o_1),\;i=1,2...N$

$\Psi_1(i)=0,\;i=1,2...N$

动态规划递推。对 $=2,3,...$ ：

$\delta_{t}(i) = \max_{1 \leq j \leq N}\;[\delta_{t-1}(j)a_{ji}]b_i(0_{t}),\;i=1,2...N$

$\Psi_t(i) = arg \; \max_{1 \leq j \leq N}\;[\delta_{t-1}(j)a_{ji}],\;i=1,2...N$

终止。计算时刻 $\text{[math]}$ 最大的 $_()$ ，为最可能状态序列出现的概率；计算时刻 $\text{[math]}$ 最大的 $Ψ_()$ ，为时刻最可能的状态：

$P^* = \max_{1 \leq j \leq N}\delta_{T}(i)$

$i_T^* = arg \; \max_{1 \leq j \leq N}\;[\delta_{T}(i)]$

最优路径回溯。对于 $=−1,−2,...,1$ ：

$i_t^* = \Psi_{t+1}(i_{t+1}^*)$

即求得最优路径（最可能的状态序列） $I^*= \{i_1^*,i_2^*,...i_T^*\}$ 。