隐式半马尔可夫模型简述——Hidden semi-Markov Model: My superficial review

本文介绍隐式半马尔可夫模型（HSMM）的基本概念与使用，以及一些个人理解。读者要求有一定隐式马尔可夫模型（HMM）基础。文中采用的符号系统取自附录2。

从HMM到HSMM

有关隐式马尔可夫模型模型的由来，此处不做过多阐述，只做简单介绍。详细内容读者可参考此文。
给定一个观测序列 $o=\{o_1,o_2,\dots ,o_T\}$，我们假设该观测序列采样自某个不可直接观测的状态序列 $s=\{s_1,s_2,\dots ,s_T\}$，且$t$时刻的状态仅取决于$t-1$时刻的状态，那么我们认为采样的模型属于隐式马尔可夫模型（Hidden Markov Model, HMM）。一个典型HMM的模型参数为：$$\lambda \triangleq \{A,B,\pi \}$$ 其中

• $A$ 是状态转移概率矩阵（Transition probabilities）: $a_{ij}=P(s_t=S_j|s_{t-1}=S_i)$
• $B$ 是观测概率矩阵（Observation probabilities）: $b_j(k)=P(o_t=O_k|s_t=S_j)$
• $\pi$ 是初始状态概率向量（Initial state probabilities）: ${\pi }_j=P(s_0=S_j)$

一般探讨HMM的使用指的是探讨三个问题：

1. 评价：给定观测序列，评估该序列满足某个HMM的概率。典型的做法是前向、后向算法。
2. 解码：给定观测序列和一个HMM，找到该观测序列对应的状态序列。通常采用维特比算法。
3. 训练：给定观测序列，估计对应的HMM的参数。通常采用EM算法。

隐式马尔可夫模型的可用于建模空间、时间上的不确定性。空间上的不确定性由状态间的转移概率建模，时间上的不确定性则与自身转移概率有关（$a_{ii}$）。利用HMM每次预测下一个采样时刻的状态都仅考虑系统当前时刻的状态。然而，一些实际问题中，状态之间的转移并不在一个采样周期内发生。也就是说，状态会保持一段时间。就好比一个智能体从A地依次运动到B、C、D，由于每个地方大小不同，智能体在每个地方运动的时间长短也不同。这种数据的建模就要用到隐式半马尔可夫模型模型（Hidden semi-Markov Model, HSMM），如下图所示：

每个状态都有一个时长（Duration），且时长不固定。

HSMM概述

HSMM是HMM的扩展，它允许每个状态具有一个可变的时长（variable duration, $d$）。因此，HSMM可以用以建模时间上的不确定性。HSMM与HMM最重要的区别在于HMM每个状态产生一个观测值，而HSMM每个状态产生一系列观测值。
对于一个HSMM，状态的转移并非$s_t\to s_{t+1}$，而是$(s_i,d_i)\to (s_{i+1},d_{i+1})$。令状态 $i$ 到状态 $j$ 的转移概率为：$$\begin{array}{rl}& a_{(i,d^{\prime })(j,d)}\triangleq P[s_{[t+1:t+d]}=S_j|s_{[t-d^{\prime }+1,t]}=S_i]\\ \text{s.t. }& \sum _{j\in \mathcal{S}\setminus \{i\}}\sum _{d\in \mathcal{D}}{a}_{(i,d^{\prime })(j,d)}=1\\ & a_{(i,d^{\prime })(i,d)}=0\end{array}$$ 从上式可以看出：

• 使用HSMM时我们不考虑状态内部转移概率（self-transition probabilities），即将矩阵$A$中对角线元素全部置零。
• 状态之间的转移发生在采样时刻 $t$ ，此时前一个状态结束，后一个状态开启。
• 后一个状态及其时长，除了与前一个状态本身有关，还与前一个状态的时长有关。举个例子，一个智能体从A地运动到B地，由于A、B两地交界是线而非点，智能体沿着不同的方向运动有可能在两地停留的时间不同。

HSMM的观测概率表示为： $$b_{j,d}(o_{t+1:t+d})\triangleq P[o_{t+1:t+d}|s_{[t+1:t+d]}=S_j]$$ 也就是说，在状态 $j$ 系统会产生 $d$ 个观测输出。当然，该概率分布与 $t$ 本身选取无关。

HSMM的初始状态概率定义为： $${\pi }_{j,d}\triangleq P[s_{[t-d+1:t]}=S_j],t\le 0,d\in \mathcal{D}$$ 注意采样不一定是从 $t$ 时刻开始的。举个例子，一个智能体开始运动的位置可能是在A地的中间而非A与B的边界。

HSMM的模型参数总结如下： $$\lambda =\{a_{(i,d^{\prime })(j,d)},b_{(j,d)}(o_{k1:kd}),{\pi }_{j,d}\}$$

常用HSMM变体

从前述内容可以看出，通用HSMM模型参数较多，十分复杂。使用时，我们可以针对特定的问题对HSMM进行参数简化。下面介绍几种常见简化模型。

• 假设状态时长与前一个状态无关，那么状态转移概率可简化为：$$\begin{array}{rl}{a}_{(i,d^{\prime })j}& \triangleq P[s_{[t+1}=S_j|s_{[t-d^{\prime }+1:t]}=S_i]\\ p_j(d)& \triangleq P[s_{t+1:t+d]}=S_j|s_{[t+1}=S_j]\\ a_{(i,d^{\prime })(j,d)}& =a_{(i,d^{\prime })j}{p}_j(d)\end{array}$$ 即前一个状态$i$持续时长$d^{\prime }$的概率乘以后一个状态$j$时长为$d$的概率。
• 假设状态转移与前一个状态的时长无关，那么状态转移概率可简化为：$$\begin{array}{rl}{a}_{i(j,d)}& \triangleq P[s_{[t+1:t+d]}=S_j|s_{t]}=S_i]\\ a_{(i,d^{\prime })(j,d)}& =a_{i(j,d)}\end{array}$$ 即前一个状态$i$在$t$时刻转移到后一个状态$j$且状态$j$时长为$d$的概率。
• 假设状态与前一个状态的时长无关，且当前状态时长仅与当前状态有关，那么状态转移概率可简化为：$$\begin{array}{rl}{a}_{ij}& \triangleq P[s_{[t+1}=S_j|s_{t]}=S_i]\\ a_{(i,d^{\prime })(j,d)}& =a_{ij}{p}_j(d)\end{array}$$ 即前一个状态$i$转移到后一个状态$j$的概率乘以状态$j$时长为$d$的概率。

HSMM的推理方法（Inference）

基于HSMM的推理方法最基本的就是前向/后向（Forward/Backward algorithm）算法。该方法可用于观测序列的评价。为了更直接展示HSMM推理的算法特征，我们将基于HSMM的前向/后向算法与基于HMM的前向/后向算法加以对比。HMM的前向后向算法更详细推导参考此文。

HMM的前向/后向算法

先回顾一下HMM的前向算法。定义前向变量为：$${\alpha }_t(j)=P[s_t=S_j,o_{1:t}|\lambda ]$$ 即状态序列$o_{1:t}$中时刻$t$的状态为$j$的概率。那么 $$\begin{array}{rl}& t=1,{\alpha }_1(j)={\pi }_j{b}_j(o_1)\\ & t=2,{\alpha }_2(j)=\left[\sum _i{\alpha }_1(i)a_{ij}\right]b_j(o_2)\\ & t=3,{\alpha }_3(j)=\left[\sum _i{\alpha }_2(i)a_{ij}\right]b_j(o_3)\\ & \cdots \cdots \\ & t=T,{\alpha }_T(j)=\left[\sum _i{\alpha }_{T-1}(i)a_{ij}\right]b_j(o_T)\end{array}$$ 最终 $$P(o|\lambda )=\sum _i{\alpha }_T(i)$$ 前向算法利用了马尔可夫特性和局部计算避免重复计算。

下面看HMM的后向算法。定义后向变量为： $${\beta }_t(j)=P\left[o_{t+1:T}|s_t=S_j,\lambda \right]$$ 即$t$时刻状态为$j$时后续观测序列为$o_{t+1:T}$的概率。那么 $$\begin{array}{rl}& t=T,{\beta }_T(j)=1\\ & t=T-1,{\beta }_{T-1}(j)=\sum _i{a}_{ij}{b}_i(o_T){\beta }_T(i)\\ & t=T-2,{\beta }_{T-2}(j)=\sum _i{a}_{ij}{b}_i(o_{T-1}){\beta }_{T-1}(i)\\ & \cdots \cdots \\ & t=1,{\beta }_1(j)=\sum _i{a}_{ij}{b}_i(o_2){\beta }_2(j)\end{array}$$ 最终 $$P\left(o|\lambda \right)=\sum _i{\pi }_i{b}_i(o_1){\beta }_1(i)$$ 后向算法与前向算法的计算复杂度相同。

HSMM的前向/后向算法

HSMM的前后向算法相对比较复杂，但是主要变化在于时间序列的选取。HSMM的前向/后向算法仅探讨状态转移时刻的观测序列评价。后面的内容会尽量保持与HMM部分有统一的符号系统。

定义HSMM的前向变量为： $${\alpha }_t(j,d)=P\left[s_{[t-d+1:t]}=S_j,o_{1:t}|\lambda \right]$$ 注意该变量与时长 $d$ 有关，即观测序列$o_{1:t}$在时刻$[t-d+1:t]$的状态为$j$的概率。那么其递推公式为： $${\alpha }_t(j,d)=\sum _{i\in \mathcal{S}\setminus \{j\}}\sum _{d^{\prime }}{\alpha }_{t-d}(i,d^{\prime })a_{(i,d^{\prime })(j,d)}{b}_{j,d}(o_{t-d+1:t})$$ 由于HSMM的状态转移概率中包含状态和时长两个随机变量，因此前向改变递推时要考虑两个边缘分布。不要忘记在HSMM中我们始终假设状态自转移概率为零。

类似的，定义后向变量为： $${\beta }_t(j,d)=P\left[o_{t+1:T}|s_{[t-d+1:t]}=S_j,\lambda \right]$$ 即时刻$[t-d+1:t]$的状态为$j$且后续观测序列为$o_{t+1:T}$的概率。 其递推公式为： $${\beta }_t(j,d)=\sum _{i\in \mathcal{S}\setminus \{j\}}\sum _{d^{\prime }}{a}_{(j,d)(i,d^{\prime })}{b}_{i,d^{\prime }}(o_{t+1:t+d^{\prime }}){\beta }_{t+d^{\prime }}(i,d^{\prime })$$

需要注意的是，起始与终止时刻下，观测序列的产生并不一定依照上述前向/后向变量；就好比一个智能体起始时刻下位于A地的中间某处，因此运动到B地的耗时将经过整个A地的时长。由于HSMM始末时刻的特殊性，进行前向/后向推理时，需要对时刻进行假设：

• 通用假设：假设随机过程开始于$-\infty$，终止于$+\infty$，那么观测时间段$t=[1:T]$可以被认为是系统运动过程中的任意一段。既然是任意一段，那么我们可以认为时刻$[1,T]$之外的部分模型满足$b_{j,d}(\cdot )=1$。
• 简化假设：简单起见，我们就假设随机过程开始于$1$，终止于$T$。也就是说，我们不考虑始末位置的不确定问题，该假设因其简单而被广泛使用。此时的前向变量 $$\begin{array}{rl}& {\alpha }_0(j,d)={\pi }_{j,d},d\in \mathcal{D}\\ & {\alpha }_{\tau }(j,d)=0,\tau <0,d\in \mathcal{D}\end{array}$$ 后向变量 $$\begin{array}{rl}& {\beta }_T(i,d)=1,d\in \mathcal{D}\\ & {\beta }_{\tau }(i,d)=0,\tau >T,d\in \mathcal{D}\end{array}$$ 这样一来，我们也可认为起始状态持续时间恰好为$d$，初始概率${\pi }_{j,d}^{\prime }=P\left[s_{[1:d]}=S_j|\lambda \right]$。那么${\alpha }_d(j,d)={\pi }_{j,d}^{\prime }{b}_{j,d}(o_{1:d}),\forall d\in \mathcal{D}$。

未完待续……

---

1 感谢 李航——《统计学习方法》第2版
2 Thanks: Shun-Zheng Yu, Hidden semi-Markov models, Artifical Intelligence, 2020.