隐马尔可夫模型详解

目录

1. 引言
2. 马尔可夫模型基础
   1. 马尔可夫性质
   2. 马尔可夫链的联合分布
3. 隐马尔可夫模型（HMM）简介
   1. 模型参数的表示
   2. HMM的联合分布
4. HMM的三大元素与基本公式
5. HMM的三大基本问题
   1. 评估问题：前向-后向算法（Forward-Backward）
      1. 前向算法（Forward）
      2. 后向算法（Backward）
      3. 前向-后向的更多推导
   2. 解码问题：维特比算法（Viterbi）
   3. 学习问题：Baum-Welch算法（EM算法）
6. 隐马尔可夫模型的具体种类
   1. 离散观测隐马尔可夫模型（Discrete HMM）
   2. 连续观测隐马尔可夫模型（Continuous HMM）
   3. 半隐马尔可夫模型（Semi-HMM）
   4. 其他扩展
7. 代码示例
8. 代码简要解读

---

引言

隐马尔可夫模型（Hidden Markov Model, HMM）是一种能够对隐藏状态序列和观测序列进行联合建模的统计模型。它在语音识别、自然语言处理、生物信息（基因序列分析）及很多时序预测领域都有广泛的应用。本教程将以通俗易懂的方式详细介绍从马尔可夫链到隐马尔可夫模型，并给出核心算法和典型的数学公式推导，力求让读者更好地理解其原理。

---

马尔可夫模型基础

马尔可夫性质

一个随机过程 $\{X_t\}$（这里 $t$ 可以是离散时刻）满足马尔可夫性质，表示当前状态对未来状态的影响只与当前状态本身有关，而与过去的历史状态无关。用数学语言描述：

P ( X t + 1 = x   ∣   X 1 = x 1 , X 2 = x 2 , … , X t = x t ) = P ( X t + 1 = x   ∣   X t = x t ) . P\bigl(X_{t+1} = x \,\big\vert\, X_1 = x_1, X_2 = x_2, \dots, X_t = x_t\bigr) = P\bigl(X_{t+1} = x \,\big\vert\, X_t = x_t\bigr). P(Xt+1​=x ​X1​=x1​,X2​=x2​,…,Xt​=xt​)=P(Xt+1​=x ​Xt​=xt​).

对于“一阶马尔可夫链”，此性质足够描述。若需要考虑记忆性更长的过程，可扩展为高阶马尔可夫链。

马尔可夫链的联合分布

马尔可夫链状态空间设为 $S=\{s_1,s_2,\dots ,s_N\}$。定义状态转移概率：

$$a_{ij}=P(X_{t+1}=s_j\mid X_t=s_i),\sum _{j=1}^N{a}_{ij}=1.$$

如果我们有初始分布 $\pi =({\pi }_1,{\pi }_2,\dots ,{\pi }_N)$，其中

$${\pi }_i=P(X_1=s_i),\sum _{i=1}^N{\pi }_i=1,$$

那么，对于时刻 $1$ 到 $T$ 的状态序列 $(X_1,X_2,\dots ,X_T)$，它的联合概率可写为：

$$P(X_1=s_{i_1},X_2=s_{i_2},\dots ,X_T=s_{i_T})={\pi }_{i_1}{a}_{i_1{i}_2}{a}_{i_2{i}_3}\cdots a_{i_{T-1}{i}_T}.$$

---

隐马尔可夫模型（HMM）简介

在普通马尔可夫链中，状态 $X_t$ 是可直接观察的。而隐马尔可夫模型提出：每个时刻 $t$ 的状态 $X_t$ 是不可见（隐藏的），但我们可以观测到一个与之相关的随机变量（或向量）$O_t$。因此，实际观测到的是序列 $(O_1,O_2,\dots ,O_T)$，而状态序列 $(X_1,X_2,\dots ,X_T)$ 就是 “隐”的马尔可夫链。

模型参数的表示

一个HMM由如下参数刻画：

1. 状态集合：$S=\{s_1,s_2,\dots ,s_N\}$，隐藏状态数为 $N$。
2. 观测集合：$V=\{v_1,v_2,\dots ,v_M\}$（若为离散情况），或者是一个连续空间（若为连续情况）。
3. 初始状态分布：$\pi =({\pi }_1,{\pi }_2,\dots ,{\pi }_N)$。
4. 状态转移概率矩阵：$A=[a_{ij}]$，其中
   $$a_{ij}=P(X_{t+1}=s_j\mid X_t=s_i),1\le i,j\le N.$$
5. 观测概率分布：$B$。
   • 若为离散情况：$B=[b_j(k)]$，其中
     $$b_j(k)=P(O_t=v_k\mid X_t=s_j).$$
   • 若为连续情况：可以用高斯分布或其混合分布来表示
     $$b_j(o)=p(O_t=o\mid X_t=s_j).$$

常将这些参数记为 $\lambda =(A,B,\pi )$。

HMM的联合分布

在HMM中，如果我们同时考虑状态序列 $X$ 和观测序列 $O$，它们的联合概率可写为：

$$P(X,O\mid \lambda )=P(X_1)\prod _{t=2}^{T}P(X_t\mid X_{t-1})\prod _{t=1}^{T}P(O_t\mid X_t).$$

展开后，我们有：

$$P(X,O\mid \lambda )={\pi }_{x_1}\prod _{t=1}^{T-1}{a}_{x_t,x_{t+1}}\prod _{t=1}^T{b}_{x_t}(o_t).$$

这里 $x_t$ 表示时刻 $t$ 的隐藏状态在 $\{1,\dots ,N\}$中的具体取值；$o_t$ 表示时刻 $t$ 的观测值在观测集合中的索引（或具体向量）。

---

HMM的三大元素与基本公式

1. 隐藏状态（state）：$X_t\in \{s_1,\dots ,s_N\}$。
2. 观测变量（observation）：$O_t\in \{v_1,\dots ,v_M\}$ 或连续空间。
3. 初始分布 $\pi$、转移概率 $A$、观测概率 $B$。

在时刻 $t$，“真实”状态为 $X_t$，但我们只能观测到 $O_t$。贯穿整个序列有长度为 $T$ 的 $\{O_1,O_2,\dots ,O_T\}$ 和 $\{X_1,X_2,\dots ,X_T\}$。

---

HMM的三大基本问题

在实际应用中，我们常常会遇到以下三个核心问题：

1. 评估（Evaluation）：给定 $\lambda$ 和观测序列 $O$，计算 $P(O\mid \lambda )$。
2. 解码（Decoding）：给定 $\lambda$ 和观测序列 $O$，找到最优的隐藏状态序列 $\hat{X}$。
3. 学习（Learning）：给定观测序列 $O$，估计最佳的 $\lambda$（或使 $P(O\mid \lambda )$ 最大）。

评估问题：前向-后向算法（Forward-Backward）

我们先考察：如何快速计算给定HMM（$\lambda$）生成观测序列 $O$ 的概率 $P(O\mid \lambda )$？这就是评估问题，可用前向-后向算法在多项式时间内完成。

前向算法（Forward）

定义“前向变量” ${\alpha }_t(i)$：
$${\alpha }_t(i)=P(o_1,o_2,\dots ,o_t,X_t=s_i\mid \lambda ).$$
即“从时刻1到时刻$t$的所有观测值为$o_1,\dots ,o_t$，并且时刻$t$的隐藏状态为$s_i$”的联合概率。

• 初始化：
  $${\alpha }_1(i)={\pi }_i{b}_i(o_1),1\le i\le N.$$
  因为在时刻1，我们处于状态$s_i$的概率是${\pi }_i$，同时观测到$o_1$的概率是$b_i(o_1)$。

• 递推：
  $${\alpha }_{t+1}(j)=[\sum _{i=1}^N{\alpha }_t(i)a_{ij}]b_j(o_{t+1}),1\le j\le N,1\le t\le T-1.$$
  这里 ${\sum }_{i=1}^N{\alpha }_t(i)a_{ij}$ 表示从时刻$t$的所有可能状态转移到时刻$t+1$状态$s_j$的联合概率之和，然后再乘以在状态$s_j$下产生观测$o_{t+1}$的概率。

• 终止：
  $$P(O\mid \lambda )=\sum _{i=1}^N{\alpha }_T(i).$$
  即时刻$T$可能处于任何状态下的联合概率之和。

从而可得观测序列的概率。该算法时间复杂度为 $O(N^{2}T)$。

后向算法（Backward）

“后向算法”同样能得到 $P(O\mid \lambda )$，定义“后向变量” ${\beta }_t(i)$：
$${\beta }_t(i)=P(o_{t+1},o_{t+2},\dots ,o_T\mid X_t=s_i,\lambda ).$$
即“在时刻$t$处于状态$s_i$时，后面时刻$t+1$到$T$的观测序列为$o_{t+1},\dots ,o_T$的概率”。

• 初始化：
  $${\beta }_T(i)=1,1\le i\le N.$$

• 递推：
  $${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j),1\le i\le N,t=T-1,\dots ,1.$$

• 终止：
  $$P(O\mid \lambda )=\sum _{i=1}^N{\pi }_i{b}_i(o_1){\beta }_1(i).$$

和前向算法一样，后向算法也只需要 $O(N^{2}T)$ 的时间。

前向-后向的更多推导

在后面谈学习问题时，我们还会用到前向-后向算法来求各时刻处于某状态的后验概率等量。常见定义有：

• ${\gamma }_t(i)$：时刻$t$处于状态$s_i$的概率；
• ${\xi }_t(i,j)$：时刻$t$处于状态$s_i$且时刻$t+1$处于状态$s_j$的概率。

这两个量可用 ${\alpha }_t(i)$ 与 ${\beta }_t(i)$ 以及观测概率进行计算。例如，

$${\gamma }_t(i)=P(X_t=s_i\mid O,\lambda )=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O\mid \lambda )}.$$

$${\xi }_t(i,j)=P(X_t=s_i,X_{t+1}=s_j\mid O,\lambda )=\frac{{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}{P(O\mid \lambda )}.$$

解码问题：维特比算法（Viterbi）

解码问题想要得到的是：给定观测序列 $O$ 和模型 $\lambda$，哪一条隐藏状态序列 $X=(X_1,\dots ,X_T)$ 最有可能出现？即

$$\hat{X}=\arg \underset{X}{\max }P(X\mid O,\lambda ).$$

因为在HMM下等价于最大化 $P(X,O\mid \lambda )$，所以可用维特比算法进行动态规划求解。

定义“维特比变量” ${\delta }_t(i)$：

$${\delta }_t(i)=\underset{X_1,\dots ,X_{t-1}}{\max }P(X_1,\dots ,X_{t-1},X_t=s_i,o_1,\dots ,o_t\mid \lambda ).$$

• 初始化：
  $${\delta }_1(i)={\pi }_i{b}_i(o_1).$$

• 递推：
  $${\delta }_{t+1}(j)=[\underset{1\le i\le N}{\max }{\delta }_t(i)a_{ij}]b_j(o_{t+1}).$$
  并令
  $${\psi }_{t+1}(j)=\arg \underset{1\le i\le N}{\max }{\delta }_t(i)a_{ij}.$$
  这里 ${\psi }_{t+1}(j)$ 是记录“最优路径”从上一时刻哪个状态转移而来。

• 终止：
  $$P^{\ast }=\underset{1\le i\le N}{\max }{\delta }_T(i),X_T^{\ast }=\arg \underset{1\le i\le N}{\max }{\delta }_T(i).$$

• 回溯：根据 ${\psi }_t(\cdot )$ 从后向前逐步找出最优状态序列。

学习问题：Baum-Welch算法（EM算法）

当HMM的参数 $\lambda$（即 $A,B,\pi$）未知时，我们可以通过观测序列 $O$ 来“训练”或“学习”这些参数，使得该模型在一定意义下“最好地”解释观测数据。最常用的方法是Baum-Welch算法，可视为对HMM应用EM思想。

令 ${\lambda }^{(m)}$ 表示第$m$次迭代得到的模型参数。
在一次迭代中，“E步”计算基于 ${\lambda }^{(m)}$ 时的后验概率 ${\gamma }_t(i)$ 和 ${\xi }_t(i,j)$；“M步”则更新下式：

1. 初始状态分布：
   $${\pi }_i^{(m+1)}={\gamma }_1(i).$$

2. 状态转移概率：
   $$a_{ij}^{(m+1)}=\frac{{\sum }_{t=1}^{T-1}{\xi }_t(i,j)}{{\sum }_{t=1}^{T-1}{\gamma }_t(i)}.$$

3. 观测概率（离散情况）：
   $$b_j^{(m+1)}(k)=\frac{{\sum }_{t=1}^{T}1(o_t=v_k){\gamma }_t(j)}{{\sum }_{t=1}^T{\gamma }_t(j)},$$
   其中 $1(\cdot )$ 为指示函数，若 $o_t=v_k$ 则为1，否则为0。
   对于连续情况，会对 ${\gamma }_t(j)$ 做加权似然估计，具体地估计高斯均值、方差等混合参数。

通过多次迭代（E步 + M步），参数会收敛到某个局部极值，从而得到可以解释训练序列的HMM参数。

---

隐马尔可夫模型的具体种类

离散观测隐马尔可夫模型（Discrete HMM）

• 观测值：离散有限集合 $\{v_1,\dots ,v_M\}$。
• 观测概率：$b_j(k)=P(O_t=v_k\mid X_t=s_j)$。
• 应用：词性标注、离散符号序列分析等。

连续观测隐马尔可夫模型（Continuous HMM）

• 观测值：连续向量（如语音的声学特征）。
• 常用建模：用混合高斯分布（GMM）刻画状态的观测概率：
  $$b_j(o)=\sum _{m=1}^{M_j}{c}_{jm}\mathcal{N}(o;{\mu }_{jm},{\Sigma }_{jm}),$$
  其中 $c_{jm}$ 是混合系数，${\mu }_{jm}$ 和 ${\Sigma }_{jm}$ 分别为均值向量和协方差矩阵。

半隐马尔可夫模型（Semi-HMM）

• 区别：在普通HMM中，状态持续时间服从几何分布；而实际中有时需更灵活的时长分布。
• 特性：Semi-HMM可显式建模状态持续时间，从而更准确描述某些过程（如语音识别中的音素持续）。

其他扩展

• 层级HMM（Hierarchical HMM）
• 耦合HMM（Coupled HMM）
• 部分可观测马尔可夫决策过程（POMDP）
• 结合深度学习的HMM变体

---

代码示例

以下为一个简化的离散观测HMM示例（Python），演示核心：前向、后向和维特比算法。实际应用中通常还需数值稳定处理（例如取对数规避下溢），以及Baum-Welch学习等部分。

import numpy as np

class DiscreteHMM:
    def __init__(self, A, B, pi):
        """
        A: 状态转移矩阵 (N x N)
        B: 观测概率矩阵 (N x M)，B[j,k] 表示在状态 j 时观测到 k 的概率
        pi: 初始状态概率向量 (N,)
        """
        self.A = np.array(A)  # (N, N)
        self.B = np.array(B)  # (N, M)
        self.pi = np.array(pi)  # (N,)
        self.N = self.A.shape[0]  # 状态数 N
        self.M = self.B.shape[1]  # 观测种类数 M
    
    def forward(self, O):
        """
        前向算法计算 P(O | 模型)
        O: 观测序列 (长度 T 的离散索引列表)，如 [0, 2, 1, ...]
        返回: P(O | 模型)
        """
        T = len(O)
        alpha = np.zeros((T, self.N))
        
        # 初始化
        alpha[0, :] = self.pi * self.B[:, O[0]]
        
        # 递推
        for t in range(1, T):
            for j in range(self.N):
                # alpha[t, j] = sum_{i=1 to N}(alpha[t-1,i] * A[i,j]) * B[j,O[t]]
                alpha[t, j] = np.dot(alpha[t-1, :], self.A[:, j]) * self.B[j, O[t]]
        
        # 终止：把时刻 T 所有状态下的概率加总
        return np.sum(alpha[T-1, :])
    
    def backward(self, O):
        """
        后向算法计算 P(O | 模型)
        O: 观测序列
        返回: P(O | 模型)
        """
        T = len(O)
        beta = np.zeros((T, self.N))
        
        # 初始化
        beta[T-1, :] = 1.0
        
        # 递推
        for t in range(T-2, -1, -1):
            for i in range(self.N):
                # beta[t,i] = sum_{j=1 to N}(A[i,j] * B[j,O[t+1]] * beta[t+1,j])
                beta[t, i] = np.sum(self.A[i, :] * self.B[:, O[t+1]] * beta[t+1, :])
        
        # 终止：使用初始状态概率 pi 和 B[:,O[0]] 以及 beta[0,:]
        return np.sum(self.pi * self.B[:, O[0]] * beta[0, :])
    
    def viterbi(self, O):
        """
        维特比算法求最优状态序列
        O: 观测序列
        返回: (最佳路径概率, 最优状态序列)
        """
        T = len(O)
        delta = np.zeros((T, self.N))
        psi = np.zeros((T, self.N), dtype=int)
        
        # 初始化
        delta[0, :] = self.pi * self.B[:, O[0]]
        
        # 递推
        for t in range(1, T):
            for j in range(self.N):
                # 对各 i, 取 argmax (delta[t-1,i] * A[i,j])
                temp_vals = delta[t-1, :] * self.A[:, j]
                psi[t, j] = np.argmax(temp_vals)
                delta[t, j] = np.max(temp_vals) * self.B[j, O[t]]
        
        # 终止：找到时刻 T 最可能的最后状态
        p_star = np.max(delta[T-1, :])
        best_last_state = np.argmax(delta[T-1, :])
        
        # 回溯：依靠 psi[] 把最优路径检索出来
        best_path = [best_last_state]
        for t in range(T-1, 0, -1):
            best_path.insert(0, psi[t, best_last_state])
            best_last_state = psi[t, best_last_state]
        
        return p_star, best_path

if __name__ == "__main__":
    # 示例模型参数
    A = [
        [0.7, 0.3],
        [0.4, 0.6]
    ]
    B = [
        [0.5, 0.5],  # 状态0时，观测0和1的概率
        [0.1, 0.9]   # 状态1时，观测0和1的概率
    ]
    pi = [0.6, 0.4]
    
    hmm = DiscreteHMM(A, B, pi)
    
    # 示例观测序列 O (长度 T=4)，假设观测字典是 {0,1}
    O = [0, 1, 1, 0]
    
    # 1) 前向算法
    prob_forward = hmm.forward(O)
    print(f"Forward算法计算得到的序列概率: {prob_forward}")
    
    # 2) 后向算法
    prob_backward = hmm.backward(O)
    print(f"Backward算法计算得到的序列概率: {prob_backward}")
    
    # 3) 维特比算法
    p_star, best_path = hmm.viterbi(O)
    print(f"Viterbi算法的最优路径概率: {p_star}")
    print(f"Viterbi算法的最优状态序列: {best_path}")