隐马尔科夫模型HMM详解(1)

HMM学习算法参考下篇文章
代码地址：6.1公布

隐马尔科夫模型基本概念

先看一个小问题：

问题：假设你是2077年的气候学家，正在进行气候研究，无法获得西安2021年的天气记录。你找到了果冻的日记本，上面列出了果冻这个夏天每天吃的冰淇淋数目。你的目标是：根据观测量（果冻夏天每天吃的冰淇淋数目）估计夏天每天的天气。假设天气只有冷和热两种可能，果冻吃的冰淇淋数目只有1，2，3三种可能。

你的任务是：

• 给定观测序列$O$，如$O=(3,1,3)$，其中每个整数表示果冻当天吃的冰淇淋数目
• 找出隐藏的天气状态序列$Q$，比如$Q=(HOT,COLD,HOT)$

---

隐马尔科夫模型定义：

• 隐马尔科夫模型是关于时间序列的概率模型
• 描述一个隐藏的马尔科夫链随机生成不可观测的状态序列，再由各个状态生成一个观测序列的过程，序列的每个位置又可以看作是一个时刻。

HMM由初始概率分布、状态转移概率分布和观测概率分布决定，当观测为离散值时：

$Q=\left\{q_1{q}_2\dots q_N\right\}$ 所有可能的状态的集合 $(N$ 个 $)$
$V=\left\{v_1{v}_2\dots v_M\right\}$ 所有可能的观测的集合 $(M$ 个 $)$
$I=\left(i_1{i}_2\dots i_T\right)$ 长度为$T$的状态序列，每个来自$Q$
$O=\left(o_1{o}_2\dots o_T\right)$ 长度为$T$的观测序列，每个来自 $V$
$A={\left[a_{ij}\right]}_{N\times N}$ 状交转移概率矩阵，其中$a_{ij}=P\left(i_{t+1}=q_j\mid i_t=q_i\right),i=1,2,\dots ,N;j=1,2,\dots ,N$是在时刻 $t$ 处于状态 $q_i$ 的条件下，在时刻 $t+1$ 转移到状态 $q_j$ 的概率
$B=[b_j\left(o_t\right){]}_{N\times M}$ 观测概率矩阵，其中$b_j\left(o_t\right)=P\left(o_t=v_k\mid i_t=q_j\right),k=1,2,,\dots ,M;j=1,2,\dots ,N$，是在时刻t处于状态$q_j$的条件下生成观测$v_k$的概率。
$\pi =\left({\pi }_i\right)$ 初始状态概率向量，其中 ${\pi }_i=P\left(i_1=q_i\right),i=1,2,\dots ,N$, 是时刻 $t=1$ 处于状态$q_i$的概率

HMM $\lambda =(A,B,\pi )$，$A,B,\pi$称为HMM的三要素

HMM的两个基本假设

• 齐次马尔可夫性假设：隐藏的马尔科夫链在时刻t的状态只与t-1的状态有关

  $P(i_t|i_{t-1},o_{t-1},...,i_1,o_1)=P(i_t|i_{t-1}),t=1,2,...,T$

• 观测独立性假设：观测只与当前时刻的状态有关

  $P\left(o_t\mid i_T,o_T,i_{T-1},o_{T-1},\dots ,i_{t+1},o_{t+1},i_t,i_{t-1},o_{t-1},\dots ,i_1,o_1\right)=P\left(o_t\mid i_t\right)$

HMM的分类

HMM分类	观测	观测概率分布
离散HMM	离散值	离散（概率）	$B={\left[b_j\left(o_t\right)\right]}_{N\times M^{\prime }}{o}_t\in V=\left\{v_1{v}_2\dots v_M\right\}$
连续HMM	实数、向量	连续（概率密度函数）	单高斯分布：$b_j\left({\mathbf{o}}_t\right)=\mathcal{N}\left({\mathbf{o}}_t;{\mathbf{\mu }}_j,{\mathbf{\Sigma }}_j\right)$ 高斯混合模型：$b_j\left({\mathbf{o}}_t\right)={\sum }_{m=1}^M{\alpha }_{jm}\mathcal{N}\left({\mathbf{o}}_t;{\mathbf{\mu }}_{jm},{\mathbf{\Sigma }}_{jm}\right)$

当HMM的观测概率分布由高斯混合模型表示时，称为GMM-HMM，它广泛应用在语音识别、词性标注等任务。

观测序列的生成过程

长度为T的观测序列$O=(o_1,o_2,...,o_T)$的生成过程如下：

输入：隐马尔科夫模型$\lambda =(A,B,\pi )$，观测序列长度$T$

输出：观测序列$O=(o_1,o_2,...,o_T)$

1. 根据初始状态分布$\pi$产生状态$i_1$
2. t=1
3. 根据状态$i_t$的观测概率分布$b_{i_t}(k)$生成$o_t$
4. 根据状态$i_t$的状态转移概率分布$\{a_{i_t{i}_{t+1}}\}$产生状态$i_{t+1}$
5. t=t+1，如果t

举个小栗子

问题：盒子和球的模型（烂大街栗子）

盒子	1	2	3	4
红球数	5	3	6	8
白球数	5	7	4	2

按照如下方法抽球，并产生球颜色的观测序列：

• 开始：等概率随机选四个盒子中的一个，从该盒子随机抽一个球，记录颜色放回；
• 然后从当前盒子随机转移到下一个盒子，从下一个盒子随机抽一个球，记录颜色放回；
• 转移规则：
  • 盒子1 $\to$ 盒子2
  • 盒子2或3 $\to$ P=0.4左边，P=0.6右边
  • 盒子4 $\to$ P=0.5盒子4，P=0.5盒子3

观察者只能观察到球的颜色序列，观测不到球是从哪个盒子取出的，观测序列：球颜色序列；状态序列（隐藏）：盒子的序列。重复5次：观测序列$O=\{红,红,白,白,红\}$

QAQ：对应的状态集合，观测集合，初始状态概率向量，状态转移概率矩阵，观测概率矩阵分别是什么？

状态集合：$Q=\{盒子1,盒子2,盒子3,盒子4\}$，$N=4$

观测集合：$V=\{红,白\}$，$M=2$

初始状态概率分布：$\pi =(0.25,0.25,0.25,0.25{)}^T$

状态转移概率分布：$A=\left[\begin{array}{cccc}0& 1& 0& 0\\ 0.4& 0& 0.6& 0\\ 0& 0.4& 0& 0.6\\ 0& 0& 0.5& 0.5\end{array}\right]$

观测概率分布：$B=\left[\begin{array}{ll}0.5& 0.5\\ 0.3& 0.7\\ 0.6& 0.4\\ 0.8& 0.2\end{array}\right]$

隐马尔科夫模型的三个基本问题

1. 概率计算问题

   • 已知模型$\lambda =(A,B,\pi )$和观测序列$O=(o_1,o_2,...,o_T)$
   • 计算概率$P(O|\lambda )$

2. 预测问题（解码问题）

   • 已知模型$\lambda =(A,B,\pi )$和观测序列$O=(o_1,o_2,...,o_T)$

   • 计算使概率$P(I|O)$最大的状态序列$I=\left(i_1{i}_2\dots i_T\right)$

3. 学习问题

   • 已知观测序列$O=(o_1,o_2,...,o_T)$

   • 估计模型$\lambda$，使$P(O|\lambda )$最大

概率计算

已知模型$\lambda =(A,B,\pi )$和观测序列$O=(o_1,o_2,...,o_T)$，$b_j(o_t)$可以是离散的也可以是连续的，计算概率$P(O|\lambda )$.

直接计算法

列举所有可能的长度为T状态序列$I=\left(i_1{i}_2\dots i_T\right)$，求每个状态序列$I$与观测序列$O=(o_1,o_2,...,o_T)$的联合概率$P(O,I|\lambda )$，然后对所有可能的状态序列求和，得到$P(O|\lambda )$

直接计算法

• 状态序列$I=\left(i_1{i}_2\dots i_T\right)$的概率是$P(I|\lambda)=\pi_{i_1} a_{i_1 i_2} a_{i_2 i_3}… a_{i_{T-1} i_T} $

• 对固定的状态序列$I=\left(i_1{i}_2\dots i_T\right)$，观测序列$O=(o_1,o_2,...,o_T)$的概率是$P(O|I,\lambda )$

• $O$和$I$同时出现的联合概率是：
  $$\begin{array}{rl}P(O,I\mid \lambda )& =P(O\mid I,\lambda )P(I\mid \lambda )\\ & ={\pi }_{i_1}{b}_{i_1}\left(o_1\right)a_{i,b}{b}_{i_2}\left(o_2\right)\cdots a_{i_{-1}\tau }{b}_{i_t}\left(o_T\right)\end{array}$$

• 对所有可能的状态序列$I$求和，得到观测序列$O$的概率是$P(O|\lambda )$
  $$\begin{array}{rl}P(O\mid \lambda )& =\sum _{l}P(O\mid I,\lambda )P(I\mid \lambda )\\ & =\sum _{i_1,i_2,...,i_T}{\pi }_{i_1}{b}_{i_1}\left(o_1\right)a_{i{i}_2}{b}_{i_2}\left(o_2\right)\cdots a_{h-i_T}{b}_{i_r}\left(o_T\right)\end{array}$$

复杂度：$O(T{N}^T)$，为什么？

每个时刻有N个可能的状态，所有T个时刻，状态序列有$N^T$个可能，每个状态序列对应的时间复杂度是$O(T)$，可理解为T次乘法，则总的时间复杂度为$O(T{N}^T)$。

前向算法

前向概率定义：给定隐马尔科夫模型$\lambda$，定义到时刻$t$部分观测序列为$o_1,o_2,...,o_t$，且状态为$q_i$的概率为前向概率：
$${\alpha }_t(i)=P\left(o_1,o_2,\dots ,o_t,i_t=q_i\mid \lambda \right)$$

观测序列概率的前向算法

输入：隐马尔科夫模型$\lambda$，观测序列$O$

输出：观测序列概率$P(O|\lambda )$

1. 初值：KaTeX parse error: \tag works only in display equations

2. 递推：对$t=1,2,...,T-1$
   $${\alpha }_{t+1}(i)=\left[\sum _{j=1}^N{\alpha }_t(j)a_{ji}\right]b_i\left(o_{t+1}\right)\text{\hspace{1em}(2)}$$

3. 终止：$$P(O\mid \lambda )=\sum _{i=1}^N{\alpha }_T(i)\text{\hspace{1em}(3)}$$

前向算法的关键：直接引用前一时刻的计算结果，避免重复计算，复杂度从$O(T{N}^T)$降到$O(T{N}^2)$

问题：（不理解可以略过）

• 为什么上述公式1成立？使用贝叶斯公式

  ${\alpha }_1(i)=P\left(o_1,i_1=q_i\right)=P\left(i_1=q_i\right)P\left(o_1\mid i_1=q_i\right)={\pi }_i{b}_i\left(o_1\right)$

• 为什么上述公式3成立？边缘分布
  $$\begin{array}{c}{\alpha }_T(i)=P\left(o_1,o_2,\dots ,o_T,i_T=q_i\mid \lambda \right)=P\left(O,i_T=q_i\mid \lambda \right)\\ P(O\mid \lambda )={\sum }_{i=1}^{N}P\left(O,i_T=q_i\mid \lambda \right)={\sum }_{i=1}^N{\alpha }_T(i)\end{array}$$

• 为什么上述公式2成立？结合HMM的两个基本假设，贝叶斯公式，边缘分布

  $q_t=j$与前述$i_t=q_j$等价，${\mathbf{o}}_1^t$与$o_1,o_2,...,o_t$等价
  $$\begin{array}{rl}{\alpha }_t(j)& =P\left(q_t=j,{\mathbf{o}}_1^t\right)\\ & =\sum _{i=1}^{N}P\left(q_{t-1}=i,q_t=j,{\mathbf{o}}_1^{t-1},{\mathbf{o}}_t\right)\\ & =\sum _{i=1}^{N}P\left(q_t=j,{\mathbf{o}}_t\mid q_{t-1}=i,{\mathbf{o}}_1^{t-1}\right)P\left(q_{t-1}=i,{\mathbf{o}}_1^{t-1}\right)\\ & =\sum _{i=1}^{N}P\left(q_t=j,{\mathbf{o}}_t\mid q_{t-1}=i\right){\alpha }_{t-1}(i)\\ & =\sum _{i=1}^{N}P\left({\mathbf{o}}_t\mid q_t=j,q_{t-1}=i\right)P\left(q_t=j\mid q_{t-1}=i\right){\alpha }_{t-1}(i)\\ & =\sum _{i=1}^N{b}_j\left({\mathbf{o}}_t\right)a_{ij}{\alpha }_{t-1}(i)\end{array}$$

后向算法

后向概率定义：给定隐马尔科夫模型$\lambda$，定义在时刻$t$状态为$q_i$条件下，从$t+1$到$T$的部分观测序列为$o_{t+1},o_{t+2},...,o_T$的概率为后向概率：
$${\beta }_t(i)=P\left(o_{t+1},o_{t+2},\dots ,o_T\mid i_t=q_i,\lambda \right)$$

观测序列概率的后向算法

输入：隐马尔科夫模型$\lambda$，观测序列$O$

输出：观测序列概率$P(O|\lambda )$

1. 初值：${\beta }_T(i)=1,i=1,2,...,N$

2. 递推：对$t=T-1,T-2,...,1$
   $${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_j\left(o_{t+1}\right){\beta }_{t+1}(j),i=1,2,\cdots ,N\text{\hspace{1em}(4)}$$

3. 终止：$$P(O\mid \lambda )=\sum _{i=1}^N{\pi }_i{b}_i\left(o_1\right){\beta }_1(i)\text{\hspace{1em}(5)}$$

问题：（不理解可以跳过）

公式（5）的证明和上述前向算法证明类似。

公式（4）证明：

$q_t=j$与前述$i_t=q_j$等价，${\mathbf{o}}_1^t$与$o_1,o_2,...,o_t$等价
$$\begin{array}{rl}{\beta }_t(i)& =P\left({\mathbf{o}}_{t+1}^T\mid q_t=i\right)\\ & =\frac{P\left({\mathbf{o}}_{t+1}^T,q_t=i\right)}{P\left(q_t=i\right)}\\ & =\frac{{\sum }_{j=1}^{N}P\left({\mathbf{o}}_{t+1}^T,q_t=i,q_{t+1}=j\right)}{P\left(q_t=i\right)}\\ & =\frac{{\sum }_{j=1}^{N}P\left({\mathbf{o}}_{t+1}^T\mid q_t=i,q_{t+1}=j\right)P\left(q_t=i,q_{t+1}=j\right)}{P\left(q_t=i\right)}\\ & =\sum _{j=1}^{N}P\left({\mathbf{o}}_{t+1}^T\mid q_{t+1}=j\right)\frac{P\left(q_t=i,q_{t+1}=j\right)}{P\left(q_t=i\right)}\\ & =\sum _{j=1}^{N}P\left({\mathbf{o}}_{t+2}^T,{\mathbf{o}}_{t+1}\mid q_{t+1}=j\right)a_{ij}\\ & =\sum _{j=1}^{N}P\left({\mathbf{o}}_{t+2}^T\mid q_{t+1}=j\right)P\left({\mathbf{o}}_{t+1}\mid q_{t+1}=j\right)a_{ij}\\ & =\sum _{j=1}^N{\beta }_{t+1}(j)b_j\left({\mathbf{o}}_{t+1}\right)a_{ij}\end{array}$$

预测算法-Viterbi算法

已知模型$\lambda =(A,B,\pi )$和观测序列$O=(o_1,o_2,...,o_T)$，$b_j(o_t)$可以是离散的也可以是连续的，计算使概率$P(I|O)$最大的状态序列$I=(i_1,i_2,...,i_T)$.

用动态规划求概率最大路径（最优路径），一个路径对应一个状态序列。最有路径的特性：如果最优路径在时刻$t$通过节点$i_t^{\ast }$，那么这一路径从节点$i_t^{\ast }$到终点$i_T^{\ast }$的部分路径，对于从$i_t^{\ast }$到$i_T^{\ast }$的所有可能路径来说必须是最优的。

只需从时刻$t-1$开始，递推的计算在时刻$t$状态为$i$的各条部分路径的最大概率，直至得到时刻$t=T$状态为$i$的各条路径的最大概率，时刻$t=T$的最大概率即为最优路径的概率$P^{\ast }$，最优路径的终节点$i_T^{\ast }$也同时的到。

之后为了找出最优路径的各个结点，从终结点$i_T^{\ast }$开始，由后向前逐步求得节点$i_T^{\ast },...,i_1^{\ast }$，得到最优路径。

首先引入两个变量$\delta$和$\psi$。定义在时刻$t$状态为$i$的所有单个路径$(i_1,i_2,...,i_t)$中概率最大为：
$${\delta }_t(i)=\underset{i_1,i_2,\cdots ,i_{t-1}}{\max }P\left(i_t=i,i_{t-1},\cdots ,i_1,o_t,\cdots ,o_1\mid \lambda \right),i=1,2,\cdots ,N$$

由定义可得变量$\delta$的递推式：
$$\begin{array}{rl}{\delta }_{t+1}(i)& =\underset{i_1,i_2,\cdots ,i_t}{\max }P\left(i_{t+1}=i,i_t,\cdots ,i_1,o_{t+1},\cdots ,o_1\mid \lambda \right)\\ & =\underset{1⩽j⩽N}{\max }\left[{\delta }_t(j)a_{ji}\right]b_i\left(o_{t+1}\right),i=1,2,\cdots ,N;t=1,2,\cdots ,T-1\end{array}$$

定义在时刻$t$状态为$i$的所有单个路径$(i_1,i_2,...,i_t)$中概率最大的路径的第$t-1$个节点为：
$${\psi }_t(i)=\arg \underset{1⩽j⩽N}{\max }\left[{\delta }_{t-1}(j)a_{ji}\right],i=1,2,\cdots ,N$$

Viterbi算法

输入：隐马尔科夫模型$\lambda$，观测序列$O$

输出：最优路径$I^{\ast }=(i_1^{\ast },i_2^{\ast },...,i_T^{\ast })$

1. 初始化：
   $$\begin{array}{c}{\delta }_1(i)={\pi }_i{b}_i\left(o_1\right),i=1,2,\cdots ,N\\ {\psi }_1(i)=0,i=1,2,\cdots ,N\end{array}$$

2. 递推，对于$t=2,3,...T$
   $$\begin{array}{ll}{\delta }_t(i)={\max }_{1⩽j⩽N}\left[{\delta }_{t-1}(j)a_{ji}\right]b_i\left(o_t\right),& i=1,2,\cdots ,N\\ {\psi }_t(i)=\arg {\max }_{1⩽j⩽N}\left[{\delta }_{t-1}(j)a_{ji}\right],& i=1,2,\cdots ,N\end{array}$$

3. 终止
   $$\begin{array}{c}{P}^{\ast }={\max }_{1⩽i⩽N}{\delta }_T(i)\\ i_T^{\ast }=\arg {\max }_{1⩽i⩽N}\left[{\delta }_T(i)\right]\end{array}$$

4. 最优路径回溯，对于$t=T-1,T-2,...,1$
   $$i_t^{\ast }={\psi }_{t+1}(i_{t+1}^{\ast })$$
   求得最优路径$I^{\ast }=(i_1^{\ast },i_2^{\ast },...,i_T^{\ast })$

再吃个栗子：

还是考虑盒子和球模型$\lambda =(A,B,\pi )$，状态集合$Q=\{1,2,3\}$，观测集合$V=\{红,白\}$

$A=\left[\begin{array}{lll}0.5& 0.2& 0.3\\ 0.3& 0.5& 0.2\\ 0.2& 0.3& 0.5\end{array}\right],\mathrm{B}=\left[\begin{array}{ll}0.5& 0.5\\ 0.4& 0.6\\ 0.7& 0.3\end{array}\right],\pi =(0.2,0.4,0.4{)}^T$

设T=3，O=(红,白,红)​,试用维特比算法求最优状态序列。

（1）初始化。${\delta }_1(i)={\pi }_i{b}_i(o_1)$,带入数据：${\delta }_1(1)=0.1$,${\delta }_1(2)=0.16$,${\delta }_1(3)=0.28$，记${\psi }_1(i)=0,i=1,2,3$

（2）递推计算：${\delta }_2(i)={\max }_{1\le j\le 3}[{\delta }_1(j)a_{ji}]b_i(o_2)$,同时记录概率最大路径的前一个状态j，${\psi }_2(i)=\arg {\max }_{1\le j\le 3}[{\delta }_1(j)a_{ji}]j=1,2,3$。

计算：

${\delta }_2(1)=max(0.1\times 0.5,0.16\times 0.3,0.28\times 0.2)\times 0.5$ = 0.028

${\psi }_2(1)=3$

${\delta }_2(2)=0.0504，{\psi }_2(2)=3$

${\delta }_2(3)=0.042，{\psi }_2(3)=3$

当t=3时，

${\delta }_3(i)={\max }_{1⩽j⩽3}\left[{\delta }_2(j)a_{ji}\right]b_i\left(o_3\right)$
${\psi }_3(i)=\arg {\max }_{1⩽j<3}\left[{\delta }_2(j)a_f\right]$
${\delta }_3(1)=0.00756,{\psi }_3(1)=2$
${\delta }_3(2)=0.01008,{\psi }_3(2)=2$
${\delta }_3(3)=0.0147,{\psi }_3(3)=3$

（3）用$P^{\ast }$表示最优路径的概率，则$P^{\ast }={\max }_{1\le i\le 3}{\delta }_3(i)=0.0147$

最优路径的终点$i_3^{\ast }=\arg {\max }_i[{\delta }_3(i)]=3$

（4）由最优路径的终点回溯：

$i_2^{\ast }={\psi }_3\left(i_3^{\ast }\right)={\psi }_3(3)=3$
$i_1^{\ast }={\psi }_2\left(i_2^{\ast }\right)={\psi }_2(3)=3$

---

HMM学习算法参考下篇文章