HMM隐马尔科夫模型

隐马尔科夫(Hidden Markov Model,以下简称HMM)是比较经典的机器学习模型模型了，它在语言识别，自然语言处理，模式识别等领域得到广泛的应用，当然，随着目前深度学习的崛起，尤其是RNN、LSTM等神经网络模型的火热，HMM的地位有所下降。但是作为一个经典的模型，学习HMM的模型和对应算法，对我们解决问题建模的能力提高以及算法思路的拓展还是很好的。

什么样的问题需要HMM模型

首先我们来看看什么样的问题可以用HMM模型。使用HMM模型时我们的问题一般有这两个特征：
1）我们的问题是基于序列的，比如时间序列，或者状态序列。
2）我们的问题中有两类数据，一类序列数据是可以观测到的，即观测序列；而另一类数据是不能观察到的，即隐藏状态序列，简称状态序列。

有了这两个特征，那么这个问题一般可以用HMM模型来尝试解决。这样的问题在实际生活中是很多的。比如：我现在在打字写博客，我在键盘上敲出来的一系列字符就是观测序列，而我实际想写的一段话就是隐藏序列，输入法的任务就是从敲入的一系列字符尽可能的猜测我要写的一段话，并把最可能的词语放在最前面让我选择，这就可以看做是一个HMM模型了。再举一个，我在和你说话，我发出的一串连续的声音就是观测序列，而我实际要表达的一段话就是状态序列，你大脑的任务，就是从这一串连续的声音中判断出我最可能要表达的话的内容。

从这些例子中，我们可以发现，HMM模型可以无处不在。但是上面的描述还不精确，下面我们用精确的数学符号来表述我们的HMM模型。

HMM模型的定义

对于HMM的模型，首先我们假设$Q$是所有可能的隐藏状态的集合，$V$是所有可能的观测状态的集合，即：
$$Q=\left\{q_1,q_2,\dots ,q_N\right\},V=\left\{v_1,v_2,\dots v_M\right\}$$

其中，$N$是可能的隐藏状态数，$M$是所有的可能的观察状态数。

对于一个长度为$T$的序列，$I$是对应的状态序列，$O$是对应的观察序列，即：
$$I=\left\{i_1,i_2,\dots ,i_T\right\},O=\left\{o_1,o_2,\dots o_T\right\}$$

其中，任意一个隐藏状态$i_t\in Q$，任意一个观察状态$o_t\in V$

HMM模型做了两个很重要的假设如下：

1）齐次马尔科夫链假设。即任意时刻的隐藏状态只依赖于它前一个隐藏状态。当然这样假设有点极端，因为很多时候我们的某一个隐藏状态不仅仅只依赖于前一个隐藏状态，可能是前两个或者前三个。但是这样假设的好处就是模型机简单，便于求解。如果在时刻$t$的隐藏状态是$i_t=q_i$，在时刻$t+1$的隐藏状态是$i_{t+1}=q_j$,则从时刻$t$到时刻$t+1$的HMM状态转移概率$a_{ij}$可以表示为：
$$a_{ij}=P\left(i_{t+1}=q_j\mid i_t=q_i\right)$$

这样$a_{ij}$可以组成马尔科夫链的状态转移矩阵$A$:
$$A={\left[a_{ij}\right]}_{N\times N}$$

2)观测独立性假设。即任意时刻的观察状态只仅仅依赖于当前时刻的隐藏状态，这也是一个为了简化模型的假设。如果在时刻$t$的隐藏状态是$i_t=q_j$，而对应的观察状态为$o_t=v_k$,即该时刻观察状态$v_k$在隐藏状态$q_j$下生成的概率为$b_j(k)$，满足：
$$b_j(k)=P\left(o_t=v_k\mid i_t=q_j\right)$$

这样$b_j(k)$可以组成观测状态生成的概率矩阵$B$：
$$B={\left[b_j(k)\right]}_{N\times M}$$

除此之外，我们需要一组在时刻$t=1$的隐藏状态概率分布$\Pi$：
$$\Pi =[\pi (i){]}_N$$
其中，$\pi (i)=P\left(i_1=q_i\right)$

一个HMM模型，可以由隐藏状态初始概率分布$\Pi$,状态转移概率矩阵$A$和观测状态概率矩阵$B$决定。$\Pi ,A$决定状态序列，$B$决定观测序列。因此，HMM模型可以有一个三元组表示如下：
$$\lambda =(A,B,\Pi )$$

一个HMM模型实例

下面我们用一个简单的实例来描述上面抽象出的HMM模型。这是一个盒子与球的模型，例子来源于李航的《统计学习方法》。

假设我们有3个盒子，每个盒子里都有红色和白色两种球，这三个盒子里球的数量分别是：

盒子	1	2	3
红球数	5	4	7
白球数	5	6	3

按照下面的方法从盒子里抽球，开始的时候，从第一个盒子抽球的概率是0.2，从第二个盒子抽球的概率是0.4，从第三个盒子抽球的概率是0.4.以这个概率抽一次球后，将球放回。然后从当前盒子转移到下一个盒子进行抽球。规则是：

如果当前抽球的盒子是第一个盒子，则以0.5的概率仍然留在第一个盒子继续抽球，以0.2的概率去第二个盒子抽球，以0.3的概率去第三个盒子抽球。

如果当前抽球的盒子是第二个盒子，则以0.5的概率仍然留在第二个盒子继续抽球，以0.3的概率去第一个盒子抽球，以0.2的概率去第三个盒子抽球。

如果当前抽球的盒子是第三个盒子，则以0.5的概率仍然留在第三个盒子继续抽球，以0.2的概率去第一个盒子抽球，以0.3的概率去第二个盒子抽球。

如此下去，直到重复三次，得到一个球的颜色的观测序列：
$O=\{$ 红，白，红 $\}$
注意在这个过程中，观察者只能看到球的颜色序列，却不能看到球是从哪个盒子里取出来的。

那么按照我们上一节对HMM模型的定义，我们的观察集合是：

$V=\{$ 红, 白 $\},M=2$

我们的状态集合是：
$Q=\{$ 盒子1，盒子2，盒子3 $\},N=3$

而观察序列和状态序列的长度为3

初始状态分布为：
$$\Pi =(0.2,0.4,0.4{)}^T$$

状态转移概率分布矩阵为：
$$A=\left(\begin{array}{lll}0.5& 0.2& 0.3\\ 0.3& 0.5& 0.2\\ 0.2& 0.3& 0.5\end{array}\right)$$

观测状态概率矩阵为：
$$B=\left(\begin{array}{ll}0.5& 0.5\\ 0.4& 0.6\\ 0.7& 0.3\end{array}\right)$$

HMM观测序列的生成

从上一节的例子，我们也可以抽象出HMM观测序列生成的过程。

输入的是HMM的模型$\lambda =(A,B,\Pi )$，观测序列的长度$T$

输出是观测序列$O=\left\{o_1,o_2,\dots o_T\right\}$

生成的过程如下：
1）根据初始状态概率分布$\Pi$生成隐藏状态$i_1$
2) for t from 1 to T

• a.按照隐藏状态$i_t$的观测状态分布$b_{i_t}(k)$生成观察状态$o_t$
• b.按照隐藏状态$i_t$的状态转移概率分布$a_i$,$i_{t+1}$产生隐藏状态$i_{t+1}$

所有的$o_t$一起形成观测序列$O=\left\{o_1,o_2,\dots ,o_T\right\}$

HMM模型的三个基本问题

HMM模型一共有三个经典的问题需要解决：

1）评估观察序列概率。即给定模型$\lambda =(A,B,\Pi )$和观测序列$O=\left\{o_1,o_2,\dots o_T\right\}$，计算在模型$\lambda$下观测序列$O$出现的概率$P(O\mid \lambda )$。这个问题的求解需要用到前后向算法，我们会在后面详细讲解。这个问题是HMM模型三个问题中最简单的。

2）模型参数学习问题。即给定观测序列$O=\left\{o_1,o_2,\dots o_T\right\}$，估计模型$\lambda =(A,B,\Pi )$的参数，使该模型下观测序列的条件概率$P(O\mid \lambda )$最大。这个问题的求解需要用到基于EM算法的鲍姆-韦尔奇算法，我们后面会详细讲解。这个问题是HMM模型三个问题中最复杂的。

3)预测问题，也称为解码问题。即给定$\lambda =(A,B,\Pi )$和观测序列$O=\left\{o_1,o_2,\dots o_T\right\}$，求给定观测序列条件下，最可能出现的对应的状态序列，这个问题的求解需要用到基于动态规划的维特比算法，这个也会详细讲解。这个问题是HMM模型三个问题中复杂度居中的算法。

回顾HMM问题:求观测序列的概率

首先我们回顾下HMM模型的问题。这个问题是这样的。我们已知HMM模型的参数$\lambda =(A,B,\Pi )$。其中$A$是隐藏状态转移概率的矩阵，$B$是观测状态生成概率的矩阵， $\Pi$是隐藏状态的初始概率分布。同时我们也已经得到了观测序列$O=\left\{o_1,o_2,\dots o_T\right\}$,现在我们要求观测序列$O$在模型$\lambda$下出现的条件概率$P(O\mid \lambda )$。

乍一看，这个问题很简单。因为我们知道所有的隐藏状态之间的转移概率和所有从隐藏状态到观测状态生成概率，那么我们是可以暴力求解的。

我们可以列举出所有可能出现的长度为$T$的隐藏序列$I=\left\{i_1,i_2,\dots ,i_T\right\}$,分布求出这些隐藏序列与观测序列$O=\left\{o_1,o_2,\dots o_T\right\}$的联合概率分布$P(O,I\mid \lambda )$，这样我们就可以很容易的求出边缘分布$P(O\mid \lambda )$了。

具体暴力求解的方法是这样的：首先，任意一个隐藏序列$I=\left\{i_1,i_2,\dots ,i_T\right\}$出现的概率是：
$$P(I\mid \lambda )={\pi }_{i_1}{a}_{i_1{i}_2}{a}_{i_2{i}_3}\dots a_{i_{T-1}}$$
　　　　
对于固定的状态序列$I=\left\{i_1,i_2,\dots ,i_T\right\}$，我们要求的观察序列$O=\left\{o_1,o_2,\dots o_T\right\}$出现的概率是：
$$P(O\mid I,\lambda )=b_{i_1}\left(o_1\right)b_{i_2}\left(o_2\right)\dots b_{i_T}\left(o_T\right)$$

则$O$和$I$联合出现的概率是：
$$P(O,I\mid \lambda )=P(I\mid \lambda )P(O\mid I,\lambda )={\pi }_{i_1}{b}_{i_1}\left(o_1\right)a_{i_1{i}_2}{b}_{i_2}\left(o_2\right)\dots a_{i_{T-1}}{i}_T{b}_{i_T}\left(o_T\right)$$
　　　　
然后求边缘概率分布，即可得到观测序列$O$在模型$\lambda$下出现的条件概率$P(O\mid \lambda )$：
$$P(O\mid \lambda )=\sum _{I}P(O,I\mid \lambda )=\sum _{i_1,i_2,\dots ,i_T}{\pi }_{i_1}{b}_{i_1}\left(o_1\right)a_{i_1{i}_2}{b}_{i_2}\left(o_2\right)\dots a_{i_{T-1}}{i}_T{b}_{i_T}\left(o_T\right)$$
　　　　
虽然上述方法有效，但是如果我们的隐藏状态数$N$非常多的那就麻烦了，此时我们预测状态有$N^T$种组合，算法的时间复杂度是$O(T{N}^T)$阶的。

因此对于一些隐藏状态数极少的模型，我们可以用暴力求解法来得到观测序列出现的概率，但是如果隐藏状态多，则上述算法太耗时，我们需要寻找其他简洁的算法。

前向后向算法就是来帮助我们在较低的时间复杂度情况下求解这个问题的。

用前向算法求HMM观测序列的概率

前向后向算法是前向算法和后向算法的统称，这两个算法都可以用来求HMM观测序列的概率。我们先来看看前向算法是如何求解这个问题的。

前向算法本质上属于动态规划的算法，也就是我们要通过找到局部状态递推的公式，这样一步步的从子问题的最优解拓展到整个问题的最优解。

在前向算法中，通过定义“前向概率”来定义动态规划的这个局部状态。什么是前向概率呢, 其实定义很简单：定义时刻$t$时隐藏状态为$q_i$, 观测状态的序列为$O_1,O_2,\dots ,O_t$的概率为前向概率。记为：
$${\alpha }_t(i)=P\left(o_1,o_2,\dots o_t,i_t=q_i\mid \lambda \right)$$

既然是动态规划，我们就要递推了，现在我们假设我们已经找到了在时刻$t$时各个隐藏状态的前向概率，现在我们需要递推出时刻$t+1$时各个隐藏状态的前向概率。

从下图可以看出，我们可以基于时刻$t$时各个隐藏状态的前向概率，再乘以对应的状态转移概率，即${\alpha }_t(j)a_{ji}$就是在时刻$t$观测到$O_1,O_2,\dots ,O_t$，并且时刻$t$隐藏状态$q_j$, 时刻$t+1$隐藏状态$q_i$的概率。

如果将想下面所有的线对应的概率求和，即${\sum }_{i=1}^N{\alpha }_t(j)a_{ji}$就是在时刻$t$观测到$O_1,O_2,\dots ,O_t$，并且时刻$t+1$隐藏状态$q_i$的概率。继续一步，由于观测状态$o_{t+1}$只依赖于$t+1$时刻隐藏状态$q_i$, 这样$\left[{\sum }_{j=1}^N{\alpha }_t(j)a_{ji}\right]b_i\left(o_{t+1}\right)$就是在在时刻$t+1$观测到$O_1,O_2,\dots ,O_t,O_{t+1}$，并且时刻$t+1$隐藏状态$q_i$的概率。而这个概率，恰恰就是时刻$t+1$对应的隐藏状态的前向概率，这样我们得到了前向概率的递推关系式如下：
$${\alpha }_{t+1}(i)=[\sum _{j=1}^N{\alpha }_t(j)a_{ji}]b_i(o_{t+1})$$

我们的动态规划从时刻1开始，到时刻$T$结束，由于${\alpha }_T(i)$表示在时刻观测序列为$o_1,o_2,...o_T$，并且时刻$T$隐藏状态$q_i$的概率，我们只要将所有隐藏状态对应的概率相加，即$\sum _{i=1}^N{\alpha }_T(i)$就得到了在时刻$T$观测序列为$o_1,o_2,...o_T$的概率。

下面总结下前向算法。

输入：HMM模型=(,,Π)，观测序列$O=(o_1,o_2,...o_T)$

输出：观测序列概率(|)

1. 计算时刻1的各个隐藏状态前向概率：
   $${\alpha }_1(i)={\pi }_i{b}_i(o_1),i=1,2,...N$$
2. 递推时刻2,3,…时刻的前向概率：
   $${\alpha }_{t+1}(i)=[\sum _{j=1}^N{\alpha }_t(j)a_{ji}]b_i(o_{t+1}),i=1,2,...N$$
3. 计算最终结果：
   $$P(O|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$
   　　　　
   从递推公式可以看出，我们的算法时间复杂度是$O(T{N}^2)$，比暴力解法的时间复杂度$O(T{N}^T)$少了几个数量级。

HMM前向算法求解实例

这里我们用上面HMM模型中盒子与球的例子来显示前向概率的计算。
我们的观察集合是:
$V=\{红，白\}，M=2$

我们的状态集合是：
$Q=\{盒子1，盒子2，盒子3\}，N=3$

而观察序列和状态序列的长度为3.

初始状态分布为：
$$\Pi =(0.2,0.4,0.4{)}^T$$

状态转移概率分布矩阵为：
$$A=\left(\begin{array}{ccc}0.5& 0.2& 0.3\\ 0.3& 0.5& 0.2\\ 0.2& 0.3& 0.5\end{array}\right)$$

观测状态概率矩阵为：
$$B=\left(\begin{array}{cc}0.5& 0.5\\ 0.4& 0.6\\ 0.7& 0.3\end{array}\right)$$

球的颜色的观测序列:
$O=\{红，白，红\}$
　　　　
按照我们上一节的前向算法。

首先计算时刻1三个状态的前向概率：

• 时刻1是红色球，隐藏状态是盒子1的概率为：
  $${\alpha }_1(1)={\pi }_1{b}_1(o_1)=0.2\times 0.5=0.1$$

• 隐藏状态是盒子2的概率为：
  $${\alpha }_1(2)={\pi }_2{b}_2(o_1)=0.4\times 0.4=0.16$$

• 隐藏状态是盒子3的概率为：
  $${\alpha }_1(3)={\pi }_3{b}_3(o_1)=0.4\times 0.7=0.28$$

现在我们可以开始递推了，首先递推时刻2三个状态的前向概率：

• 时刻2是白色球，隐藏状态是盒子1的概率为：
  $${\alpha }_2(1)=[\sum _{i=1}^3{\alpha }_1(i)a_{i1}]b_1(o_2)=[0.1\ast 0.5+0.16\ast 0.3+0.28\ast 0.2]\times 0.5=0.077$$
• 隐藏状态是盒子2的概率为：
  $${\alpha }_2(2)=[\sum _{i=1}^3{\alpha }_1(i)a_{i2}]b_2(o_2)=[0.1\ast 0.2+0.16\ast 0.5+0.28\ast 0.3]\times 0.6=0.1104$$
• 隐藏状态是盒子3的概率为：
  $${\alpha }_2(3)=[\sum _{i=1}^3{\alpha }_1(i)a_{i3}]b_3(o_2)=[0.1\ast 0.3+0.16\ast 0.2+0.28\ast 0.5]\times 0.3=0.0606$$

继续递推，现在我们递推时刻3三个状态的前向概率：

• 时刻3是红色球，隐藏状态是盒子1的概率为：
  $${\alpha }_3(1)=[\sum _{i=1}^3{\alpha }_2(i)a_{i1}]b_1(o_3)=[0.077\ast 0.5+0.1104\ast 0.3+0.0606\ast 0.2]\times 0.5=0.04187$$
• 隐藏状态是盒子2的概率为：
  $${\alpha }_3(2)=[\sum _{i=1}^3{\alpha }_2(i)a_{i2}]b_2(o_3)=[0.077\ast 0.2+0.1104\ast 0.5+0.0606\ast 0.3]\times 0.4=0.03551$$
• 隐藏状态是盒子3的概率为：
  $${\alpha }_3(3)=[\sum _{i=1}^3{\alpha }_2(i)a_{i3}]b_3(o_3)=[0.077\ast 0.3+0.1104\ast 0.2+0.0606\ast 0.5]\times 0.7=0.05284$$

最终我们求出观测序列:={红，白，红}的概率为：
$$P(O|\lambda )=\sum _{i=1}^3{\alpha }_3(i)=0.13022,$$

用后向算法求HMM观测序列的概率

熟悉了用前向算法求HMM观测序列的概率，现在我们再来看看怎么用后向算法求HMM观测序列的概率。

后向算法和前向算法非常类似，都是用的动态规划，唯一的区别是选择的局部状态不同，后向算法用的是“后向概率”，那么后向概率是如何定义的呢？

定义时刻$t$时隐藏状态为$q_i$, 从时刻$t+1$到最后时刻$T$的观测状态的序列为$o_{t+1},o_{t+2},...o_T$的概率为后向概率。记为：
$${\beta }_t(i)=P(o_{t+1},o_{t+2},...o_T|i_t=q_i,\lambda )$$
　　　　
后向概率的动态规划递推公式和前向概率是相反的。现在我们假设我们已经找到了在时刻$t+1$时各个隐藏状态的后向概率${\beta }_{t+1}(j)$，现在我们需要递推出时刻$t$时各个隐藏状态的后向概率。

如下图，我们可以计算出观测状态的序列为$o_{t+2},o_{t+3},...o_T$， $t$时隐藏状态为$q_i$, 时刻$t+1$隐藏状态为$q_j$的概率为$a_{ij}{\beta }_{t+1}(j)$, 接着可以得到观测状态的序列为$o_{t+1},o_{t+2},...o_T$， $t$时隐藏状态为$q_i$, 时刻$t+1$隐藏状态为$q_j$的概率为$a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)$, 则把下面所有线对应的概率加起来，我们可以得到观测状态的序列为$o_{t+1},o_{t+2},...o_T$， $t$时隐藏状态为$q_i$的概率为$\sum _{j=1}^N{a}_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)$，这个概率即为时刻$t$的后向概率。

这样我们得到了后向概率的递推关系式如下：
$${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)$$
　　　　
现在我们总结下后向算法的流程,注意下和前向算法的相同点和不同点：

• 输入：HMM模型$\lambda =(A,B,\Pi )$，观测序列$O=(o_1,o_2,...o_T)$
• 输出：观测序列概率$P(O|\lambda )$
• 1.初始化时刻$T$的各个隐藏状态后向概率：
  $${\beta }_T(i)=1,i=1,2,...N$$
• 2.递推时刻$T-1,T-2,...1$时刻的后向概率：
  $${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j),i=1,2,...N$$
• 3.计算最终结果：
  $$P(O|\lambda )=\sum _{i=1}^N{\pi }_i{b}_i(o_1){\beta }_1(i)$$
  　　　　
  此时我们的算法时间复杂度仍然是$O(T{N}^2)$。

HMM常用概率的计算

利用前向概率和后向概率，我们可以计算出HMM中单个状态和两个状态的概率公式。

1）给定模型$\lambda$和观测序列$O$在时刻$t$处于状态$q_i$的概率记为:
$${\gamma }_t(i)=P(i_t=q_i|O,\lambda )=\frac{P(i_t=q_i,O|\lambda )}{P(O|\lambda )}$$
　　　　
利用前向概率和后向概率的定义可知：
$$P(i_t=q_i,O|\lambda )={\alpha }_t(i){\beta }_t(i)$$
　　　　
于是我们得到：
$${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{\sum _{j=1}^N{\alpha }_t(j){\beta }_t(j)}$$
　　　　
2）给定模型$\lambda$和观测序列$O$,在时刻$t$处于状态$q_i$，且时刻$t+1$处于状态$q_j$的概率记为:

$${\xi }_t(i,j)=P(i_t=q_i,i_{t+1}=q_j|O,\lambda )=\frac{P(i_t=q_i,i_{t+1}=q_j,O|\lambda )}{P(O|\lambda )}$$
　　　　
而$P(i_t=q_i,i_{t+1}=q_j,O|\lambda )$可以由前向后向概率来表示为:
$$P(i_t=q_i,i_{t+1}=q_j,O|\lambda )={\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)$$
　　　　
从而最终我们得到${\xi }_t(i,j)$的表达式如下：
$${\xi }_t(i,j)=\frac{{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}{\sum _{r=1}^N\sum _{s=1}^N{\alpha }_t(r)a_{rs}{b}_s(o_{t+1}){\beta }_{t+1}(s)}$$
　　　　
3) 将${\gamma }_t(i)$和${\xi }_t(i,j)$在各个时刻$t$求和，可以得到：

在观测序列$O$下状态$i$出现的期望值$\sum _{t=1}^T{\gamma }_t(i)$
　　　　
在观测序列$O$下由状态$i$转移的期望值$\sum _{t=1}^{T-1}{\gamma }_t(i)$
　　　　
在观测序列$O$下由状态$i$转移到状态$j$的期望值$\sum _{t=1}^{T-1}{\xi }_t(i,j)$
　　　　
上面这些常用的概率值在求解HMM问题二，即求解HMM模型参数的时候需要用到。

接下来我们会讨论HMM模型参数求解的问题，这个问题在HMM三个问题里算是最复杂的。在李航的《统计学习方法》中，这个算法的讲解只考虑了单个感测序列的求解，因此无法用于实际多样本观测序列的模型求解，本文关注于如何使用多个观测序列来求解HMM模型参数。

HMM模型参数求解概述

HMM模型参数求解根据已知的条件可以分为两种情况。

第一种情况较为简单，就是我们已知$D$个长度为$T$的观测序列和对应的隐藏状态序列，即$\{(O_1,I_1),(O_2,I_2),...(O_D,I_D)\}$是已知的，此时我们可以很容易的用最大似然来求解模型参数。

假设样本从隐藏状态$q_i$转移到$q_j$的频率计数是$A_{ij}$,那么状态转移矩阵求得为：
$$A=\left[a_{ij}\right],其中a_{ij}=\frac{A_{ij}}{\sum _{s=1}^N{A}_{is}}$$
　　　　
假设样本隐藏状态为$q_j$且观测状态为$v_k$的频率计数是$B_{jk}$,那么观测状态概率矩阵为：
$$B=[b_j(k)],其中b_j(k)=\frac{B_{jk}}{\sum _{s=1}^M{B}_{js}}$$
　　　　
假设所有样本中初始隐藏状态为$q_i$的频率计数为$C_i$,那么初始概率分布为：
$$\Pi =\pi (i)=\frac{C(i)}{\sum _{s=1}^{N}C(s)}$$
　　　　
可见第一种情况下求解模型还是很简单的。但是在很多时候，我们无法得到HMM样本观察序列对应的隐藏序列，只有$D$个长度为$T$的观测序列，即$\{(O_1),(O_2),...(O_D)\}$是已知的，此时我们能不能求出合适的HMM模型参数呢？

这就是我们的第二种情况，也是我们本文要讨论的重点。

它的解法最常用的是鲍姆-韦尔奇算法，其实就是基于EM算法的求解，只不过鲍姆-韦尔奇算法出现的时代，EM算法还没有被抽象出来，所以我们本文还是说鲍姆-韦尔奇算法。

下面我们先举一个例子对鲍姆-韦尔奇算法进行介绍。

详细例子介绍姆-韦尔奇算法Baum–Welch algorithm

下面将以“抓捕行动”这个故事的形式，详解介绍鲍姆-韦尔奇算法Baum–Welch algorithm

臭名昭著的犯罪团伙落脚在一个小镇上，负隅顽抗着。此犯罪团伙的反侦查意识极强，武警部长再也坐不下去了，每让这个犯罪团伙多存在一天，就多一份对公民的威胁。于是你以特派专家的身份，被武警部长邀请去计划搜捕行动。

武警部长告诉你，犯罪团伙的每天的防卫状态，只可能是“防卫严密”或“防卫松懈”两种状态一种，而且今天的防卫状态只和昨天的防卫状态相关。即如果今天“防卫严密”的话，明天有一定的概率“防卫松懈”。

武警部长对你说：”组织抓捕，当然是要在防卫松懈时去抓捕了，但问题在于，并不容易知道他们究竟什么时候会防卫松懈。也不知道今天防卫严密后，明天防卫松懈的概率。如果知道了将容易很多”，说完，拿出来一份文件。

作为特派专家，你似乎意识到什么，于是询问部长：“你们虽然不能直接知道他们的防卫状态，但你们每天都会密切观察他们的举动，有什么别的信息呢？”

武警部长答道：“这倒是有一些。比如我已经排了专人去监视那个犯罪团体的活跃状况。大致可以分为“活跃”和“不活跃”。活跃的时候人来人往，车流量很大，不活跃则几乎没人进出他们的老巢。我们发现他们的活跃状态和防卫状态有一定关系，但又没法确定。”

你狡黠地一笑：“这就好办了。”

你找来一张纸，写下了如下的关系

• 我们知道犯罪团伙每天的活跃的状态，即可见层
• 我们知道犯罪团伙每天的防卫状态一共有哪些
• 我们不知道今天的防卫状态与昨天的防卫状态关系是怎样的。即不知道隐藏层的转移关系
• 我们不知道每天的防卫状态是怎样的，即不知道隐藏层
• 我们也不知道每天的防卫状态，与活跃状态之间的关系，即由隐藏层某个元素可以推出可见层某个元素的概率，即表现（emission）概率。

你说：“现在不知道，并不代表以后也不可能知道，所以我们现在要大胆尝试。”

武警部长说：“说人话。”

你道：“好啦，就是不知道的猜一遍。虽然猜的并不准确，但有办法让它逐渐符合实际。”

假设昨天的防卫状态与今天的防卫状态的关系是，即如下表格$A$

假设的隐藏层状态转移	今天防卫严密	今天防卫松懈
昨天防卫严密	0.5	0.5
昨天防卫松懈	0.3	0.7

或者是

设$x_t$是隐藏层的某个时间的状态，并且从状态$x_{t-1}$转移到状态$x_t$的概率$P\left(x_t\mid x_{t-1}\right)$与时间$t$无关。于是就有状态转移方程
$$A=\left\{a_{ij}\right\}=P\left(x_t=j\mid x_{t-1}=i\right)$$

设某一天为初始状态，假设那天犯罪团体防卫严密的概率是0.2，防卫松懈的概率是0.8即如下表格$\pi$

初始状态	概率
防卫严密	0.2
防卫松懈	0.8

或者
初始状态为:
$${\pi }_i=P\left(X_1=i\right)$$

再假设防卫的状态到活跃状态的表现关系，比如今天 防卫 严密，则活跃的概率是0.3。得到表格$B$

假设的表现关系	活跃	不活跃
防卫严密	0.3	0.7
防卫松懈	0.8	0.2

可见层的元素$Y_t$可能有$k$个不同的值。那么由可见层在时间$t$的某个元素$y_i$可以推出隐藏层某个元素$j$的概率是
$$b_j\left(y_i\right)=P\left(Y_t=y_i\mid X_t=j\right)$$

至此，准备工作已经完成了。然后你把这三张表放在一起，并装入一个文件袋θ里

武警部长道：“我还是看不出你接下来会怎么做。”

你不慌不忙地起身热了两壶茶，又坐下对部长说道：“部长，最近观察到的那犯罪团伙的活跃状态是怎么样的？”

部长又拿出一份报告，这是上个星期对那个犯罪团伙的观察情况。

于是你说：“这是真实观察到的结果，我们就叫他“结果$X$”好了。不同的犯罪团伙的防卫状态和转移概率以及表现矩阵，也就是有不同的表格$A$，$B$，$\pi$，也就是不同的文件档案$\theta$。不同的文件档案$\theta$，代表着可能观测到的不同结果。”

“我们现在确实不知道文件档案里的内容和数据应该是什么。但肯定有某个我们期待得到的文件档案$\theta$，记录了那犯罪团伙的准确信息，并且会导致“结果$X$的出现概率最大，让我们有很大机会碰上“结果$X$”。这样就符合了我们所观察的实际情况。毕竟在我们看来，我们确实观察到的“结果$X$””

部长若有所思，说“嗯，这个方法太精彩了。只是我以前好像在哪儿见到过类似的东西？”

你道：“部长应该了解过概率论，这个思想和似然是一样的，都是不知道概率，只知道结果，而要从结果反推出概率。”

部长把茶给你和他斟上，接着问道：“那么接下来应该怎么办呢？”

用两天的数据更新表格A

你道：“例如想更新表格A上的内容，比如知第一天为“防卫严密”到第二天为“ 防卫 松懈”的转移概率，并且要符合实际观察到的情况，即第一天活跃，第二天活跃。我们来计算这种情况的出现概率。

你拿出文件袋θ，计算到：

• 1.根据表格$\pi$，第一天为“防卫严密”的概率为0.2
• 2.根据表格$B$，第一天为“ 防卫严密”，则第一天为“活跃”的概率为0.3
• 3.根据表格$A$，第一天为“ 防卫 严密”，第二天为“ 防卫松懈”的概率为0.5
• 4.根据表格$B$，第二天为“防卫松懈”，第二天为“ 活跃”的概率为0.8
• 5.相乘得到新的，第一天为“ 活跃”并且第二天为“ 活跃”这种情况的概率是0.024

0.20.30.5*0.8=0.024

根据原猜测结果，计算符合实际（第一天活跃，第二天活跃）的转移概率，即计算
$${\xi }_{ij}(t)=P\left(X_t=i,X_{t⊣1}=j\mid Y,\theta \right)=\frac{P\left(X_t=i,X_{t+1}=j,Y\mid \theta \right)}{P(Y\mid \theta )}=\frac{{\alpha }_i(t)a_{ij}{\beta }_j(t+1)b_j\left(y_{t+1}\right)}{{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i(t)a_{ij}{\beta }_j(t+1)b_j\left(y_{t+1}\right)}$$

同样可得

部长道：“按照我们观察到的真实结果$X$，和猜测的文件档案$\theta$，对于这四种情况，显然第四种情况，即第一天“防卫松懈“第二天也”防卫松懈”的概率最高，最有可能发生啊。”

你道：“对，但那并不代表另外三种情况不可能发生。若是让第一种情况除以第四种情况，就得到了从第一天“防卫严密”到第二天“防卫松懈”的新转移概率，

0.0240/0.3584 = 0.6696

在归一化后，要比我们之前的推测更加符合我们的观察。

新的隐藏层状态转移

新的隐藏层状态转移（未归一化）	今天防卫严密	今天防卫松懈
昨天防卫严密	0.1785	0.0446
昨天防卫松懈	0.1607	1

归一化后，就是根据我们所观察到的结果$X$的一部分，即第一天活跃，第二天活跃所计算出的，比之前推测更加靠谱的表格$A$。也就是说，在更新表格$A$后，文件档案$\theta$所代表的的犯罪团伙的信息，会让“第一天活跃第二天活跃”这种情况出现的概率更加增大。

新的隐藏层状态转移

新的隐藏层状态转移（归一化后）	今天防卫严密	今天防卫松懈
昨天防卫严密	0.8000	0.2000
昨天防卫松懈	0.1385	0.8615

根据最有可能的隐藏层，计算隐藏层元素间转移概率比例就是计算下面的式子：
$${\gamma }_i(t)=P\left(X_t=i\mid Y,\theta \right)=\frac{P\left(X_t=i,Y\mid \theta \right)}{P(Y\mid \theta )}=\frac{{\alpha }_i(t){\beta }_i(t)}{{\sum }_{j=1}^N{\alpha }_j(t){\beta }_j(t)}$$

更新表格$A$的过程，就是计算下面的式子，即隐藏层状态转移关系
$$a_{ij}^{\ast }=\frac{{\sum }_{t=1}^{T-1}{\xi }_{ij}(t)}{{\sum }_{t=1}^{T-1}{\gamma }_i(t)}$$

部长拿起纸笔验算了一番：

“神了”，部长非常惊喜，“相比于我们之前的猜测，更新后的猜测更加符合实际，也就是说那些犯罪团伙的信息更加符合更新后的。”

你非常自豪，说道：“这还只是仅使用了两天的数据，如果把7天观测数据全部用上又如何呢？

完整的一遍更新流程

首先仍然是更新表格$A$

然后根据原来的表格更新防卫状态的转换概率，下面是从“防卫严密”到“防卫松懈”的计算

• 新的 从“防卫严密”到“防卫松懈”的转移概率0.148/1.3482 = 0.1098。
• 新的 从“防卫严密”到“防卫严密”的转移概率0.118/1.3482 = 0.0875。
• 新的 从“防卫松懈”到“防卫严密”的转移概率0.3552/1.3482 = 0.2612。
• 新的 从“防卫松懈”到“防卫松懈”的转移概率1.2768/1.3482 = 0.9470。

归一化后得到新的表格$A$

接下来更新，表格$B$，首先更新由“防卫严密”表现出“不活跃”的概率

• 新的 从“防卫严密”到“活跃”的表现概率0.177/1.2992 = 0.1098。
• 新的 从“防卫严密”到“不活跃”的表现概率0.2394/0.2730 = 0.8749。
• 新的 从“防卫松懈”到“活跃”的表现概率1.2240/1.2992 = 0.9421。
• 新的 从“防卫松懈”到“不活跃”的表现概率0.376/0.2730 = 0.1370。

归一化后得到更新后的表格$B$：

同理，更新表格$B$即更新隐藏层到可见层的表现矩阵，即
$$b_i^{\ast }\left(v_k\right)=\frac{{\sum }_{t=1}^T{1}_{y_t=v_k}{\gamma }_i(t)}{{\sum }_{t=1}^T{\gamma }_i(t)}$$
其中
$$1_{y_i=v_k}=\{\begin{array}{ll}1& \text{ if }{y}_t=v_k\\ 0& \text{ otherwise }\end{array}$$

即，假设“不活跃”这个状态全部是由“防卫严密”导致的，那么我们在计算时只需要考虑那些包含着“不活跃”的两天连续观察，例如第三四天。而不包含的全部去掉，例如第一二天。

然后更新表$\pi$

归一化后得：

更新表格$\pi$，即更新第一天隐藏层的初始状态，即
$$\bullet {\pi }_i^{\ast }={\gamma }_i(1)$$

我们更新完了第一波表格$A$，$B$，$\pi$，但这还不够，我们可能仍然有更合适的文件档案$\theta$等待我们去计算。于是我们就以这一次更新后的表格，作为下一次的起始表格，再更新一遍。如此循环下去，直到表格中的数据稳定下来，就得到了我们想要得到的文件档案$\theta$，这样的文件档案能够保证出现“结果$X$”的概率最大。

表格

为了方便各位计算，我把根据最开始所猜测的$\theta$对应的转换表格贴出，对应了所有可能的情况。表中数字加起来即为总概率1。第一行第一列意思为，如果第一天防守严密，第二天防守严密，那么第一天活跃且第二天活跃的概率

参考文献

• https://zhuanlan.zhihu.com/p/94480486
• https://www.cnblogs.com/pinard/p/6972299.html