隐马尔科夫模型（HMM）原理小结（2）

HMM系列文章：

隐马尔科夫模型（HMM）原理小结（1）
隐马尔科夫模型（HMM）原理小结（2）
手撸HMM实现词性标注（Part-of-speech）

本博客中使用到的完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~

4. 基本问题二：学习问题 模型参数估计 $\lambda =(A,B,\pi )$

4.1 监督学习方法

训练数据包含观测序列和状态序列。直接统计频数求概率。

假设训练样本包含了长度相同的观测序列以及对应的状态序列$\{(O_1,I_1),(O_2,I_2),...,(O_S,I_S)\}$，那么可以利用极大似然估计方法来估计HMM的参数。

（1）转移概率$a_{ij}$的估计

设样本中在时刻$t\to t+1$ 由状态$i\to j$ 转移的频数为$A_{ij}$，则转移概率$a_{ij}$的估计是：

$${\hat{a}}_{ij}=\frac{A_{ij}}{\sum _{j=1}^N{A}_{ij}},i,j=1,2,...,N$$

（2）观测概率$b_j(k)$的估计

设样本中由状态$j$ 产生观测$k$ 的频数为$B_{jk}$，则观测概率$b_j(k)$的估计是：

$${\hat{b}}_j(k)=\frac{B_{jk}}{\sum _{k=1}^M{B}_{jk}},j=1,2,...,N;k=1,2,...,M$$

（3）初始状态概率${\pi }_i$的估计

样本中初始状态为$q_i$ 的频数 为初始状态概率${\pi }_i$的估计。

4.2 无监督学习方法：Baum-Welch算法（EM）

训练数据仅包含观测序列。

假设训练样本中只包含长度为$T$ 的观测序列$\{O_1,O_2,\cdots ,O_S\}$而没有对应的状态序列，把观测序列数据$O$看做显变量，状态序列数据$I$看做不可观测的隐变量$\{I_1,I_2,\cdots ,I_S\}$，那么此时HMM就可看做是含有隐变量的概率模型：

$$P(O\mid \lambda )=\sum _{I}P(O,I\mid \lambda )=\sum _{I}P(O\mid I,\lambda )P(I\mid \lambda )$$

其参数的学习可以使用 EM算法 来求解。

4.2.1 确定完全数据的对数似然函数

$$logP(O,I/\lambda )$$

而$P(O,I/\lambda )={\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1{i}_2}{b}_{i_2}(o_2)...a_{i_{T-1}{i}_T}{b}_{i_T}(o_T)$。

4.2.2 E步：求$Q$函数$Q(\lambda |\bar{\lambda })$

设$\lambda$ 是需要极大化的HMM的参数，$\bar{\lambda }$ 是当前迭代步中模型参数的估计值，那么$Q$函数可写为：

$$\begin{array}{rl}Q(\lambda |\bar{\lambda })& =E_I[logP(O,I/\lambda )|O,\bar{\lambda }]\\ & =\sum _{I}logP(O,I\mid \lambda )P(I|O,\bar{\lambda })\\ & =\sum _{I}logP(O,I\mid \lambda )\frac{P(I,O|\bar{\lambda })}{P(O|\bar{\lambda })}\end{array}$$

因为$P(O|\bar{\lambda })$对于待求解参数$\lambda$ 来说相当于常数，对求解$Q$函数的极大化（求偏导令其等于0）没什么影响，所以去掉该项以简化$Q$函数，所以$Q$ 函数为：

$$\begin{array}{r}Q(\lambda |\bar{\lambda })=\sum _{I}logP(O,I\mid \lambda )P(I,O|\bar{\lambda })\end{array}$$

注意有：

$$\begin{array}{rl}P(O,I/\lambda )& ={\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1{i}_2}{b}_{i_2}(o_2)...a_{i_{T-1}{i}_T}{b}_{i_T}(o_T)\\ & ={\pi }_{i_1}\cdot \prod _{t=1}^{T-1}{a}_{i_t{i}_{t+1}}\cdot \prod _{t=1}^T{b}_{i_t}(o_t)\end{array}$$

那么

$$logP(O,I/\lambda )=log{\pi }_{i_1}+\sum _{t=1}^{T-1}log{a}_{i_t{i}_{t+1}}+\sum _{t=1}^{T}log{b}_{i_t}(o_t)$$

所以

$$\begin{array}{rl}Q(\lambda |\bar{\lambda })& =\sum _{I}logP(O,I\mid \lambda )P(I,O|\bar{\lambda })\\ & =\underset{J_1}{\sum _{I}log{\pi }_{i_1}P(I,O|\bar{\lambda })}+\underset{J_2}{\sum _I\left(\sum _{t=1}^{T-1}log{a}_{i_t{i}_{t+1}}\right)P(I,O|\bar{\lambda })}\\ & +\underset{J_3}{\sum _I(\sum _{t=1}^{T}log{b}_{i_t}(o_t))P(I,O|\bar{\lambda })}\end{array}$$

4.2.3 M步：极大化$Q$函数求解模型参数$A,B,\pi$

由于要极大化的参数刚好单独出现在$Q$函数的3个不同的项中，所以只需对各项分别求极大化。

（1）初始状态概率${\pi }_i$的估计**

$$J_1=\sum _{I}log{\pi }_{i_1}P(I,O|\bar{\lambda })=\sum _{i=1}^{N}log{\pi }_{i}P(O,i_1=i|\bar{\lambda })$$

注意到${\pi }_i$ 满足约束：$\sum _{i=1}^N{\pi }_i=1$，所以可以构建拉格朗日函数：

$$L({\pi }_i,\gamma )=\sum _{i=1}^{N}log{\pi }_{i}P(O,i_1=i|\bar{\lambda })+\gamma (\sum _{i=1}^N{\pi }_i-1)$$

求偏导并令其等于0：$\frac{\partial L({\pi }_i,\gamma )}{\partial {\pi }_i}=0$，求得：

$${\pi }_i=\frac{P(O,i_1=i|\bar{\lambda })}{P(O|\bar{\lambda })}={\gamma }_1(i)$$

（2）转移概率$a_{ij}$的估计

$$J_2=\sum _I\left(\sum _{t=1}^{T-1}log{a}_{i_t{i}_{t+1}}\right)P(I,O|\bar{\lambda })=\sum _{i=1}^N\sum _{j=1}^N\sum _{t=1}^{T-1}log{a}_{ij}P(O,i_t=i,i_{t+1}=j|\bar{\lambda })$$

注意到$a_{ij}$ 满足约束：$\sum _{j=1}^N{a}_{ij}=1$，所以可以构建拉格朗日函数：

$$L(a_{ij},\gamma )=\sum _{i=1}^N\sum _{j=1}^N\sum _{t=1}^{T-1}log{a}_{ij}P(O,i_t=i,i_{t+1}=j|\bar{\lambda })+\gamma (\sum _{j=1}^N{a}_{ij}-1)$$

求偏导并令其等于0：$\frac{\partial L(a_{ij},\gamma )}{\partial {\pi }_i}=0$，求得：

$$a_{ij}=\frac{\sum _{t=1}^{T-1}P(O,i_t=i,i_{t+1}=j|\bar{\lambda })}{\sum _{t=1}^{T-1}P(O,i_t=i|\bar{\lambda })}=\frac{\sum _{t=1}^{T-1}{\xi }_t(i,j)}{\sum _{t=1}^{T-1}{\gamma }_t(i)}$$

（3）观测概率$b_j(k)$的估计

$$J_3=\sum _I(\sum _{t=1}^{T}log{b}_{i_t}(o_t))P(I,O|\bar{\lambda })=\sum _{j=1}^N\sum _{t=1}^{T}log{b}_j(o_t)P(O,i_t=j|\bar{\lambda })$$

注意到$b_j(k)$ 满足约束：$\sum _{k=1}^M{b}_j(k)=1$，所以可以构建拉格朗日函数：

$$L(b_j(k),\gamma )=\sum _{j=1}^N\sum _{t=1}^{T}log{b}_j(o_t)P(O,i_t=j|\bar{\lambda })+\gamma (\sum _{k=1}^M{b}_j(k)-1)$$

求偏导并令其等于0：$\frac{\partial L(b_j(k),\gamma )}{\partial {\pi }_i}=0$，求得：

$$b_j(k)=\frac{\sum _{t=1}^{T}P(O,i_t=j|\bar{\lambda })I(o_t=v_k)}{\sum _{t=1}^{T}P(O,i_t=i|\bar{\lambda })}=\frac{\sum _{t=1,o_t=v_k}^T{\gamma }_t(j)}{\sum _{t=1}^T{\gamma }_t(j)}$$

注意只有在$o_t=v_k$ 时$b_j(o_t)$ 对$b_j(k)$ 的偏导数才不为0，上式中以$I(o_t=v_k)$表示。

联系一下前面的期望的计算，这里其实就是从“平均”意义上去求解参数的。

4.2.4 Baum-Welch算法描述

5. 基本问题三：预测问题 状态序列概率 $P(I|O,\lambda )$计算

求$\arg \underset{I}{\max }P(I|O,\lambda )$ 等价于求$\arg \underset{I}{\max }P(I,O|\lambda )$ ，因为因子$\frac{1}{P(O|\lambda )}$对于$I$ 来说相当于常数项，对其求max 无影响。

5.1 近似算法

近似算法类似于贪心算法：在每个时刻$t$选择在该时刻最有可能出现的状态$i_t^{\ast }$，从而得到一个状态序列$I^{\ast }=(i_1^{\ast },i_2^{\ast },\cdots ,i_T^{\ast })$，将它作为预测的结果。

每个时刻$t$选择在该时刻最有可能出现的状态$i_t^{\ast }$：
$$i_t^{\ast }=\arg \underset{1⩽i⩽N}{\max }\left[{\gamma }_t(i)\right],t=1,2,\cdots ,T$$

• 优点：计算简单
• 缺点：不能保证预测的状态整体上是最有可能发生的。而且这样产生的状态序列可能事实上根本不可能存在，例如可能存在转移概率为0的情况。

5.2 维特比（viterbi）算法

维特比算法是利用 动态规划 来求解HMM的预测问题的，即使用DP求解概率最大路径，或者叫最优路径。

导入两个变量$\delta$和$\Psi$，定义在时刻$t$状态为$i$的所有单个路径$(i_1,i_2,\cdots ,i_t)$中概率最大值为

$${\delta }_t(i)=\underset{i_1,i_2,\cdots ,i_t}{\max }P\left(i_t=i,i_{t-1},\cdots ,i_1,o_t,\cdots ,o_1\mid \lambda \right),i=1,2,\cdots ,N$$

可得变量$\delta$的递推公式为：

$$\begin{array}{rl}{\delta }_{t+1}(i)& =\underset{i_1,i_2,\cdots ,i_t}{\max }P\left(i_{t+1}=i,i_t,\cdots ,i_1,o_{t+1},\cdots ,o_1\mid \lambda \right)\\ & =\underset{1⩽j⩽N}{\max }\left[{\delta }_t(j)a_{ji}\right]b_i\left(o_{t+1}\right),i=1,2,\cdots ,N;t=1,2,\cdots ,T-1\end{array}$$

定义在时刻$t$状态为$i$的所有单个路径$(i_1,i_2,\cdots ,i_{t-1},i)$中概率最大的路径的第$t-1$个结点为

$${\Psi }_t(i)=\arg \underset{1⩽j⩽N}{\max }\left[{\delta }_{t-1}(j)a_{ji}\right],i=1,2,\cdots ,N$$

维特比算法描述

6. HMM vs RNN

可以说，HMM能干的事情LSTM（RNN）都能干，如果数据量大，LSTM（RNN）是首选，数据量小的时候，HMM是首选。

下面的对比内容摘自：从HMM到RNN

HMM和RNN在基本结构上是挺像的，都是通过hidden state的演化来刻画序列间的依赖关系。不同是：

• HMM本质是一个概率模型，而RNN不是，RNN没有马尔科夫假设，可以考虑很长的历史信息。
• 隐状态的表示: HMM是one hot, RNN是distributed representation。RNN的表示能力强很多，或者说在面对高维度时，表示效率更高。类似nlp里，对单个token的表示，一种是onehot, 一种是word vector。
• 隐状态的演化方式: HMM是线性的，RNN是高度非线性。
• 深度：lstm可以增加depth, 随着depth增加，表示能力指数增加。

RNN的最大优势在于，可以真正充分地利用所有上文信息来预测下一个词，而不像HMM那样，只能开一个k个词的窗口，只用前k个词来预测下一个词。从形式上看，这是一个非常“终极”的模型，毕竟语言模型里能用到的信息，他全用上了。

7. HMM等生成式模型存在的问题

1. 由于生成模型定义的是联合概率，必须列举所有观察序列的可能值，这对多数领域来说是比较困难的。
2. HMM的观测独立性假设：基于观察序列中的每个元素都相互条件独立，即在任何时刻观察值仅仅与状态（即要标注的标签）有关。对于简单的数据集，这个假设倒是合理；但大多数现实世界中的真实观察序列是由多个相互作用的特征和观察序列中较长范围内的元素之间的依赖而形成的。

完整代码地址

完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~

最后：如果本文中出现任何错误，请您一定要帮忙指正，感激~

参考

[1] 统计学习方法（第2版） 李航
[2] 从HMM到RNN