【自然语言处理】隐马尔科夫模型【Ⅳ】学习问题

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于字数限制，分成六篇博客。
【自然语言处理】隐马尔可夫模型【Ⅰ】马尔可夫模型
【自然语言处理】隐马尔科夫模型【Ⅱ】隐马尔科夫模型概述
【自然语言处理】隐马尔科夫模型【Ⅲ】估计问题
【自然语言处理】隐马尔科夫模型【Ⅳ】学习问题
【自然语言处理】隐马尔科夫模型【Ⅴ】解码问题
【自然语言处理】隐马尔科夫模型【Ⅵ】精度问题

2.4. 学习算法

隐马尔科夫模型的学习，根据训练数据是包括观测序列和对应的状态序列还是只有观测序列，可以分别由监督学习与无监督学习实现。监督学习方法虽然简单且易实现，但是由于监督学习需要使用标注的训练数据，而人工标注训练数据往往代价很高，所以有时会使用无监督学习的方法。HMM 中的无监督学习是指 Baum-Welch 算法，本质上就是 EM 算法，只不过 Baum 和 Welch 提出该算法时，还没有学者将这一类迭代优化算法归纳为 EM 算法。

2.4.1. 监督学习

假设已给训练数据包含 $D$ 个长度相同的观测序列和对应的状态序列 $\{(O_1,I_1),(O_2,I_2),\dots ,(O_D,I_D)\}$，当数据集足够大时，可以直接将频率视为概率。

转移概率 $a_{ij}$ 的估计。设样本中时刻 $t$ 处于状态 $q_i$ 时刻 $t+1$ 转移到状态 $q_j$ 的频数为 $A_{ij}$，那么状态转移概率 $a_{ij}$ 的估计是
$${\hat{a}}_{ij}=\frac{A_{ij}}{\sum _{j=1}^N{A}_{ij}},1\le i,j\le N$$
观测概率 $b_j(k)$ 的估计。设样本中状态为 $q_j$ 并且观测为 $v_k$ 的频数为 $B_{jk}$，那么状态为 $q_j$ 观测为 $v_k$ 的概率 $b_j(k)$ 的估计是
$${\hat{b}}_j(k)=\frac{B_{jk}}{\sum _{k=1}^M{B}_{jk}},1\le k\le M;1\le j\le N$$
初始状态概率 ${\pi }_i$ 的估计。设样本中状态为 $q_i$ 的频数为 $C_i$，那么状态为 $q_i$ 的初始状态概率 ${\pi }_i$ 的估计是
$${\pi }_i=\frac{C_i}{\sum _{j=1}^N{C}_j}$$

2.4.2. Baum-Welch 算法

假设给定训练数据只包含 $D$ 个长度为 $T$ 的观测序列 $\{O_1,O_2,\dots ,O_D\}$ 而没有对应的状态序列，$O_d=\{o_1^{(d)},o_2^{(d)},\dots ,o_T^{(d)}\}$，$S_d=\{s_1^{(d)},s_2^{(d)},\dots ,s_T^{(d)}\}$；目标是利用这 $D$ 个数据来学习同一个隐马尔可夫模型 $\lambda =(A,B,\pi )$ 的参数。

根据式 $(3)$ 计算独立的多观测序列的联合分布概率 $P(O,S\mid \lambda )$
$$P(O,S\mid \lambda )=\prod _{d=1}^D\left({\pi }_{s_1^{(d)}}\prod _{t=1}^T{b}_{s_t^{(d)}}(o_t^{(d)})\prod _{t=1}^{T-1}{a}_{s_t^{(d)}{s}_{t+1}^{(d)}}\right)\text{\hspace{1em}(19)}$$
EM 算法中的 E 步，求 $Q$ 函数 $Q(\lambda ,\bar{\lambda })$
$$Q(\lambda ,\bar{\lambda })=\sum _{S}P(S\mid O,\bar{\lambda })\log P(O,S\mid \lambda )$$
其中，$\bar{\lambda }$ 是隐马尔可夫模型参数的当前估计值，$\lambda$ 是要极大化的隐马尔可夫模型参数。

EM 算法中的 M 步，极大化 $Q$ 函数 $Q(\lambda ,\bar{\lambda })$ 求模型参数 $A,B,\pi$。极大化 $Q$ 函数
$$\bar{\lambda }=\mathrm{a}\mathrm{r}\mathrm{g}\underset{\lambda }{\max }\sum _{S}P(S\mid O,\bar{\lambda })\log P(O,S\mid \lambda )$$
由于 $P(S\mid O,\bar{\lambda })=P(O,S\mid \bar{\lambda })/P(O\mid \bar{\lambda })$，其中 $P(O\mid \bar{\lambda })$ 为常数，因此极大化 $Q$ 函数可以变形为
$$\bar{\lambda }=\mathrm{a}\mathrm{r}\mathrm{g}\underset{\lambda }{\max }\sum _{S}P(O,S\mid \bar{\lambda })\log P(O,S\mid \lambda )$$
将式 $(19)$ 代入得
$$\begin{array}{rl}\bar{\lambda }& =\mathrm{a}\mathrm{r}\mathrm{g}\underset{\lambda }{\max }\sum _{d=1}^D\sum _{S}P(O,S\mid \bar{\lambda })(\log {\pi }_{s_1^{(d)}}+\sum _{t=1}^{T-1}\log a_{s_t^{(d)},s_{t+1}^{(d)}}+\sum _{t=1}^T\log b_{s_t^{(d)}}(o_t^{(d)}))\\ & =\mathrm{a}\mathrm{r}\mathrm{g}\underset{\lambda }{\max }\sum _{d=1}^D\sum _{S}P(O,S\mid \bar{\lambda })\log {\pi }_{s_1^{(d)}}+\sum _{d=1}^D\sum _S\left(\sum _{t=1}^{T-1}\log a_{s_t^{(d)},s_{t+1}^{(d)}}\right)P(O,S\mid \bar{\lambda })+\sum _{d=1}^D\sum _S\left(\sum _{t=1}^T\log b_{s_t^{(d)}}(o_t^{(d)})\right)P(O,S\mid \bar{\lambda })\end{array}\text{\hspace{1em}(20)}$$
由于要极大化的模型参数 $A,B,\pi$ 在式 $(20)$ 中单独出现在三个项中，所以只需要对各项分别极大化。

式 $(20)$ 的第一项可以写成：
$$\sum _{d=1}^D\sum _{I}P(O,S\mid \bar{\lambda })\log {\pi }_{s_1^{(d)}}=\sum _{d=1}^D\sum _{i=1}^{N}P(O,s_1=q_i\mid \bar{\lambda })\log {\pi }_i$$
注意到 ${\pi }_i$ 满足约束条件 $\sum _{i=1}^N{\pi }_i=1$，利用拉格朗日乘子法，写出拉格朗日函数：
$$\sum _{d=1}^D\sum _{i=1}^{N}P(O,s_1^{(d)}=q_i\mid \bar{\lambda })\log {\pi }_i+\mu \left(\sum _{i=1}^N{\pi }_i-1\right)$$
对其求偏导数并令结果为零
$$\frac{\partial }{\partial {\pi }_i}\left[\sum _{d=1}^D\sum _{i=1}^{N}P(O,s_1^{(d)}=q_i\mid \bar{\lambda })\log {\pi }_i+\mu \left(\sum _{i=1}^N{\pi }_i-1\right)\right]=0$$
得
$$\sum _{d=1}^{D}P(O,s_1^{(d)}=q_i\mid \bar{\lambda })+\mu {\pi }_i=0$$
对 $i$ 求和得到 $\mu$
$$\mu =-\sum _{d=1}^{D}P(O\mid \bar{\lambda })$$
代回偏导数为零的式子中消去 $\mu$ 得到 ${\pi }_i$：
$${\pi }_i=\frac{\sum _{d=1}^{D}P(O,s_1^{(d)}=q_i\mid \bar{\lambda })}{\sum _{d=1}^{D}P(O\mid \bar{\lambda })}=\frac{\sum _{d=1}^{D}P(O,s_1^{(d)}=q_i\mid \bar{\lambda })}{DP(O\mid \bar{\lambda })}=\frac{\sum _{d=1}^{D}P(s_1^{(d)}=q_i\mid O,\bar{\lambda })}{D}=\frac{\sum _{d=1}^{D}P(s_1^{(d)}=q_i\mid O_d,\bar{\lambda })}{D}$$
根据式 $(15)$ 可得 ${\gamma }_1^{(d)}(i)=P(s_1^{(d)}=q_i\mid O_d,\bar{\lambda })$，因此上式可以变形为
$${\pi }_i=\frac{\sum _{d=1}^D{\gamma }_1^{(d)}(i)}{D}=\frac{1}{D}\sum _{d=1}^D\frac{{\alpha }_1^{(d)}(i){\beta }_1^{(d)}(i)}{P_d}\text{\hspace{1em}(21)}$$
本质上，$P_d=P(O_d\mid \lambda )$；但在这里，$P_d=P(O_d\mid \bar{\lambda })$。

式 $(20)$ 中的第二项可以写成：
$$\sum _{d=1}^D\sum _S\left(\sum _{t=1}^{T-1}\log a_{s_t^{(d)},s_{t+1}^{(d)}}\right)P(O,S\mid \bar{\lambda })=\sum _{d=1}^D\sum _S\sum _{t=1}^{T-1}P(O,S\mid \bar{\lambda })\log a_{s_t^{(d)},s_{t+1}^{(d)}}=\sum _{d=1}^D\sum _{i=1}^N\sum _{j=1}^N\sum _{t=1}^{T-1}P(O,s_t^{(d)}=q_i,s_{t+1}^{(d)}=q_j\mid \bar{\lambda })\log a_{ij}$$
由于 $a_{ij}$ 满足约束条件 $\sum _{j=1}^N{a}_{ij}=1$。和求解 ${\pi }_i$ 类似，可以用拉格朗日乘子法对 $a_{ij}$ 求偏导数并令结果为零，最终可得
$$a_{ij}=\frac{\sum _{d=1}^D\sum _{t=1}^{T-1}P(O_d,s_t^{(d)}=q_i,s_{t+1}^{(d)}=q_j\mid \bar{\lambda })}{\sum _{d=1}^D\sum _{t=1}^{T-1}P(O_d,s_t^{(d)}=q_i\mid \bar{\lambda })}$$
利用式 $(15)$ 和式 $(17)$，上式变形为
$$a_{ij}=\frac{\sum _{d=1}^D\sum _{t=1}^{T-1}{\xi }_t^{(d)}(i,j)}{\sum _{d=1}^D\sum _{t=1}^{T-1}{\gamma }_t^{(d)}(i)}=\frac{\sum _{d=1}^D\frac{1}{P_d}\sum _{t=1}^{T-1}{\alpha }_t^{(d)}(i)a_{ij}{b}_j(o_{t+1}^{(d)}){\beta }_{t+1}^{(d)}(j)}{\sum _{d=1}^D\frac{1}{P_d}\sum _{t=1}^{T-1}{\alpha }_t^{(d)}(i){\beta }_t^{(d)}(i)}\text{\hspace{1em}(22)}$$
式 $(20)$ 中的第三项可以写成：
$$\sum _{d=1}^D\sum _S\left(\sum _{t=1}^T\log b_{s_t^{(d)}}(o_t^{(d)})\right)P(O,S\mid \bar{\lambda })=\sum _{d=1}^D\sum _S\sum _{t=1}^{T}P(O,S\mid \bar{\lambda })\log b_{s_t^{(d)}}(o_t^{(d)})=\sum _{d=1}^D\sum _{j=1}^N\sum _{t=1}^{T}P(O,s_t^{(d)}=q_j\mid \bar{\lambda })\log b_j(o_t^{(d)})$$
由于 $b_j(k)$ 满足约束条件 $\sum _{k=1}^M{b}_j(k)=1$。和求解 ${\pi }_i$ 类似，可以用拉格朗日乘子法对 $b_j(k)$ 求偏导数并令结果为零。注意，只有在 $o_t^{(d)}=v_k$ 时 $b_j(o_t^{(d)})$ 对 $b_j(k)$ 的偏导数才不为零，以 $I(o_t^{(d)}=v_k)$ 表示。可得
$$b_j(k)=\frac{\sum _{d=1}^D\sum _{t=1}^{T}P(O_d,s_t=q_j\mid \bar{\lambda })I(o_t^{(d)}=v_k)}{\sum _{d=1}^D\sum _{t=1}^{T}P(O_d,s_t=q_j\mid \bar{\lambda })}$$
代入式 $(15)$ 可得
$$b_j(k)=\frac{\sum _{d=1}^D\sum _{t=1,o_t^{(d)}=v_k}^T{\gamma }_t^{(d)}(j)}{\sum _{d=1}^D\sum _{t=1}^T{\gamma }_t^{(d)}(j)}=\frac{\sum _{d=1}^D\frac{1}{P_d}\sum _{t=1,o_t^{(d)}=v_k}^T{\alpha }_t^{(d)}(i){\beta }_t^{(d)}(i)}{\sum _{d=1}^D\frac{1}{P_d}\sum _{t=1}^T{\alpha }_t^{(d)}(i){\beta }_t^{(d)}(i)}\text{\hspace{1em}(23)}$$
Baum-Welch 算法过程大致描述为，对模型 $\lambda =(A,B,\pi )$ 进行初始化，利用公式 $(21)\sim (23)$ 计算出新的模型参数，不断迭代直至满足终止条件。