隐马尔可夫模型：参数估计问题

隐马尔可夫模型：参数估计问题（BaumWelch算法）

HMM的参数估计问题：给定一个观察序列$O=O_1{O}_2\cdots O_T$，计算使$P(O|\mu )$最大时，模型$\mu =(\mathbf{A},\mathbf{B},\pi )$的参数

$$\hat{\mu }=\underset{\mu }{\mathrm{argmax}}P(O_{\text{training}}|\mu )$$

对于完全情况（complete case），产生观察序列$O$的状态序列$Q=q_1{q}_2\cdots q_T$已知（完全数据），可通过最大似然估计HMM参数：

$${\bar{\pi }}_i=\delta (q_1,s_i)$$

$$\begin{array}{rl}{\bar{a}}_{ij}& =\frac{Q\text{中从状态}{s}_i\text{转移到}{s}_j\text{的次数}}{Q\text{中所有从状态}{s}_i\text{转移到另一状态（包括}{s}_j\text{自身）的次数}}\\ & =\frac{{\sum }_{t=1}^{T-1}\delta (q_t,s_i)\delta (q_{t+1},s_j)}{{\sum }_{t=1}^{T-1}\delta (q_t,s_i)}\end{array}$$

$$\begin{array}{rl}{\bar{b}}_j(k)& =\frac{Q\text{中从状态}{s}_j\text{输出符号}{v}_k\text{的次数}}{Q\text{到达}{s}_j\text{的次数}}\\ & =\frac{{\sum }_{t=1}^T\delta (q_t,s_j)\delta (O_t,v_k)}{{\sum }_{t=1}^T\delta (q_t,s_j)}\end{array}$$

其中，$v_k$为HMM输出符号集中的第$k$个符号。$\delta (x,y)$为克罗奈克（Kronecker）函数，

$$\delta (x,y)=\{\begin{array}{ll}1,& x=y\\ 0,& \text{otherwise}\end{array}$$

非完全情况（incomplete case），HMM中的状态序列$Q$是无法观察的（隐变量，非完全数据）。

期望最大化（expectation maximization, EM）算法：对含有隐变量的统计模型的参数最大似然估计，其基本思想为：初始时随机地给模型的参数赋值，该赋值遵循模型对参数的限制（例如，从某–状态出发的所有转移概率的和为1），给定模型参数初值后，得到模型${\mu }_0$；然后根据${\mu }_0$可以得到模型中隐变量的期望值（例如，从${\mu }_0$得到从某一状态转移到另一状态的期望次数），用期望值替代方程（6-23）中的实际次数，可以得到模型参数新的估计值，并得到新模型${\mu }_1$。根据${\mu }_1$，计算模型中隐变量的期望值，然后重新估计模型参数，迭代直至参数收敛于最大似然估计值。这种迭代爬山算法可以使$P(O;\mu )$局部最大化。

BaumWelch算法（前向后向算法，forward backward algorithm）：EM算法的一种具体实现。给定HMM的参数$\mu$和观察序列$O=O_1{O}_2\cdots O_T$，在$t$时该位于状态$s_i$、$t+1$时刻位于状态$s_j$的概率${\xi }_t(i,j)=P(q_t=s_i,q_{t+1}=s_j|O;\mu )$（$1\le t\le T$、$1\le i,j\le N$）为：

$$\begin{array}{rl}{\xi }_t(i,j)& =\frac{P(q_t=s_i,q_{t+1}=s_j,O;\mu )}{P(O;\mu )}\\ & =\frac{{\alpha }_t(i)a_{ij}{b}_j(O_{t+1}){\beta }_{t+1}(j)}{{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t(i)a_{ij}{b}_j(O_{t+1}){\beta }_{t+1}(j)}\end{array}\text{\hspace{1em}(6-24)}$$

给定HMM$\mu$和观察序列$O=O_1{O}_2\cdots O_T$，在$t$时刻位于状态$s_i$的概率${\gamma }_t(i)$为

$${\gamma }_t(i)=\sum _{j=1}^N{\xi }_t(i,j)\text{\hspace{1em}(6-25)}$$

因此，$\mu$的参数可重新估计为：

$${\bar{\pi }}_i=P(q_1=s_i|O;\mu )={\gamma }_1(i)\text{\hspace{1em}(6-26)}$$

$$\begin{array}{rl}{\bar{a}}_{ij}& =\frac{Q\text{中从状态}{s}_i\text{转移到}{s}_j\text{的期望次数}}{Q\text{中所有从状态}{s}_i\text{转移到另一状态（包括}{s}_j\text{自身）的期望次数}}\\ & =\frac{{\sum }_{t=1}^{T-1}{\xi }_t(i,j)}{{\sum }_{t=1}^{T-1}{\gamma }_t(i)}\end{array}\text{\hspace{1em}(6-27)}$$

$$\begin{array}{rl}{\bar{b}}_j(k)& =\frac{Q\text{中从状态}{s}_j\text{输出符号}{v}_k\text{的期望次数}}{Q\text{到达}{s}_j\text{的期望次数}}\\ & =\frac{{\sum }_{t=1}^T{\gamma }_t(j)\delta (O_t,v_k)}{{\sum }_{t=1}^T{\gamma }_t(j)}\end{array}\text{\hspace{1em}(6-28)}$$

算法6-4（前向后向算法，forward-backward algorithm）

1. 初始化，随机给参数${\pi }_i$、$a_{ij}$、$b_j(k)$赋值，使其满足如下约束：

$$\sum _{i=1}^N{\pi }_i=1$$

$$\sum _{j=1}^N{a}_{i,j}=1,1\le i\le N$$

$$\sum _{k=1}^M{b}_j(k)=1,1\le j\le N$$

得到模型${\mu }_0$。令$i=0$，执行EM估计。

2. EM计算

E步骤：由模型${\mu }_i$，根据方程（6-24）、（6-25）计算期望值${\xi }_t(i,j)$和${\gamma }_t(i)$；

M步骤：用E步骤得到的期望值，根据方程（6-26）、（6-27）和（6-28）重新估计参数${\pi }_i$、$a_{ij}$、$b_j(k)$的值，得到模型${\mu }_{i+1}$。

3. 迭代计算

令$i=i+1$，重复执行EM计算，直到${\pi }_i$、$a_{ij}$、$b_j(k)$收敛。

实际应用中，多个概率连乘会引起的浮点数下溢问题。在Viterbi算法中，由于只涉及乘法运算和求最大值问题，因此可以对概率相乘取对数运算，将乘法运算转变成加法运算，这样一方面避免能浮点数下溢问题，另一方面能提高运算速度。在前向后向算法中，也经常采用对数运算方法判断参数${\pi }_i$、$a_{ij}$、$b_j(k)$是否收敛：

$$|\log P(O;{\mu }_{i+1})-\log P(O;{\mu }_i)|<ϵ$$

其中，$ϵ$为一个足够小的正实数。在前向后向算法中，EM计算包含加法，因此无法采用对数运算。此时，可以设置一个辅助的比例系数，将概率值乘以该比例系数以放大概率值，避免浮点数下溢。在每次迭代结束重新估计参数值时，再将比例系数取消。