【自然语言处理】隐马尔科夫模型【Ⅲ】估计问题

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于字数限制，分成六篇博客。
【自然语言处理】隐马尔可夫模型【Ⅰ】马尔可夫模型
【自然语言处理】隐马尔科夫模型【Ⅱ】隐马尔科夫模型概述
【自然语言处理】隐马尔科夫模型【Ⅲ】估计问题
【自然语言处理】隐马尔科夫模型【Ⅳ】学习问题
【自然语言处理】隐马尔科夫模型【Ⅴ】解码问题
【自然语言处理】隐马尔科夫模型【Ⅵ】精度问题

2.3. 估计算法

2.3.1. 直接计算法

给定模型 $\lambda =(A,B,\pi )$ 和观测序列 $O=(o_1,o_2,\dots ,o_T)$，计算观测序列 $O$ 出现的概率 $P(O\mid \lambda )$。最直接的方法是按概率公式直接计算。通过列举所有可能的长度为 $T$ 的状态序列 $S=(s_1,s_2,\dots ,s_T)$，求各个状态序列 $S$ 与观测序列 $O=(o_1,o_2,\dots ,o_T)$ 的联合概率 $P(O,S\mid \lambda )$，然后对所有可能的状态序列求和，得到 $P(O\mid \lambda )$。

状态序列 $S=(s_1,s_2,\dots ,s_T)$ 的概率是：
$$P(S\mid \lambda )={\pi }_{s_1}{a}_{s_1{s}_2}{a}_{s_2{s}_3}\dots a_{s_{T-1}{s}_T}\text{\hspace{1em}(1)}$$
式 $(1)$ 可以简洁表示为
$$P(S\mid \lambda )={\pi }_{s_1}\prod _{t=1}^{T-1}{a}_{s_t{s}_{t+1}}$$

证明式 $(1)$。

利用齐次马尔可夫性假设可得，
$$\begin{array}{rl}P(S\mid \lambda )& =P(s_1,s_2,\dots ,s_T\mid \lambda )\\ & =P(s_T\mid s_1,s_2\dots ,s_{T-1},\lambda )P(s_1,s_2,\dots ,s_{T-1}\mid \lambda )\\ & =P(s_T\mid s_{T-1},\lambda )P(s_1,s_2,\dots ,s_{T-1}\mid \lambda )\\ & =a_{s_{T-1}{s}_T}P(s_1,s_2,\dots ,s_{T-1}\mid \lambda )\end{array}$$
不妨记 $f_t=P(s_1,s_2,\dots ,s_t\mid \lambda )$，那么由上式可得递推公式
$$f_t=f_{t-1}\cdot a_{s_{t-1}{s}_t}$$
又已知 $f_1=P(s_1\mid \lambda )={\pi }_{s_1}$，所以
$$\begin{array}{rl}{f}_T& =f_{T-1}\cdot a_{s_{T-1}{s}_T}\\ & =f_{T-2}\cdot a_{s_{T-2}{s}_{T-1}}{a}_{s_{T-1}{s}_T}\\ & =\dots \\ & =f_1\cdot a_{s_1{s}_2}{a}_{s_2{s}_3}\dots a_{s_{T-1}{s}_T}\\ & ={\pi }_{s_1}{a}_{s_1{s}_2}{a}_{s_2{s}_3}\dots a_{s_{T-1}{s}_T}\end{array}$$
即式 $(1)$。

对固定的状态序列 $S=(s_1,s_2,\dots .,s_T)$，观测序列 $O=(o_1,o_2,\dots ,o_T)$ 的概率是：
$$P(O\mid S,\lambda )=b_{s_1}(o_1)b_{s_2}(o_2)\dots b_{s_T}(o_T)\text{\hspace{1em}(2)}$$
式 $(2)$ 可以简洁表示为
$$P(O\mid S,\lambda )=\prod _{t=1}^T{b}_{s_t}(o_t)$$

证明式 $(2)$。

利用观测独立性假设可得，
$$\begin{array}{rl}P(O\mid S,\lambda )& =P(o_1,o_2,\dots ,o_T\mid S,\lambda )\\ & =P(o_T\mid o_1,o_2,\dots ,o_{T-1},S,\lambda )P(o_1,o_2,\dots ,o_{T-1}\mid S,\lambda )\\ & =P(o_T\mid s_T,\lambda )P(o_1,o_2,\dots ,o_{T-1}\mid S,\lambda )\\ & =b_{s_T}(o_T)P(o_1,o_2,\dots ,o_{T-1}\mid S,\lambda )\end{array}$$
不妨记 $g_t=P(o_1,o_2,\dots ,o_t\mid S,\lambda )$，那么由上式可得递推公式
$$g_t=b_{s_t}(o_t)\cdot g_{t-1}$$
又已知 $g_1=P(o_1\mid S,\lambda )=P(o_1\mid s_1,\lambda )=b_{s_1}(o_1)$，所以
$$\begin{array}{rl}{g}_T& =b_{s_T}(o_T)\cdot g_{T-1}\\ & =b_{s_T}(o_T)b_{s_{T-1}}(o_{T-1})\cdot g_{T-2}\\ & =\dots \\ & =b_{s_T}(o_T)b_{s_{T-1}}(o_{T-1})\dots b_{s_2}(o_2)\cdot g_1\\ & =b_{s_T}(o_T)b_{s_{T-1}}(o_{T-1})\dots b_{s_2}(o_2)b_{s_1}(o_1)\end{array}$$
即式 $(2)$。

$O$ 和 $S$ 同时出现的联合概率为
$$\begin{array}{rl}P(O,S\mid \lambda )& =P(O\mid S,\lambda )P(S\mid \lambda )\\ & ={\pi }_{s_1}\prod _{t=1}^T{b}_{s_t}(o_t)\prod _{t=1}^{T-1}{a}_{s_t{s}_{t+1}}\end{array}\text{\hspace{1em}(3)}$$
对所有可能的状态序列 $S$ 求和，得到观测序列 $O$ 的概率 $P(O\mid \lambda )$，即
$$\begin{array}{rl}P(O\mid \lambda )& =\sum _{S}P(O,S\mid \lambda )\\ & =\sum _{S}P(O\mid S,\lambda )P(S\mid \lambda )\\ & =\sum _{s_1}\sum _{s_2}\cdots \sum _{s_T}\left({\pi }_{s_1}\prod _{t=1}^T{b}_{s_t}(o_t)\prod _{t=1}^{T-1}{a}_{s_t{s}_{t+1}}\right)\end{array}\text{\hspace{1em}(4)}$$

$P(O\mid \lambda )$ 可以认为是边缘概率，所以有 $P(O\mid \lambda )=\sum _{S}P(O,S\mid \lambda )$。其中，$\sum _S=\sum _{s_1}\sum _{s_2}\cdots \sum _{s_T}$ 表示对于每个状态 $s_i$ 都枚举其 $N$ 种取值情况。

观察式 $(4)$，连加对应的时间复杂度为 $O(N^T)$，连乘对应的时间复杂度为 $O(T)$，所以直接计算法的时间复杂度为 $O(T{N}^T)$，这种算法显然只在概念上可行，但是在计算上不可行。

不能直接观察出时间复杂度的读者，可以采用写 for 循环的方式计算。一个连加号对应一个 $N$ 次枚举的 for 循环，总共 $T$ 个这样的循环嵌套，另外，还需要在最内层继续嵌套一个 $T$（或 $T-1$ 次，与具体实现有关）次枚举的 for 循环，该循环的每次枚举都累乘 $b_{s_t}(o_t)a_{s_t{s}_{t+1}}$。可见，总共 $T+1$ 层嵌套循环，最外 $T$ 层循环枚举 $N$ 次，最内层循环枚举 $T$ 次，因此有时间复杂度 $O(T{N}^T)$。

2.3.2. 前向算法

前向算法（forward algorithm）是一种基于动态规划（dynamic programming）思想计算 $P(O\mid \lambda )$ 的算法。

定义前向概率。给定隐马尔可夫模型 $\lambda$，定义到时刻 $t$ 部分观测序列为 $o_1,o_2,\dots ,o_t$ 且时刻 $t$ 对应状态为 $q_i$ 的概率，记作
$${\alpha }_t(i)=P(o_1,o_2,\dots ,o_t,s_t=q_i\mid \lambda )\text{\hspace{1em}(5)}$$
由此可知时刻 $T$ 的前向概率为
$${\alpha }_T(i)=P(O,s_T=q_i\mid \lambda )$$
因此
$$P(O\mid \lambda )=\sum _{i=1}^{N}P(O,s_T=q_i\mid \lambda )=\sum _{i=1}^N{\alpha }_T(i)\text{\hspace{1em}(6)}$$
特别地，时刻 $1$ 的前向概率为
$$\begin{array}{rl}{\alpha }_1(i)& =P(o_1,s_1=q_i\mid \lambda )\\ & =P(o_1\mid s_1=q_i,\lambda )P(s_1=q_i\mid \lambda )\\ & =b_i(o_1){\pi }_i\end{array}\text{\hspace{1em}(7)}$$
动态规划问题的三个要素，状态保存、状态转移和边界条件。式 $(5)$ 指明了状态保存的方式，式 $(6)$ 和 $(7)$ 为边界条件，其中式 $(6)$ 为目标，式 $(7)$ 为初值。还缺少状态转移部分，即递推公式。

利用齐次马尔可夫性假设和观测独立性假设可得，
$$\begin{array}{rl}{\alpha }_{t+1}(i)& =P(o_1,o_2,\dots ,o_{t+1},s_{t+1}=q_i\mid \lambda )\\ & =\sum _{j=1}^{N}P(o_1,o_2,\dots ,o_{t+1},s_t=q_j,s_{t+1}=q_i\mid \lambda )\\ & =\sum _{j=1}^{N}P(o_{t+1}\mid o_1,o_2,\dots ,o_t,s_t=q_j,s_{t+1}=q_i,\lambda )P(o_1,o_2,\dots ,o_t,s_t=q_j,s_{t+1}=q_i\mid \lambda )\\ & =\sum _{j=1}^{N}P(o_{t+1}\mid s_{t+1}=q_i,\lambda )P(o_1,o_2,\dots ,o_t,s_t=q_j,s_{t+1}=q_i\mid \lambda )\\ & =\left[\sum _{j=1}^{N}P(s_{t+1}=q_i\mid o_1,o_2,\dots ,o_t,s_t=q_j,\lambda )P(o_1,o_2,\dots ,o_t,s_t=q_j\mid \lambda )\right]P(o_{t+1}\mid s_{t+1}=q_i,\lambda )\\ & =\left[\sum _{j=1}^{N}P(s_{t+1}=q_i\mid s_t=q_j,\lambda )P(o_1,o_2,\dots ,o_t,s_t=q_j\mid \lambda )\right]P(o_{t+1}\mid s_{t+1}=q_i,\lambda )\\ & =\left[\sum _{j=1}^N{a}_{ji}{\alpha }_t(j)\right]b_i(o_{t+1})\end{array}\text{\hspace{1em}(8)}$$
完整算法如下。

$$\begin{array}{llccc}\text{输入:}& 隐马尔科夫模型\lambda ,观测序列O& & & \\ \text{过程:}& & & & \end{array}$$

$$\begin{array}{rl}1:& \text{for}i=1,2,\dots ,N\text{do}\\ 2:& {\alpha }_1(i)={\pi }_i{b}_i(o_1);\\ 3:& \text{end}\text{for}\\ 4:& \text{for}t=1,2,\dots ,T-1\text{do}\\ 5:& \text{for}i=1,2,\dots ,N\text{do}\\ 6:& {\alpha }_{t+1}(i)=\left[\sum _{j=1}^N{a}_{ji}{\alpha }_t(j)\right]b_i(o_{t+1});\\ 7:& \text{end}\text{for}\\ 8:& \text{end}\text{for}\\ 9:& P=0;\\ 10:& \text{for}i=1,2,\dots ,N\text{do}\\ 11:& P=P+{\alpha }_T(i);\\ 12:& \text{end}\text{for}\end{array}$$

$$\begin{array}{lcccccccccc}\text{输出:}观测序列概率P& & & & & & & & & & \end{array}$$

算法 1    观测序列概率的前向算法

如图 $2$ 所示，前向算法实际是基于“状态序列的路径结构”递推计算 $P(O\mid \lambda )$ 的算法。前向算法高效的关键是其局部计算前向概率，然后利用路径结构将前向概率“递推”到全局，得到 $P(O\mid \lambda )$。具体地，在时刻 $t=1$，计算 ${\alpha }_1(i)$ 的 $N$ 个值 $(i=1,2,\dots ,N)$；在各个时刻 $t=1,2,\dots ,T-1$，计算 ${\alpha }_{t+1}(i)$ 的 $N$ 个值 $(i=1,2,\dots ,N)$，而且每个 ${\alpha }_{t+1}(i)$ 的计算利用前一时刻 $N$ 个 ${\alpha }_t(j)$。减少计算量的原因在于每一次计算直接引用前一个时刻的计算结果，避免重复计算。这样，利用前向概率计算 $P(O\mid \lambda )$ 的时间复杂度为 $O(T{N}^2)$，显然比直接计算的时间复杂度 $O(T{N}^T)$ 要小。

图 2    前向算法动态计算过程(详)

我们也可以通过类似图 $1$ 所展示的模型结构，来抽象地理解前向概率的定义以及前向算法的动态计算过程，如图 $3$ 所示。

图 3    前向算法动态计算过程(简)

通过例子来理解前向算法的计算过程。考虑盒子与球模型 $\lambda =(A,B,\pi )$，状态集合 $Q=\{1,2,3\}$，观测集合 $V=\{$红$,$ 白$\}$，
$$A=\left[\begin{array}{ccc}0.5& 0.2& 0.3\\ 0.3& 0.5& 0.2\\ 0.2& 0.3& 0.5\end{array}\right],B=\left[\begin{array}{cc}0.5& 0.5\\ 0.4& 0.6\\ 0.7& 0.3\end{array}\right],\pi =\left[\begin{array}{c}0.2\\ 0.4\\ 0.4\end{array}\right]$$
设 $T=3$，$O=($红$,$ 白$,$ 红$)$，用前向算法计算 $P(O\mid \lambda )$ 如下。

计算初值
$$\begin{gathered} {\alpha }_1(1)={\pi }_1{b}_1(o_1)=0.2\times 0.5=0.10 \\ {\alpha }_1(2)={\pi }_2{b}_2(o_1)=0.4\times 0.4=0.16 \\ {\alpha }_1(3)={\pi }_3{b}_3(o_1)=0.4\times 0.7=0.28 \end{gathered}$$
递推计算
$$\begin{gathered} {\alpha }_2(1)=\left[\sum _{i=1}^3{\alpha }_1(i)a_{i1}\right]b_1(o_2)=0.154\times 0.5=0.0770 \\ {\alpha }_2(2)=\left[\sum _{i=1}^3{\alpha }_1(i)a_{i2}\right]b_2(o_2)=0.184\times 0.6=0.1104 \\ {\alpha }_2(3)=\left[\sum _{i=1}^3{\alpha }_1(i)a_{i3}\right]b_3(o_2)=0.202\times 0.3=0.0606 \end{gathered}$$

$$\begin{gathered} {\alpha }_3(1)=\left[\sum _{i=1}^3{\alpha }_2(i)a_{i1}\right]b_1(o_3)=0.04187 \\ {\alpha }_3(2)=\left[\sum _{i=1}^3{\alpha }_2(i)a_{i2}\right]b_2(o_3)=0.03551 \\ {\alpha }_3(3)=\left[\sum _{i=1}^3{\alpha }_2(i)a_{i3}\right]b_3(o_3)=0.05284 \end{gathered}$$

最终计算出 $P(O\mid \lambda )$
$$P(O\mid \lambda )=\sum _{i=1}^3{\alpha }_3(i)=0.13022$$

2.3.3. 后向算法

后向算法也是基于动态规划的思想降低时间复杂度，与前向算法不同之处在于后向算法是从时刻 $T$ 向时刻 $1$ 递推计算的。

定义后向概率。 给定隐马尔可夫模型 $\lambda$，定义在时刻 $t$ 状态为 $q_i$ 的条件下，从 $t+1$ 到 $T$ 的部分观测序列为 $o_{t+1},o_{t+2},\dots ,o_T$ 的概率为后向概率，记作
$${\beta }_t(i)=P(o_{t+1},o_{t+2},\dots ,o_T\mid s_t=q_i,\lambda )\text{\hspace{1em}(9)}$$
后向算法的初始化为
$${\beta }_T(i)=1,1\le i\le N$$
利用观测独立性假设可得 $P(O\mid \lambda )$
$$\begin{array}{rl}P(O\mid \lambda )& =\sum _{i=1}^{N}P(O,s_1=q_i\mid \lambda )\\ & =\sum _{i=1}^{N}P(O\mid s_1=q_i,\lambda )P(s_1=q_i\mid \lambda )\\ & =\sum _{i=1}^{N}P(o_1\mid o_2,o_3,\dots ,o_T,s_1=q_i,\lambda )P(o_2,o_3,\dots ,o_T\mid s_1=q_i)P(s_1=q_i\mid \lambda )\\ & =\sum _{i=1}^{N}P(o_1\mid s_1=q_i,\lambda )P(o_2,o_3,\dots ,o_T\mid s_1=q_i)P(s_1=q_i\mid \lambda )\\ & =\sum _{i=1}^N{b}_i(o_1){\beta }_1(i){\pi }_i\end{array}\text{\hspace{1em}(10)}$$

推导递推公式，
$$\begin{array}{rl}{\beta }_t(i)& =P(o_{t+},o_{t+2},\dots ,o_T\mid s_t=q_i,\lambda )\\ & =\sum _{j=1}^{N}P(o_{t+1},o_{t+2},\dots ,o_T,s_{t+1}=q_j\mid s_t=q_i,\lambda )\\ & =\sum _{j=1}^{N}P(o_{t+1},o_{t+2},\dots ,o_T\mid s_{t+1}=q_j,s_t=q_i,\lambda )P(s_{t+1}=q_j\mid s_t=q_i,\lambda )\end{array}$$
其中，根据 D-separation 可以将 $\{s_t\}$ 视为集合 $A$，$\{s_{t+1}\}$ 视为集合 $B$，$\{o_{t+1},o_{t+2},\dots ,o_T\}$ 视为集合 $C$。显然三者构成依赖关系中的顺序结构，存在性质 $P(C\mid B)=P(C\mid A,B)$，即 $A\perp C\mid B$。因此，根据条件独立性和观测独立性假设可以对上式进一步变形
$$\begin{array}{rl}{\beta }_t(i)& =\sum _{j=1}^{N}P(o_{t+1},o_{t+2},\dots ,o_T\mid s_{t+1}=q_j,\lambda )\cdot a_{ij}\\ & =\sum _{j=1}^{N}P(o_{t+1}\mid o_{t+2},o_{t+3},\dots ,o_T,s_{t+1}=q_j,\lambda )P(o_{t+2},o_{t+3},\dots ,o_T\mid s_{t+1}=q_j,\lambda )\cdot a_{ij}\\ & =\sum _{j=1}^{N}P(o_{t+1}\mid s_{t+1}=q_j,\lambda )P(o_{t+2},o_{t+3},\dots ,o_T\mid s_{t+1}=q_j,\lambda )\cdot a_{ij}\\ & =\sum _{j=1}^N{b}_j(o_{t+1}){\beta }_{t+1}(j)a_{ij}\end{array}\text{\hspace{1em}(11)}$$
后向概率计算的动态过程如图 $4$ 和 $5$ 所示。

图 4    后向算法动态计算过程(详)

图 5    后向算法动态计算过程(简)

2.3.4. 前向、后向概率的相关计算

利用前向概率和后向概率可以得到一些下面会用到的概率。

1. $P(O\mid \lambda )$ 的多种表达形式。

   式 $(6)$ 和式 $(10)$ 展示了 $P(O\mid \lambda )$ 为分别由前向概率和后向概率表示的形式，但是更为常用的其实是二者共同表示的形式。由前向概率和后向概率的定义可得
   KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ P(O\mid \lambd…
   特别地，当 $t=T$ 时式 $(12)$ 变形为式 $(6)$；当 $t=T$ 时式 $(12)$ 变形为式 $(10)$。另外，如果将式 $(11)$ 代入到式 $(12)$ 中得
   $$P(O\mid \lambda )=\sum _{i=1}^N\sum _{j=1}^N{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)\text{\hspace{1em}(13)}$$
   由于 $P(O\mid \lambda )=\sum _{i=1}^N\sum _{j=1}^{N}P(O,s_t=q_i,s_{t+1}=q_j\mid \lambda )$，与式 $(13)$ 相对应可得
   $$P(O,s_t=q_i,s_{t+1}=q_j\mid \lambda )={\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)\text{\hspace{1em}(14)}$$

2. 给定模型 $\lambda$ 和观测 $O$，在时刻 $t$ 处于状态 $q_i$ 的概率。

   该概率记为
   $${\gamma }_t(i)=P(s_t=q_i\mid O,\lambda )\text{\hspace{1em}(15)}$$
   根据式 $(12)$ 我们知道 $P(O,s_t=q_i\mid \lambda )={\alpha }_t(i){\beta }_t(i)$ 和 $P(O\mid \lambda )=\sum _{i=1}^N{\alpha }_t(i){\beta }_t(i)$，可得
   $$\begin{array}{rl}{\gamma }_t(i)& =P(s_t=q_i\mid O,\lambda )\\ & =\frac{P(O,s_t=q_i\mid \lambda )}{P(O\mid \lambda )}\\ & =\frac{{\alpha }_t(i){\beta }_t(i)}{\sum _{i=1}^N{\alpha }_t(i){\beta }_t(i)}\end{array}\text{\hspace{1em}(16)}$$

3. 给定模型 $\lambda$ 和观测 $O$，在时刻 $t$ 处于状态 $q_i$ 且在时刻 $t+1$ 处于状态 $q_j$ 的概率。

   该概率记为
   $${\xi }_t(i,j)=P(s_t=q_i,s_{t+1}=q_j\mid O,\lambda )\text{\hspace{1em}(17)}$$
   利用式 $(13)$ 和式 $(14)$ 对式 $(17)$ 变形得
   $$\begin{array}{rl}{\xi }_t(i,j)& =\frac{P(O,s_t=q_i,s_{t+1}=q_j\mid \lambda )}{P(O\mid \lambda )}\\ & =\frac{P(O,s_t=q_i,s_{t+1}=q_j\mid \lambda )}{\sum _{i=1}^N\sum _{j=1}^{N}P(O,s_t=q_i,s_{t+1}=q_j\mid \lambda )}\\ & =\frac{{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}{\sum _{i=1}^N\sum _{j=1}^N{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}\end{array}\text{\hspace{1em}(18)}$$
   观察式 $(15)$ 和式 $(17)$，很容易得出 ${\gamma }_t(i)$ 与 ${\xi }_t(i,j)$ 的关系
   $${\gamma }_t(i)=\sum _{j=1}^N{\xi }_t(i,j)$$