HMM学习笔记（三）：动态规划与维特比算法

学习隐马尔可夫模型（HMM），主要就是学习三个问题：概率计算问题，学习问题和预测问题。在前面讲了概率计算问题：前后向算法推导，Baum-Welch算法。最后在这里讲最后的一个问题，预测问题。

预测问题：给定HMM参数$\lambda =\{\pi ,A,B\}$，观测序列$O=\{o_1,o_2,...,o_T\}$，求条件概率$P(I|O,\lambda )$，即给定观测序列求最优可能的状态序列。

记：$Q=\{q_1,q_2,...,q_N\}$表示所有可能的状态集合（后面可能也会直接用数字来表示），$V=\{v_1,v_2,...,v_M\}$表示所有可能的观测集合。

$I=\{i_1,i_2,...,i_T\}$ 表示状态序列，$O=\{o_1,o_2,...,o_N\}$ 为对应的观测序列。

下面给出HMM预测问题的两种算法：近似算法和维特比算法

近似算法

近似算法的思想是，在每个时刻 $t$ 选择最有可能的状态 $i_t^{\ast }$，$t$从1开始直到$T$，所以可以求出状态序列 $I^{\ast }=(i_1^{\ast },i_2^{\ast },...,i_T^{\ast })$，将$I^{\ast }$作为预测结果。

记 ${\gamma }_t(i)=P(i_t=q_i|O,\lambda )$，即已知模型$\lambda$，给定观测序列条件下，在 $t$ 时刻状态为 $q_i$ 的概率，根据前后向算法得出的结论1、2中有:

${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{\sum _{i=1}^N{\alpha }_t(i){\beta }_t(i)}$

那么在每一时刻 $t$ 最有可能的状态 $i_t^{\ast }$为:

$i_t^{\ast }=\arg \underset{i}{\max }{\gamma }_t(i)$

从而得到最有可能的状态序列 $I^{\ast }=(i_1^{\ast },i_2^{\ast },...,i_T^{\ast })$。
该算法简单，但是不能保证整体是最有可能的预测状态序列。

维特比算法

维特比算法实际上是用动态规划（dp）来求解HMM预测问题。

关于动态规划，也就是将大问题分解分众多小问题，通过小问题的解来得到大问题的解。对各个小问题进行求解后，会将结果填入表中，下次要用的时候就不用再去计算而是直接拿来用了，这样能有效避免重复计算问题（以空间换时间），基本上都会涉及到递推。具体的可以去leetcode上刷两题感受一下，下面写个常见机器人走格子的动态规划问题。

首先定义一个二维的表 int[][] dp，其中dp[i][j]表示从初始位置走到$(i,j)$ 位置有多少种走法。现在我们需要得到的是 dp[m-1][n-1]，即从初始位置走到终点有多少种走法。初始有dp[0][0]=1，那么递推公式是怎样的呢？考虑dp[i][j]，由于到$(i,j)$位置只能从该位置的左边或者上边走过来，左边走过来的方法数为dp[i][j-1]，上边走过来的方法数为dp[i-1][j]，两者之和就是走到该位置的方法数。根据dp[i][j-1],dp[i-1][j]，需要初始化表的第一行和第一列。

class Solution {
    //dp[i][j]表示从左上角走到i,j位置的路径数 dp[i][j] = dp[i-1][j]+dp[i][j-1]
    //因为(i,j)位置只能由它上面走过来和左边走过来
    public int uniquePaths(int m, int n) {
		int[][] dp = new int[m][n];
		for(int i = 0; i < m; i ++){
			dp[i][0] = 1;
		}
		for(int j = 1; j < n; j ++){
			dp[0][j] = 1;
		}
		for(int i = 1; i < m; i ++){
			for(int j = 1; j < n; j ++){
				dp[i][j] = dp[i-1][j] + dp[i][j-1];
			}
		}
		return dp[m-1][n-1];
    }
}

再来看维特比算法

定义变量 ${\delta }_t(i)$：表示在 $t$ 时刻，状态为 $i$ 的所有路径中，概率的最大值。

${\delta }_t(i)=\underset{i_1,i_2,...,i_{t-1}}{\max }P(i_t=i,i_{t-1},i_{t-2},...,i_1,o_t,o_{t-1},...,o_1|\lambda )$

递推过程：

${\delta }_1(i)=P(i_1=i,o_1|\lambda )=P(o_1|i_1=i,\lambda )P(i_1=i|\lambda )={\pi }_i{b}_i(o_1)$

$$\begin{gathered} {\delta }_{t+1}(i)=\underset{i_1,i_2,...,i_t}{\max }P(i_{t+1}=i,i_t,...,i_1,o_{t+1},...,o_1|\lambda ) \\ =\underset{1\le j\le N}{\max }({\delta }_t(j)a_{ji})b_i(o_{t+1}) \end{gathered}$$

终止：

$P^{\ast }=\underset{1\le i\le N}{\max }{\delta }_T(i)$

对于递推过程的递推公式

$$\begin{gathered} ({\delta }_t(j)a_{ji})b_i(o_{t+1})=P(i_t=j,i_{t-1},i_{t-2},...,i_1,o_t,o_{t-1},...,o_1|\lambda )P(i_{t+1}=i|i_t=j,\lambda )P(o_{t+1}|i_{t+1}=i,\lambda ) \\ =P(i_{t-1},i_{t-2},...,i_1,o_t,o_{t-1},...,o_1|i_t=j,\lambda )P(i_t=j|\lambda )P(i_{t+1}=i|i_t=j,\lambda )P(o_{t+1}|i_{t+1}=i,\lambda ) \end{gathered}$$

通过贝叶斯网络知道，在$i_t=j$的条件下 $i_{t-1},i_{t-2},...,i_1,o_t,o_{t-1},...,o_1$ 与 $i_{t+1}=i$ 是条件独立的，所以有：
$$\begin{gathered} P(i_{t-1},i_{t-2},...,i_1,o_t,o_{t-1},...,o_1|i_t=j,\lambda )P(i_t=j|\lambda )P(i_{t+1}=i|i_t=j,\lambda ) \\ =P(i_{t+1}=i,i_{t-1},i_{t-2},...,i_1,o_t,o_{t-1},...,o_1|i_t=j,\lambda )P(i_t=j|\lambda ) \\ =P(i_{t+1}=i,i_t=j,i_{t-1},i_{t-2},...,i_1,o_t,o_{t-1},...,o_1|\lambda ) \end{gathered}$$

带入到 $({\delta }_t(j)a_{ji})b_i(o_{t+1})$，得到

$$\begin{gathered} ({\delta }_t(j)a_{ji})b_i(o_{t+1})=P(i_{t+1}=i,i_t=j,i_{t-1},i_{t-2},...,i_1,o_t,o_{t-1},...,o_1|\lambda )P(o_{t+1}|i_{t+1}=i,\lambda ) \\ =P(i_t=j,i_{t-1},i_{t-2},...,i_1,o_t,o_{t-1},...,o_1|\lambda )P(i_{t+1}=i|\lambda )P(o_{t+1}|i_{t+1}=i,\lambda ) \end{gathered}$$

同样的方法得到

$({\delta }_t(j)a_{ji})b_i(o_{t+1})=P(i_{t+1}=i,i_t=j,i_{t-1},i_{t-2},...,i_1,o_{t+1},o_t,o_{t-1},...,o_1|\lambda )$

那么$\underset{1\le j\le N}{\max }({\delta }_t(j)a_{ji})b_i(o_{t+1})=\underset{1\le j\le N}{\max }P(i_{t+1}=i,i_t=j,i_{t-1},i_{t-2},...,i_1,o_{t+1},o_t,o_{t-1},...,o_1|\lambda )=\underset{i_1,i_2,...,i_t}{\max }P(i_{t+1}=i,i_t,...,i_1,o_{t+1},...,o_1|\lambda )$

如果要求对应的路径$I^{\ast }=\{i_1^{\ast },...,i_T^{\ast }\}$ 那么只要回溯去求即可。

还有明明是求$P(I|O,\lambda )$为什么这里是$P(I,O|\lambda )$呢

$P(I|O,\lambda )=\frac{P(I,O|\lambda )}{P(O|\lambda )}$，由于预测前是知道了模型和观测序列，所以分母就是一常数，忽略掉。