人工智能里的数学修炼 | 隐马尔可夫模型 ： 维特比(Viterbi)算法解码隐藏状态序列

人工智能里的数学修炼 | 概率图模型 ： 隐马尔可夫模型
人工智能里的数学修炼 | 隐马尔可夫模型：前向后向算法
人工智能里的数学修炼 | 隐马尔可夫模型 ： 维特比(Viterbi)算法解码隐藏状态序列
人工智能里的数学修炼 | 隐马尔可夫模型：基于EM的鲍姆-韦尔奇算法求解模型参数
已经较为清楚的讲述了隐马尔可夫模型及其在实际应用的三个问题：1. 生成观察序列概率, 2. 预测问题, 3. 模型参数学习问题。

这里介绍求解第二个预测问题的维特比算法，这里举个例子回归一下预测问题
在语音识别等任务中，观测值为语音信号，隐藏状态为文字，目标就是根据观测信号来推断最有可能的状态序列

一、维特比算法的可递推局部状态

维特比算法是一种基于动态规划的求序列最短路径的方法，它通过确定一个合适的局部状态，利用局部状态进行递推，实现问题的求解。
在隐马尔可夫模型中，维特比算法定义了两个局部状态进行递推。
第一个局部状态${\delta }_t(i)$用于记录在时刻$t$隐藏状态为$i$所有可能的状态转移路径$i_i,i_2,...,i_t$中的概率最大值，记为
$${\delta }_{t+1}(i)=ma{x}_{1\le j\le N}[{\delta }_t(j)a_{ji}]b_i(o_{t+1})$$这里$a_{ji}$表示由状态j向状态i的状态转移概率，$b_i(o_{t+1})$表示由隐藏状态$i$输出观测状态$o_{t+1}$的概率。
第二个局部状态${\Psi }_t(i)$是用于记录在每个时刻最可能的隐藏状态,记为
$${\Psi }_t(i)=argma{x}_{1\le j\le N}[{\delta }_{t-1}(j)a_{ji}]$$有了这两个可递推的局部状态，我们可以从初始时刻递推到时刻$T$，得到过程中${\Psi }_t(i)$依次记录的最优隐藏状态序列。

二、维特比算法的递推流程

已知： 隐马尔可夫模型$\lambda =\{A,B,\pi \}$，观测序列$O=(o_1,o_2,...,o_T)$
输出：最有可能的隐藏状态序列$I^{\ast }=i_1^{\ast },i_2^{\ast },...,i_T^{\ast }$

1. 初始化局部状态：
   $${\delta }_1(i)={\pi }_i{b}_i(o_1),i=1,2,...,N$$其中${\pi }_i$表示初始隐藏状态为$i$的概率, $b_i(o_1)$表示隐藏状态为$i$，输出观测状态为$o_1$的概率
2. 进行动态规划的递推，$t=2,3,...,T$:
   $${\delta }_t(i)=ma{x}_{1\le j\le N}[{\delta }_{t-1}(j)a_{ji}]b_i(o_t),i=1,2,...,N$$$${\Psi }_t(i)=argma{x}_{1\le j\le N}[{\delta }_{t-1}(j)a_{ji}],i=1,2,...,N$$
3. 计算$T$时刻最大的${\delta }_T(i)$, 即为最可能的隐藏状态序列出现的概率，同时计算${\Psi }_t(i)$时刻最大的${\delta }_T(i)$, 即为时刻$T$最可能的隐藏状态
   $$P^{\ast }=ma{x}_{1\le j\le N}{\delta }_T(i)$$$$i_T^{\ast }=argma{x}_{1\le j\le N}[{\delta }_T(i)]$$
4. 局部状态${\Psi }_t(i)$记录的序列，记为最可能的隐藏状态序列, 对于$t=T-1,T-2,....,1$:
   $$i_t^{\ast }={\Psi }_{t+1}(i_{t+1}^{\ast })$$
   最终可以得到最有可能的隐藏状态序列$I^{\ast }=i_1^{\ast },i_2^{\ast },...,i_T^{\ast }$