语音识别学习日志 2018-7-19 语音识别基础知识准备（5）[Viterbi算法]

Viterbi算法是一个通用的求序列最短距离的动态规划算法。HMM模型的解码可以用Viterbi算法完成，解码过程可以描述为给定HMM的模型和观测序列，求给定观测模型下最可能出现的状态序列。

HMM最可能隐藏状态序列求解概述

在HMM模型的解码问题中，给定模型和观测序列，求给定观测序列O条件下，最可能出现的对应的状态序列，即要最大化。

一个可能的近似解法是求出观测序列O在每个时刻t最可能的隐藏状态然后得到一个近似的隐藏状态序列。

给定模型λ和观测序列O,在时刻tt处于状态的概率记为:

                                                          

利用前向概率和后向概率的定义可知：

                                                          

于是我们得到：

                                                          

因此在给定模型λ和观测序列O时，在时刻tt处于状态的概率是，这个概率可以通过HMM的前向算法与后向算法计算。

这样可得：

                                                          

近似算法很简单，但是却不能保证预测的状态序列是整体是最可能的状态序列，因为预测的状态序列中某些相邻的隐藏状态可能存在转移概率为0的情况。而维特比算法可以将HMM的状态序列作为一个整体来考虑，避免近似算法的问题。

维特比算法概述

Viterbi算法是一个基于动态规划的解码算法，在HMM中，维特比算法定义了两个局部状态用于递推。

第一个局部状态是在时刻tt隐藏状态为ii所有可能的状态转移路径中的概率最大值。记为:

                            

由的定义可以得到δ的递推表达式：

                           

第二个局部状态由第一个局部状态递推得到。我们定义在时刻t隐藏状态为i的所有单个状态转移路径中概率最大的转移路径中第t−1个节点的隐藏状态为,其递推表达式可以表示为：

                         

有了这两个局部状态，我们就可以从时刻0一直递推到时刻T，然后利用记录的前一个最可能的状态节点回溯，直到找到最优的状态序列。

维特比算法流程

输入：HMM模型，观测序列

　　　　输出：最有可能的隐藏状态序列

　　　　1）初始化局部状态：

                                        

                                        

　　　　2) 进行动态规划递推时刻时刻的局部状态：

                                         

                                         

　　　　3) 计算时刻T最大的,即为最可能隐藏状态序列出现的概率。计算时刻T最大的,即为时刻T最可能的隐藏状态。

                                        

                                        

　　　　4) 利用局部状态开始回溯。对于：

                                         

　　　　最终得到最有可能的隐藏状态序列

Viterbi算法解码HMM实例

下面使用该文章中的HMM模型实例来说明Viterbi算法求解的过程。

 

我们的观察集合是:                                   

                                                   V={红，白}，M=2

 

我们的状态集合是：

                                                  Q={盒子1，盒子2，盒子3}，N=3

而观察序列和状态序列的长度为3.

初始状态分布为：

                                                  

状态转移概率分布矩阵为：

                                                  

观测状态概率矩阵为：

                                                  

球的颜色的观测序列:

                                                 O={红，白，红}

按照我们上一节的维特比算法，首先需要得到三个隐藏状态在时刻1时对应的各自两个局部状态，此时观测状态为1：

                                                 

                                                 

                                                

                                                

　现在开始递推三个隐藏状态在时刻2时对应的各自两个局部状态，此时观测状态为2：

                               

                               

                               

                               

                               

                               

　　　　继续递推三个隐藏状态在时刻3时对应的各自两个局部状态，此时观测状态为1：

                                

                                

                                

                                

                                

                                

　　　　此时已经到最后的时刻，我们开始准备回溯。此时最大概率为,从而得到

　　　　由于,所以, 而又由于,所以。从而得到最终的最可能的隐藏状态序列为：(3,3,3).