Dijsktra算法与Viterbi算法对比

边权重

知乎上有个相关的提问,高赞回答说,Viterbi算法的优势是能够处理带节点权重问题。无论是Viterbi算法,还是Dijsktra算法,处理的都是边上的权重,不涉及节点的权重。

用李航老师《统计学习方法》第186页中的HMM+Viterbi例子来分析。
Dijsktra算法与Viterbi算法对比_第1张图片
Screen Shot 2020-06-05 at 9.34.13 PM.png

这个例子可以转化为求解下图的最优路径。其中从start -> A是观测矩阵 * 发射矩阵。A -> B, B -> C是状态转移矩阵 * 发射矩阵(为了节约空间省去了部分连线)
Dijsktra算法与Viterbi算法对比_第2张图片
Screen Shot 2020-06-04 at 9.47.55 PM.png

从上图可以看到,Viterbi算法处理的也是边权重的最优路径问题。

最优路径与最短路径

注意,上文一直说最优路径,而不是最短路径。这是因为Viterbi算法不仅仅可以求最短路径,它还可以求最长路径,或者是最小乘积路径,或者最大乘积路径。

为什么Viterbi算法可以求解最长路径呢?因为Viterbi算法是动态规划算法。它首先求出到达A子节点的最长路径。因为经过B的最长路径必然包括经过A的最长路径,因此可以基于A,找到到达B的最长路径。同理,可以找到C,D,E...的最长路径,直至最终节点。

最大似然概率,通过取负对数求和,可以转化为最短路径问题。Dijsktra算法要求路径长度为非负数。因此,取负对数之前,每条边应该。由于概率值必然满足此条件,因此最大似然概率可以转化为最短路径问题,并用Dijsktra算法求解。

如果边长大于1,取负对数后长度为负数。此时依旧可以用Viterbi算法,但是Dijsktra算法用不了。

假设边长大于0,两个算法的适用范围及条件为:

算法 最大乘积 最小乘积 最短路径 最长路径
Dijsktra 当边长<=1时,取负对数转化为最短路径 不可以 可以 不可以
Viterbi 可以 可以 可以 可以

下面是最大似然概率取负对数后,转化为最短路径问题的示意图。


Dijsktra算法与Viterbi算法对比_第3张图片
Screen Shot 2020-06-04 at 9.47.48 PM.png

Dijsktra与Viterbi

Dijsktra算法属于贪心算法,Viterbi算法属于动态规划算法。从另一个角度来看,Dijsktra算法是深度优先图算法,Viterbi算法则是广度优先图算法。

Dijsktra算法与Viterbi算法对比_第4张图片
Screen Shot 2020-06-05 at 8.46.25 PM.png

以上图为例,要寻找A1-> D1的最短路径,Dijsktra算法依次考察:A1, (B1, B2), C1, D1, C2, D1(第二次)。

而Viterbi算法按离起始点的距离迭代。以上图为例,Viterbi算法依次考察:A1, (B1, B2), (C1, C2), D1。离起始点距离越远,迭代次序越靠后。

Viterbi算法的优势

对于HMM模型,无论是Dijsktra算法,还是Viterbi算法,都能够求出最优序列。那么为什么HMM算法一般使用Viterbi算法,而不是Dijsktra算法?

我认为Viterbi算法的优势在于速度。

假设模型共有L步,每一步有N个隐状态。从t时刻到t+1时刻,Viterbi算法需要进行次加法和比较操作。考虑到共有L步,因此Viterbi算法耗时

Dijsktra算法的时间复杂度分析可以参考《算法导论》关于Dijsktra算法一节。这里直接用结论,如果不使用斐波那契堆,Dijsktra算法的复杂度为。其中,因此,复杂度为

Viterbi算法的劣势

我们通过下图来观察Viterbi算法的劣势:


Dijsktra算法与Viterbi算法对比_第5张图片
Screen Shot 2020-06-05 at 9.59.41 PM.png

用Viterbi算法计算,通过三条路径,T1距离起点分别为2,3,6。因此T1会在第2,3,6轮迭代进行比较,更新。且T1之后所有的点,都会在第k+2, K+3, K+6次迭代中重复更新。

当存在点,它有多条路径通向起点,且长度不一时,Viterbi算法存在大量的重复计算。

在机器学习中,Viterbi算法一般用于序列解码。这是因为序列中每个时刻,它的状态点离起始点的距离都是一样的。这种情况下不存在重复计算问题。

总结

综上,无论是Viterbi算法,还是Dijsktra算法,都是处理边权重图的最优路径问题。

Viterbi算法既可以处理最大/最小乘法问题,也可以处理最大/最小加法问题。而Dijsktra算法只能够处理最小加法问题,或者将大于0,小于1的乘法问题转化为最小加法(最短路径)问题。

Viterbi算法属于动态规划算法,Dijsktra算法属于贪心算法。Viterbi算法是广度优先,Dijsktra算法是深度优先。

HMM,CRF等算法中使用Viterbi算法,是因为Viterbi算法的效率比Dijsktra算法高。

当图中存在点,它有多条路径通往起始点,且路径长度不一样时,Viterbi算法存在重复计算问题。此时用Dijsktra算法效率更高。

你可能感兴趣的:(Dijsktra算法与Viterbi算法对比)