维特比算法的简单理解——以分词算法为例

在中文分词任务中，一个很棘手的问题是中文词中字组合的复杂性。

例如句子：南京市长江大桥，这句话可以有多种分词方法都说的通：
（1）南京市/长江大桥
（2）南京/市长/江大桥

在基于规则匹配的分词法中， 如果多种分法的词在词典中都能找得到，则会有多种可能。

我们可以基于统计概率来得到每个词的概率，以此得到分词结果的概率。
$$\begin{gathered} p(南京市/长江大桥)=p(南京市)p(长江大桥) \\ p(南京/市长/江大桥)=p(南京)p(市长)p(江大桥) \end{gathered}$$
我们可以对比所有分词方法的概率，选出最高的那个。即求:
$$p(s)=argmax\prod _{i=1}^{n}p(w_i)$$
通过取log可以把乘法改成加法，简化计算同时防止概率连乘产生过于小的数字:
$$p(s)=argmax\sum _{i=1}^{n}logp(w_i)$$
然而这样的方法需要暴力组合字典所能带来的所有可能，会重复计算很多子问题。维特比算法即用动态规划求最优路径的算法

dp[i]代表前i个字组合的最大概率，显然：
$$dp[i]=min(dp[j]+logp(w_{ij}))$$
$w_{ij}$代表第j到第i个字组成的词在字典里的概率。

于是维特比分词算法可以写成：

for i = 1 ~ N:
	dp[i] = min(dp[i],dp[j] + logp(w_{ij}))
return dp[N]