N元语言模型的解码算法
------------------------------------------------------------------
大家好，我是Bright，微软拼音的软件开发工程师。我之前介绍了N元语言模型的训练方法，本文继续介绍N元语言模型的解码算法。
------------------------------------------------------------------
N元语言模型的解码（Decoding）算法是微软拼音输入法的核心算法，也是当年哈工大王晓龙教授提出的语句级输入法的精髓。那么为什么需要解码算法呢？先举个拼音输入的例子：
对于拼音序列：pin yin shu ru fa hen hao yong
它有很多种转换结果，如pin可以转换成“拼”、“品”、“频”、“聘”等，yin可以转换成“音”、“因”、“引”、“印”等，shu可以转换成“输”、“树”、“属”、“数”等。
[背景知识]：简体中文大约有400个合法的拼音，GBK汉字大约有18000个汉字，那么平均每个拼音对应45个汉字。
由于每个拼音都有很多个转换结果，那么对于上面的拼音序列（8个拼音）约有45^8种转换结果，我们希望给出一个对用户来说最好的转换结果。
说到“最好”，可能有些歧义，因为对用户A好的转换结果可能对用户B就不好。这里说的最好是说最符合语言规律、最符号语言现象的结果。在N元语言模型的理论框架下，“最好”的结果就是具有最大概率的转换结果。
如果语言模型是以词语为基本语言单位，那么N元语言模型的概率为：
上面的公式中
的就是通过N元语言模型训练算法得到的参数。
对于二元语言模型（bigram），上面的概率简化为：
对于一元语言模型（unigram），上面的概率还可以简化为：
我们可以从诸多转换结果中找出上面概率最大的句子（sentence），对应的算法就是N元语言模型的解码算法。
下面以最常用的二元语言模型为例，介绍一下解码算法。首先根据上面的拼音输入序列，构建词语网格（如下图）。该图对词语网格做了简化，只画出了少量的词语。
-------------------------------------------------------
输入:
M = 每列最多词语数;
T= 拼音序列中的拼音数;
w[1:T,1:M]=词网格;
Bigram(x,y) = 任意两个词语对应的Bigram概率;
输出:
概率最大词语序列TARGET[1:T];
初始化:
w[0,0] = “”;
Prob[0,0] = 1
TARGET[1:T]={“”};
解码:
For t = 1 : T Do
For i = 1 : M Do
MaxProb = 0;
Index = 0;
For j = 1 : M Do
ThisProb = Prob[t-1,j]*Bigram(w[t-1,j],w[t,i]);
If ThisProb > MaxProb
MaxProb = ThisProb;
Index = j;
End If
End For
Prob[t,i] = MaxProb;
Ptr[t,i] = j;
End For
End For
终止:
Prob = ; // 最后一列中最大的概率
TARGET [T]= 最后一列取得最大概率的那个词语w[T,k];
回溯:
t = T;
While t > 0 Do
s = t – Len(TARGET [T]);
TARGET[s] = w[s,Ptr[t, TARGET[t]]]
t = s;
End While
-------------------------------------------------------
上面是最基本的解码算法，实际工程中，需要考虑的因素还有很多，比如音节切分歧义、大规模解码算法的剪枝、更高阶N元模型的解码算法等。