笔记：语言模型（Language Model）（一）

笔记，总结纪录自《统计自然语言处理（第二版）（宗成庆）》

语言模型（language model， LM）在自然语言处中，尤其是基于统计模型的语音识别、机器翻译、汉语自动分词、句法分析等相关研究中都有广泛的应用。

其中最主要采用的是n元语法模型（n-gram），这种模型构建简单、直接，但因为数据缺乏需要采用平滑（smoothing）算法。

一个语言模型中，通常构建为字符串s的概率分布p(s)，反映的是字符串s作为一句子出现的概率。

对于一个由 l 个基元（基元 可以是字、词、或短语等）构成的句子 s=w1w2⋯wl，其概率公式可以表示为：

p(s)=p(w1)p(w2| w1)p(w3| w1w2)⋯p(wl| w1⋯wl−1) =∏li=1p(wi| w1⋯wi−1)

其中，第 i(1≤i≤l) 个词的概率是由已经产生的 i−1 个词 w1w2⋯wi−1 决定的，一般称第 i−1 个词为第 i 个词的历史。然而，这种计算方法，随着词长度的增加，不同的历史数目将会按指数级增长。因此，通过将历史划分为等价类，即n元语法或n元文法（n-gram）。一般n取值不超过3。

• n=1 即出现在第 i 位上的词 wi 独立于历史时，一元文法被记作 unigram, uni-gram, monogram
  • n=2 即出现在第 i 位上的词 wi，仅仅于它前一个历史词 wi−1 有关，二元文法模型被称为一阶马尔可夫链（Markov chain），记作 bigram, bi-gram
  • n=3 即出现在第 i 位上的词 wi，仅与它前面的两个历史词 wi−2wi−1 有关，三元文法模型被称为二阶马尔可夫链，记作 trigram, tri-gram

  • 以二元语法模型为例，我们近似的认为，一个词的概率只依赖于它前面的一个词，即

    p(s)=∏li=ip(wi| w1⋯wi−1)≈∏li=1p(wi| wi−1)

    为了使得 p(wi| wi−1) 对于 i−1 的情况也有意义，我们在句子开头加上一个句首标记 , 即假设 w0 就是 。同时，保持 ∑sp(s)=1 ，需要在句尾加上 。

    p(Mark wrote a book)=p(Mark |<BOS>)×p(wrote | Mark)×p(a | wrote)×p(book | a)×p(<EOS>| book)

    计算条件概率 p(wi| wi−1) ，可以使用二元语法 wi−1wi 在某一文本中出现的频率，然后归一化。公式：

    p(wi| wi−1)=c(wi−1wi)∑wic(wi−1wi)

    这种方法，被称为最大似然估计（maximum likehood estimation, MLE）

    对于 n>2 的n元语法模型

    p(s)=∏l+1i=1p(wi| wi−1i−n+1)

    其中， wji 表示词 wi⋯wj ，约定 w−n+2 到 w0 为 $<span class="MathJax" id="MathJax-Element-6888-Frame" style=""> <span class="math" id="MathJax-Span-117328" style="width: 2.017em; display: inline-block;"><span style="display: inline-block; position: relative; width: 1.923em; height: 0px; font-size: 104%;"><span style="position: absolute; clip: rect(1.546em, 1000em, 2.551em, -0.562em); top: -2.179em; left: 0em;"><span class="mrow" id="MathJax-Span-117329"><span class="msubsup" id="MathJax-Span-117330"><span style="display: inline-block; position: relative; width: 1.87em; height: 0px;"><span style="position: absolute; clip: rect(1.931em, 1000em, 2.774em, -0.562em); top: -2.564em; left: 0em;"><span class="mi" id="MathJax-Span-117331" style="font-family: STIXGeneral-Italic;">w</span><span style="display: inline-block; width: 0px; height: 2.564em;"></span></span><span style="position: absolute; top: -2.094em; left: 0.705em;"><span class="texatom" id="MathJax-Span-117332"><span class="mrow" id="MathJax-Span-117333"><span class="mi" id="MathJax-Span-117334" style="font-size: 70.7%; font-family: STIXGeneral-Italic;">l<span style="display: inline-block; overflow: hidden; height: 1px; width: 0.001em;"></span></span><span class="mo" id="MathJax-Span-117335" style="font-size: 70.7%; font-family: STIXGeneral-Regular;">+</span><span class="mn" id="MathJax-Span-117336" style="font-size: 70.7%; font-family: STIXGeneral-Regular;">1</span></span></span><span style="display: inline-block; width: 0px; height: 2.244em;"></span></span></span></span></span><span style="display: inline-block; width: 0px; height: 2.179em;"></span></span></span><span style="border-left-width: 0em; border-left-style: solid; display: inline-block; overflow: hidden; width: 0px; height: 0.778em; vertical-align: -0.253em;"></span></span> </span> 为 <span class="MathJax_Preview"></span> <span class="MathJax" id="MathJax-Element-6889-Frame" style=""> <span class="math" id="MathJax-Span-117337" style="width: 4.15em; display: inline-block;"><span style="display: inline-block; position: relative; width: 3.974em; height: 0px; font-size: 104%;"><span style="position: absolute; clip: rect(1.705em, 1000em, 2.78em, -0.521em); top: -2.564em; left: 0em;"><span class="mrow" id="MathJax-Span-117338"><span class="mo" id="MathJax-Span-117339" style="font-family: STIXGeneral-Regular;"><</span><span class="mi" id="MathJax-Span-117340" style="font-family: STIXGeneral-Italic; padding-left: 0.313em;">E<span style="display: inline-block; overflow: hidden; height: 1px; width: 0.023em;"></span></span><span class="mi" id="MathJax-Span-117341" style="font-family: STIXGeneral-Italic;">O</span><span class="mi" id="MathJax-Span-117342" style="font-family: STIXGeneral-Italic;">S<span style="display: inline-block; overflow: hidden; height: 1px; width: 0.008em;"></span></span><span class="mo" id="MathJax-Span-117343" style="font-family: STIXGeneral-Regular; padding-left: 0.313em;">></span></span><span style="display: inline-block; width: 0px; height: 2.564em;"></span></span></span><span style="border-left-width: 0em; border-left-style: solid; display: inline-block; overflow: hidden; width: 0px; height: 0.852em; vertical-align: -0.092em;"></span></span> </span><script type="math/tex" id="MathJax-Element-6889">$。

    那么估算概率 p(wi| wi−1i−n+1) 的公式：

    p(wi| wi−1i−n+1)=c(wii−n+1)∑wic(wii−n+1)

    求和表达式 ∑wic(wii−n+1) 等于计算历史 c(wi−1i−n+1) 的数目，这辆种书写形式偶尔会混用。

    根据上述原理，通过计算训练语料库中每个句子的 p(wi| wi−1i−n+1) ，我们就可以得出新出现句子 p(s) 概率。