NLP学习记录（三）语言模型

语言模型

通俗的来说就是通过语料，计算某个句子出现的概率

N-Gram（有时也称为N元模型）

是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面，N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。

• 二元文法（一阶马尔科夫链）
  以二元语法为例，近似的认为，一个词出现的概率只与他前面的一个词
  那么
  每个句子最前面增加一个终止符 作为一个句子的开头(begin of sentence)
  每个句子的末尾添加一个终止符 作为一个句子的结束（end of sentence）
  
• 应用：
  1.语音识别歧义消除
  2.汉语分词

语言模型的启示：

开启自然语言处理的统计方法一般步骤
1.收集大量语料库
2.对语料进行统计分析，得出知识（例如N元文法之类）
3.针对场景建立算法，即使计算最简单的概率也有很多复杂的算法可以运用，有些可以直接标注
4.解释或应用结果