NLP学习记录(三)语言模型

语言模型

通俗的来说就是通过语料,计算某个句子出现的概率

N-Gram(有时也称为N元模型)

是自然语言处理中一个非常重要的概念,通常在NLP中,人们基于一定的语料库,可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面,N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。

  • 二元文法(一阶马尔科夫链)
    以二元语法为例,近似的认为,一个词出现的概率只与他前面的一个词
    那么NLP学习记录(三)语言模型_第1张图片
    每个句子最前面增加一个终止符 作为一个句子的开头(begin of sentence)
    每个句子的末尾添加一个终止符 作为一个句子的结束(end of sentence)
    NLP学习记录(三)语言模型_第2张图片
  • 应用:
    1.语音识别歧义消除
    2.汉语分词

语言模型的启示:

开启自然语言处理的统计方法一般步骤
1.收集大量语料库
2.对语料进行统计分析,得出知识(例如N元文法之类)
3.针对场景建立算法,即使计算最简单的概率也有很多复杂的算法可以运用,有些可以直接标注
4.解释或应用结果

你可能感兴趣的:(NLP自然语言处理理论篇)