自然语言处理绪论

自然语言处理绪论_第1张图片

1.词法分析歧义

  • 自然语言处理中的歧义

分词歧义,作为自然语言处理的第一个步骤。


词性标注


语法分析歧义


语义分析歧义


自然语言处理绪论_第2张图片

语用歧义


自然语言处理绪论_第3张图片

2.两类不同的语言处理模型

2.1能力模型

基于语言学规则的模型

  • 建模步骤:
  1. 语言学知识的形式化
  2. 形式化规则算法化
  3. 算法实现
2.2应用模型

根据不同的语言处理应用而建立的特定的语言模型,通常是基于统计的门票性。又称为“经验主义的” 语言模型

  • 建模步骤:
  1. 通过大规模的真是语料库,获取语言各级语言单位上的统计信息
  2. 一句较低级语言单位上的统计信息,运用相关的统计推理新技术计算较高级语言单位上的统计信息

统计与规则相结合的方法,取长补短

3.评测技术

  • 著名的国际评测:

Sigham
Conll
TREC

4.图灵实验

  • 一种确定计算机是否会思考的实验.一个人向计算机发问,另一个不知情的人试图从回答中区分是人还是计算机.如果计算机没有被辨认出,便通过了图灵实验。
    百度
    维基百科

  • 假想实验:


    自然语言处理绪论_第4张图片
    网络图片

5.学习姿势

自然语言处理绪论_第5张图片
学习的正确姿势

你可能感兴趣的:(自然语言处理绪论)