自然语言处理概论

1.NLP相关学科

  • 语言学
  • 信息论
  • 生物学
  • 计算机科学
  • 数学
  • 等等......

2.相关术语

  • 中文信息处理
  • 中文语言处理
  • 计算语言学
  • 自然语言理解
  • 智能化人机接口

3.知识内容

3.1基础

音位学->形态学->词汇学->句法学->语义学->语用学

自然语言处理概论_第1张图片
  • 举例
  1. 语音输入:delete file x
  2. 音位学处理:dilet'#fail#eks
  3. 形态学处理:"delete" "file" "x"
  4. 词汇学处理:(“delete”VERB)(“file”NOUN)(“x”ID)
  5. 句法分析处理:
自然语言处理概论_第2张图片
  1. 语义分析处理:delete-file('x')
  2. 语用分析阶段:特定情境下具有不用含义

3.2应用

自然语言处理概论_第3张图片

3.3资源

  • 语料库:北大人民日报语料库、《现代汉语语法信息词典》、概念层次网络等等
  • 知网

3.4评测

  • 评测方法
  • 评测对象
  • 评测量度

4.发展概况

  1. 从汉字信息处理到汉语信息处理
  2. 从单机信息处理到网络信息处理

5.中文特征

  • 汉语是大字符集的意音文字
  • 汉语词与词之间没有空格
  • 汉语的同义词、同音词较多
  • 汉语没有形态变化
  • 汉语的语法研究尚未规范化

6.中文语言处理发展的主要困难

  • 研究力量分散
  • 缺乏规范
  • 科学的评测机制尚未建立

7.基础理论

7.1主要课题

  • 概率论与统计理论
  • 统计机器学习理论
  • 认知科学理论
  • 人工智能基本理论

7.2词法分析的主要课题

  • 分词
  • 词性标注
  • 命名实体识别
  • 新词发现

7.3句法分析的主要课题

7.4语义分析的主要课题

  • 语义表示
  • 概念语义网络
  • 词义消歧

7.5语用分析的主要课题

  • 自然语言生成
  • 语段分析、对话
  • 机器翻译

8.主要应用

自然语言处理概论_第4张图片

你可能感兴趣的:(自然语言处理概论)