自然语言处理-基于预训练模型的方法-读书笔记（一）

自然语言处理-基于预训练模型的方法-读书笔记

第一章 绪论

• 自然语言处理
• 自然语言处理的基本概念
• 自然语言处理面临的8个难点：
  • 语言的抽象性
  • 组合性
  • 歧义性
  • 进化性
  • 非规范性
  • 主观性
  • 知识性
  • 难移植性
• 自然语言处理任务分类

1.1自然语言处理的概念

1.自然语言处理（NLP）主要研究用于计算机理解和生成自然语言的各种理论和方法，常被称为计算语言学（CL）
2.AI发展：运算智能——>感知智能——>认知智能

1.2 自然语言处理的难点

计算机处理自然语言的困难在于：

	自然语言的高度抽象性
	近乎无穷变化的语义组合性
	无处不在的歧义性和进化性

1.2.1 抽象性

语言由抽象符号构成，符号表示现实世界中的复杂概念

1.2.2 组合性

每种语言的基本符号单元有限，但是可以组合成无限的语义

1.2.3 歧义性

语言的形式和语义之间存在多对多的对应关系导致的

1.2.4 进化性

语言都是不断发展进化的，一方面新的词汇不断出现；另一方面旧的词汇被赋予新的含义