宗成庆自然语言理解笔记 01 绪论

1.1 基本概念

• 自然语言指人类使用的语言，如汉语、英语等。
• 语言的两个基本属性：文字和声音。

• 自然语言处理

或称自然语言理解(Natural Language Understanding, NLU)。
“自然语言处理(Natural Language Processing, NLP)就是利用计算机为工具对人类特有的书面形式和口头形式的自然语言的信息进行各种类型处理和加工的技术。” ------ 冯志伟《自然语言的计算机处理》
从微观上讲，指从自然语言到机器内部之间的一种映射；从宏观上讲，指机器能够执行人类所期望的某些语言功能，包括问答系统、机器翻译、从材料中获取摘要等。

1.2 自然语言理解研究的内容

• 机器翻译(Machine translation, MT)：实现一种语言到另一种语言的自动翻译。
• 信息检索(Information Retrieval, IR)：利用计算机系统从大量文档资源中找到符合用户需要的相关信息。
• 自动文摘(Automatic Summarization/Automatic Abstracting)：将原文档的主要内容或某方面的信息自动提取出来，并形成原文档的摘要或缩写。
• 文档分类(Document Categorization)：文档分类也叫文本自动分类(Text Categorization/Text Classification)或信息分类(Information Categorization/Classification)，其目的就是利用计算机系统对大量的文档按照一定的分类标准（例如，根据主题或内容划分等）实现自动归类。
• 问答系统(Question Answering System)：通过计算机系统对人提出的问题的理解，利用自动推理等手段，在有关知识资源中自动求解答案并做出相应的回答。问答技术有时与语音技术和多模态输入/输出技术，以及人机交互技术等相结合，构成人机对话系统。
• 信息过滤(Information Filtering)：通过计算机系统自动识别和过滤那些满足特定条件的文档信息。
• 语言教学(Language Teaching)：借助计算机辅助教学工具，进行语言教学、操练和辅导等。
• 文字识别(Character Recognition)：通过计算机系统对印刷体或手写体等文字进行自动识别，将其转换成计算机可以处理的电子文本。
• 文字编辑和自动校对(Automatic Proofreading)：对文字拼写、用词、甚至语法、文档格式等进行自动检查、校对和编排。
• 语音识别(Speech Recognition)：将输入计算机的语音信号识别转换成书面语表示。语音识别也称自动语音识别(Automatic Speech Recognition, ASR)。
• 语音合成(Text to Speech/Speech Synthesis)：将书面文本自动转换成对应的语音表征。
• 说话人识别/认同/验证(Speaker Recognition/Identification/Verification)：对一言语样品做声学分析，依此推断（确定或验证）说话人的身份。
  ......

1.3 自然语言理解研究的基本问题

• 语音学(Phonetics)问题：研究词及其语音的关联。
• 形态学(Morphology)问题：研究词是如何由意义的基本单位即词素(morphemes)构成的。
• 语法学(Syntax)问题：研究句子结构成分之间的相互关系和组成句子序列的规则。
• 语义学(Semantics)问题： 研究如何从一个语句中词的意义，以及这些词在该语句中句法结构中的作用来推导出该语句的意义。
• 语用学(Pragmatics)问题：研究在不同上下文中的语句的应用，以及上下文对语句理解所产生的影响。从狭隘的语言学观点看，语用学处理的是语言结构中有形式体现的那些语境。相反，语用学最宽泛的定义是研究语义学未能涵盖的那些意义。

1.4 自然语言理解面临的困难

• 自然语言中大量存在的歧义(ambiguity)现象，包括结构歧义、语义歧义等。
• 自然语言中存在未知的语言现象，包括新的词汇，例如，“非典” 、专业术语、外来语、人名等；新的含义，例如，窗口、奔腾、农民等；新的用法和语句结构等，尤其在口语中或部分网络语言中，不断出现一些“非规范的”新的语句结构。

1.5 不同语言的差异

• 不同的语系
  • 孤立语（分析语）
    形态变化少，语法关系靠词序和虚词表示，如汉语。
  • 曲折语：用词的形态变化表示语法关系，如英语。
  • 黏着语：词内有专门表示语法意义的附加成分，词根或词干与附加成分的结合不紧密，如日语。
• 不同的语言单位
  • 汉语：汉字（单音节、无空格）
  • 英语：英语（多音节、有空格）
  • 日语：字和词（多音节、无空格）
• 不同的语法
• 语义的差异
• 不同的文化背景

1.6 自然语言理解研究的基本方法

• 理性主义与经验主义方法的哲学分野之一：对语言知识来源的不同认识
  • 理性主义认为：人的很大一部分语言知识是与生俱来的，由遗传决定的。Noam Chomsky的内在语言官能(Innate Language Faculty)理论被广泛接受。
    人工编汇初始语言知识 ＋ 推理系统 -> 自然语言处理系统
    1960s – 1980s中期
  • 经验主义认为：人的语言知识是通过感观输入，经过一些简单的联想(association)与通用化(generalization)的操作而得到的。
    大量的语言数据中获得语言的知识结构。
    1920s - 1950s，1980s中期 -
• 理性主义与经验主义方法的哲学分野之二：研究对象的差异
  • 理性主义方法：研究人的语言知识结构（语言能力， language competence），实际的语言数据（语言行为，language performance）只提供了这种内在知识的间接证据。
  • 经验主义方法：直接研究这些实际的语言数据。
• 理性主义与经验主义方法的哲学分野之三：运用不同的理论
  • 理性主义：通常基于Chomsky的语言原则，通过语言所必须遵守的一系列原则来描述语言。
  • 经验主义：通常是基于Shannon的信息论。
• 理性主义与经验主义方法的哲学分野之四：采用不同的处理方法
  • 理性主义：通常通过一些特殊的语句或语言现象的研究来得到对人的语言能力的认识，而这些语句和语言现象在实际的应用中并不常见。
  • 经验主义：偏重于对大规模语言数据中人们所实际使用的普通语句的统计。
• 理性主义方法与经验主义方法的融合
  符号智能 ＋ 计算智能
  理性主义研究方法 - 符号处理系统
  经验主义研究方法 - 基于语言数据的计算方法
  理性主义与经验主义的合谋 - 融合方法