什么是 NLP 自然语言处理？

what_is_nlp_background.jpeg

1. 什么是 NLP ？

NLP（Natural Language Processing，自然语言处理）是计算机科学领域以及人工智能领域的一个重要的研究方向，它研究用计算机来处理、理解以及运用人类语言（如中文、英文等），达到人与计算机之间进行有效通讯。

NLP可以被应用于很多领域，这里大概总结出以下几种通用的应用：

1. 文本摘要：通过计算机自动地从原始文献中摘取文摘，全面准确地反映文献的中心内容，有助于节省大量的时间，提高效率。
2. 文本分类：计算机可以对采集的各种文章，进行主题分析，从而进行自动分类，是机器对文本按照一定的分类体系自动标注类别的过程，比如垃圾邮件的分类。
3. 情感分析：通过计算机来分析用户评论是积极的还是消极的。
4. 舆情分析：可以帮助分析哪些话题是目前的热点，分析传播路径以及发展趋势，对于不好的舆论导向可以进行有效的控制。
5. 机器翻译：机器翻译是自然语言处理中最为人所熟知的场景，比如Google翻译、百度翻译等，还有提供支持语音输入的多国语言互译的产品。
6. 智能问答： 计算机能够正确识别用户的意图，比如在客户领域，代替人工充当客服角色，有很多基本而且重复的问题，其实并不需要人工客服来解决，通过智能问答系统可以筛选掉大量重复的问题，使得人工座席能更好地服务客户。
7. 知识图谱：用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。

2. 词法分析

词法分析由中文分词和词性标注组成。中文表达不像英语表达有明显的空格标记，中文的句子由字符串组成，句子使用逗号隔开，句子和句子之间常以句号分隔。汉语的自然语言处理的首要工作就是要将输入的文本切分为单独的词语，然后在此技术上进行其他更高级的分析，这个步骤称为中文分词。

除了中文分词之外，词性标注也通常被认为是词法分析的一部分，词性标注的目的是为每一个词赋予一个类别，这个类别可以是名词（noun）、动词（verb）、形容词（adjective）等。

3. 句法分析

句法分析是对输入的文本以句子为单位，进行分析，从而得到句子的句法结构的处理过程。对句法结构进行分析，一方面是为了帮助理解句子的含义，另一方面也为了支持更高级的自然语言处理任务，比如机器翻译、情感分析等。目前比较主流的句法分析方法：

• 短语结构句法分析：作用是识别出句子中的短语结构以及短语之间的层次句法关系。
• 依存结构句法分析：作用是识别句子中词与词之间的相互依赖关系。
• 深层文法句法分析：利用深层文法对句子进行深层的句法以及语义分析。

上述几种句法分析，依存结构句法分析属于浅层文法句法分析，其实现过程相对来说比较简单而且适合在多语言环境下应用，但是其所能提供的信息也相对较少。深层文法句法分析可以提供丰富的句法和语义信息，但是采用的文法相对比较复杂，分析器的运行复杂度也比较高，这使得深层文法句法分析不太适合处理大规模的数据。短语结构句法分析介于两者之间。

4. 语义分析

语义分析的最终目的是理解句子表达的真实语义。语义角色标注（semantic role labeling）是目前比较成熟的浅层语义分析技术。语义角色标注一般都在句法分析的基础上完成，句法结构对于语义角色标注的性能至关重要。近年来，研究者们提出了联合模型，将多个任务联合学习和解码，如分词词性联合、词性句法联合、分词词性句法联合、句法语义联合等。联合模型通常都可以显著提高分析质量，原因在于联合模型可以让相互关联的多个任务互相帮助，同时对于任何单任务而言，人工标注的信息也更多了。然而，联合模型的复杂度更高，速度也更慢。

---

作者：关于我

备注：转载请注明出处。

如发现错误，欢迎留言指正。