NLP 学习 - 4句法分析语义理解与常见应用

这一节还是简单地介绍了一下常见应用场景

2020年9月7日

---

一、句法分析(Syntactic Analysis)

• 对于一个句子的词语句法做分词，比如主谓宾，可以构建成一颗语法树

二、语义理解

1. 主要两个问题

• 如何理解一个单词的意思
• 如何理解一个文本的意思

2. 主要技术

• SkipGram, CBOW, Glove, ELMo, BERT, ALBERT
• XLNet, GPT-2, GPT-3, Tiny-BERT

三、常见的应用

1. 写作助手

语言模型可以来判断一个句子在语法的角度来说是否通顺，另外语言模型本身是可以帮助我们生成一些文本的，例如填空题的形式

2. 文本分类

• 情感分析 (sentiment analysis)
• 情绪分析 (emotion analysis)
• 主题分类 (topic classification)

3. 信息检索(information retrieval)

搜索引擎检索一个问题，首先会经过一系列的文本处理，再通过索引在文本库中搜索出结果进行排序

文本库：爬虫的方式收集网站的信息，构成文本库
 索引：一般都是使用倒排表(inverted list)的形式构建索引(inverted index)
 排序：PageRank常用搜索引擎的算法 (基于马尔科夫来做的)