NLP 学习 - 2概论与常见基础任务

我们能够解决的一些常见的基础任务

2020年9月3日

---

一、NLP介绍

NLP = NLU + NLG

• NLU(Natural Language Understanding): 语音/文本 → 意思
• NLG(Natural Language Generation): 意思 → 文本/语音
• NLP(Neuro Linguistic Program): 神经语言学

二、现存的挑战

1. 多种表达意思

• 贪心-京东开设了NLP训练营
• 贪心-京东新出了NLP训练营
• 新出的NLP训练营是贪心-京东出品的

2. Ambiguity(歧义、一词多义)

• 今天参观了苹果公司
• 现在正好是苹果季节

三、统计机器翻译

当我们统计分析的方式翻译时，就会出现Broken English
 比如，“今晚的课程有意思”会翻译为Tonight is course has interesting，是不符合语法的
 所以，通过语言模型我们就可以生成比较合乎语法的翻译结果

四、自然语言处理中的基础任务

• 分词
• 词性标注（POS）
• 命名实体识别（NER）
• 句法分析（Syntatic Analysis）
• 语义分析（Semantic Analysis）