NLP学习笔记（一）

NLP学习笔记（一）

NLP 定义、传统的机器翻译模型、应用场景、关键技术

1. NLP定义

NLP=NLU(Nature Language Understanding) + NLG(Nature Language Generation)

NLU： 指对语音、文本等意思的理解
NLG：意思形成文本和语音

2. 例子-翻译下面这句话

结果：jjat arrat vat maat hilat oloat at-yurp
这种方式的缺点：依赖于语料库、慢、语法、上下文、无法解决歧义

3. Statistical Machine Model

Step1-Translation Model

贝叶斯定理，中文：c ，英文：e，给定
计算p(c|e)，数值大小代表语义相似性高低

Step2-Language Model

与训练语言模型，给定英文e，计算p(e)，符合英文语法的句子p(e)高

Decoding Algorithm

• Viterb

4. 应用场景

• Question Answer
• Sentiment Analysis
• Machine Translation
• Text Summarization
• Chatbot
• Information Extraction
• …

5. 关键技术

• Word Segmentation
• Part-of-speech
• Named Entity Recognition
• Parsing(句法分析)
• Dependency Parasing
• Relation Extraction
• …

注：学习内容来自于B站