NLP学习(1)-introduction

NLP是什么

NLP: Natural Language Processing

NLP = NLU + NLG

NLP包含自然语言理解和自然语言生成,自然语言理解是指根据给出的文本或者语音能够正确理解它的意思;生成是指能够根据意思进行交流。

为什么NLP难?

NLP的挑战是:表达方式多、一词多义,这里举几个例子:

  1. 表达方式多

  2. 今天不去公园了,明天去,今天有事;

  3. 今天有事所以不去公园了,明天去;

  4. 我明天去公园,因为我今天有事。

  5. 一词多义

  6. 我有一个苹果手机;

  7. 我去公园偷了一个苹果(投的是真的苹果还是苹果手机呢?需要结合上下文);

那么怎么解决NLP的这些问题?

唯一的答案是合理地从数据学习。

NLP有哪些应用场景?

问答系统

image

问答系统

情感分析

用于舆情监控、评论分析,一般步骤为:

情感分析的一般步骤

机器翻译

中英机器翻译

摘要提取

摘要提取

聊天机器人

聊天机器人

处理这些NLP的关键技术有哪些?

处理以上这些问题的关键技术有四个维度:semantic语义、syntax句子结构、morphology单词、phonetics声音。

涉及的技术有:

word segmentation分词

给句子分词

image

part-of-speech词性

找到句子中每个词的词性

image

named entitiy recognition命名实体识别

image

parsing句法分析

image

dependency parsing依存分析

分析句子结构

image

relation extraction关系抽取

image

你可能感兴趣的:(NLP学习(1)-introduction)