1、NLP基础入门

1、NLP基础入门

人工智能的发展和应用越来越深入世界每个角落,人工智能的一个重要部分是认知智能,包括理解、运用语言的能力,掌握知识、运用知识的能力,以及在语言和知识基础上的推理能力。那自然语言就属于认知智能,接下来让我们去了解下什么是自然语言处理。

一、什么是 自然语言处理(Natural Language Processing)

自然语言处理(Natural Language Processing, NLP),它属于人工智能的一个分支,他的目标就是让计算机能理解人类语言,即将自然语言转换成计算机能够用于理解这个世界的数据。比如是人工智能最核心也最具挑战性的领域,被誉为人工智能科学皇冠上的明珠。大数据为自然语言处理的发展提供了数据基础。

二、发展现状

自然语言处理已经深入我们的日常生活,工作,学习的各个方面, 给人们带来了极大的方便。

自然语言处理(NLP)正处于历史上最好的发展时期,技术在不断进步并与各个行业不断融合、落地。各种预训练模型BERT,GPT,ERNIE,XLNET,ELMo等在多项NLP任务中获得提升,受到工业界和学术界广泛的关注。

三、NLP的基础技术

1、NLP基础入门_第1张图片

四、NLP主要应用领域

1、NLP基础入门_第2张图片
信息检索(information retrieval)
框架如图所示
1、NLP基础入门_第3张图片
问答系统(QA)

  • 问答系统的目的是直接提供用户的答案
  • 问答系统和检索系统的区别:检索系统返回相关的结果,问答系统则直接返回答案
    问答系统需要更多语义方面的理解

情感分析

用于衡量人们的观点倾向。例如,我们可以对电商商品评论或由该商品引起的情绪状态进行分析。

聊天机器人

NLP是创建聊天机器人的基础。例如微软小娜、苹果siri、小i机器人、谷歌的cortana、百度的小度机器人等等。

用户意图识别

让搜索引擎能够识别出与用户输入的查询最相关的信息,识别出用户的真实意图。

五、NLP的一般处理流程

1、NLP基础入门_第4张图片

你可能感兴趣的:(自然语言处理,神经网络,机器学习)