人工智能-----自然语言处理(NLP)基础理解

人工智能的目标

-    推理
-    自动学习&调度
-    机器学习
-    自然语言处理
-    计算机视觉
-    机器人
-    通用智能

人工智能三大阶段

 阶段 1——机器学习：智能系统使用一系列算法从经验中进行学习。

 阶段 2——机器智能：机器使用的一系列从经验中进行学习的高级算法，例如深度神经网络。人工智能目前处于此阶段。

 阶段 3——机器意识：不需要外部数据就能从经验中自学习。

人工智能的类型

ANI（狭义人工智能）：它包含基础的、角色型任务，比如由 Siri、Alexa 这样的聊天机器人、个人助手完成的任务。

AGI（通用人工智能）：通用人工智能包含人类水平的任务，它涉及到机器的持续学习。

ASI（强人工智能）：强人工智能指代比人类更聪明的机器。

什么使得系统智能化？

自然语言处理 | 知识表示 | 自动推理 | 机器学习

什么是自然语言处理？

自然语言处理( Natural Language Processing, NLP)

是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分 [1]  。

自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面

自然语言处理（NLP）是指机器理解并解释人类paralyzes写作、说话方式的能力。

NLP 的目标是让计算机／机器在理解语言上像人类一样智能。最终目标是弥补人类交流（自然语言）和计算机理解（机器语言）之间的差距。

语音识别技术

语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术，也就是让机器听懂人类的语音，其目标是将人类语音中的词汇内容转化为计算机可读的数据。要做到这些，首先必须将连续的讲话分解为词、音素等单位，还需要建立一套理解语义的规则。语音识别技术从流程上讲有前端降噪、语音切割分帧、特征提取、状态匹配几个部分。而其框架可分成声学模型、语言模型和解码三个部分。

基于传统机器学习的自然语言处理技术

自然语言处理可将处理任务进行分类，形成多个子任务，传统的机械学习方法可利用SVM（支持向量机模型）、

Markov（马尔科夫模型）、CRF（条件随机场模型）等方法对自然语言中多个子任务进行处理，进一步提高处理结果的精度。但是，从实际应用效果上来看，仍存在着以下不足：(1)传统机器学习训练模型的性能过于依赖训练集的质量，需要人工标注训练集，降低了训练效率。(2)传统机器学习模型中的训练集在不同领域应用会出现差异较大的应用效果，削弱了训练的适用性，暴露出学习方法单一的弊端。若想让训练数据集适用于多个不同领域，则要耗费大量人力资源进行人工标注。(3)在处理更高阶、更抽象的自然语言时，机器学习无法人工标注出来这些自然语言特征，使得传统机器学习只能学习预先制定的规则，而不能学规则之外的复杂语言特征。

基于深度学习的自然语言处理技术

深度学习是机器学习的一大分支，在自然语言处理中需应用深度学习模型，如卷积神经网络、循环神经网络等，通过对生成的词向量进行学习，以完成自然语言分类、理解的过程。与传统的机器学习相比，基于深度学习的自然语言处理技术具备以下优势：(1)深度学习能够以词或句子的向量化为前提，不断学习语言特征，掌握更高层次、更加抽象的语言特征，满足大量特征工程的自然语言处理要求。(2)深度学习无需专家人工定义训练集，可通过神经网络自动学习高层次特征

NLP整体图系：