人工智能-机器学习-深度学习 概念整理

目录

1. 人工智能-Artificial Intelligence

2. 机器学习-Machine Learning

3.深度学习-Deep Learning

4.人工智能 机器学习 深度学习三者之间的关系

5. 人工智能的流派

6.特征工程-Feature Engineering

7.表示学习

8.贡献度分配

9.独热码

10.word2vec

11.神经网络

12.端到端学习

---

1. 人工智能-Artificial Intelligence

定义：人工智能(Artificial Intelligence)，简称AI。它是研究、开发用于模拟、延申和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是研究使用计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。

人工智能是智能学科的重要组成部分，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。(定义来源于百度百科)

个人理解：人工智能涉及诸如意识、自我、思维等问题，人类对自身的智能理解仍然有限，作为AI专业学生，我很难给出人工智能定义。在查阅资料时，我看到如下观点：1.“人工智能是关于知识的学科--怎样表示知识以及怎样获得知识并使用知识的科学”--来自尼尔逊教授；另一位来自麻省理工学院的温斯顿教授认为：“人工智能就是研究如何使用计算机去做过去只有人才能做的智能工作”。结合我在校园中习得的知识，收获颇多。

    进行了两年关于人工智能本科学习的时期，我认为人工智能本质上就是研究人类智能的活动规律，通过利用计算机去建模、编程、调参、计算而得到类人思维的系统，训练计算机模拟人类的思维去完成一些基本方法与技术。

---

2. 机器学习-Machine Learning

 .   查阅资料时，得到了多家见解，故整理之，希望能够加深理解！

定义：

        机器学习(ML,Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能核心，是使计算机具有智能的根本途径。(该定义来自百度百科)

       机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。机器学习是对能通过经验自动改进的计算机算法的研究，是用数据或以往的经验，以此优化计算机程序的性能标准。

       机器学习常指从有限的训练数据中学习/猜测出具有一般性的规律，并利用这些规律对未知数据进行预测。

对于机器学习的定义，并无完全统一的说辞，可以结合多方话语，进行深度理解：

蒙特利尔大学(Yoshua Bengio)博士：机器学习研究是人工智能研究的一部分，旨在通过数据，观察和与世界的互动为计算机提供知识。获得的知识允许计算机正确地推广到新设置。

Danko Nikolic博士:机器学习是让计算机在没有明确编程的情况下采取行动的科学，而是让他们自己学习一些技巧。

Nvidia:最基本的机器学习是使用算法解析数据，从中学习，然后对世界上某事做出决定或预测的做法。

个人理解： 机器学习就是通过模拟人脑(神经结构、思维方式)来构造模型，给计算机输入参数、样本，通过建立的模型让计算机不断地调参，训练出与实际结果误差小并且结果准确的模型，从而实现某种目标。

    在机器学习中我们学习了很多经典模型，比如SVM支持向量机，决策树，线性回归，感知机等。也学习了一些数据处理和模型优化的方法，LDA线性判别分析、PCA降维等算法。通过对于模型和算法的学习，我对机器学习的目标有了更清晰的理解：代替人类去处理巨量数据从而更精准的预测、分类。

---

3.深度学习-Deep Learning

定义：深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。

       深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。 深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。 (定义来自百度百科)

        深度学习通常是指将原始的数据通过多步的特征转换得到一组具有鲁棒性的特征，并进一步输入到预测算法/模型，得到最终结果。下图为邱锡鹏的《神经网络与深度学习》一书中图片：

                                                       图  深度学习的数据处理流程

个人理解： 深度学习是机器学习领域中的一部分，机器学习是人工智能领域的一部分，三者的关系环环相扣。 在机器学习中，学习方法分为了有监督学习和无监督学习，而深度学习则属于监督学习。 其中，神经网络是深度学习的基础。

    在学习过程中，给我留下深刻印象的概念是，我了解到深度学习是黑箱模型。黑箱模型，意味着深度学习的中间过程不被人掌控，学习的结果也不可控。以往的机器学习算法的结构都是充满逻辑性、流程性，但是神经网络含有巨量的隐藏层，样本数据信息经过每一层就要进行一次拟合，在数以千万计的隐藏层数量级上，深度学习拟合出的结果往往不能够被人类推出。我曾在某文章上看到这样一句话：“拥抱不确定性，爱上深度学习”。顿悟之。

---

4.人工智能 机器学习 深度学习三者之间的关系

前文曾提到 “深度学习是机器学习领域中的一部分，机器学习是人工智能领域的一部分，三者的关系环环相扣”。

机器学习是实现人工智能的一种方式，深度学习是机器学习的子集。

下图为三者的结构关系图：(来自华为云)

---

5. 人工智能的流派

人工智能的三大流派：

. 联结主义 Connectionism

. 符号主义 Symbolicism

. 行为主义 Actionism

        现在发展最火是深度学习-神经网络，属联结主义；符号主义主要代表是上个世纪的专家系统；行为主义的主要贡献于机器人控制系统方面。

人工智能流派的分类及特点：(定义来源于知乎)

符号主义：认为人工智能源于数理逻辑，旨在用数学和物理学中的逻辑符号来表达思维的形成，通过大量的"如果-就"规则定义，产生像人一样的推理和决策。符号主义强调思维过程的逻辑性，侧重于推理和解决问题的思路。它在计算机代数、自然语言处理、语音识别等领域中得到广泛应用。

联结主义：又称仿生学派或生理学派，其主要原理为神经网络及神经网络间的连接机制与学习算法。它通过模拟生物神经系统来实现学习和适应。联结主义认为知识和技能的获取是通过对大量数据进行学习来实现的。在图像识别、语音识别、自然语言处理、游戏等领域中，联结主义取得了不俗的成绩。

行为主义：又称进化主义或控制论学派，其主要原理为控制论及感知-动作型控制系统。行为主义强调对行为和反馈的研究，通过训练和奖惩机制来实现人工智能的学习。行为主义广泛应用于自动控制、机器人、自动驾驶等领域。

---

6.特征工程-Feature Engineering

      “特征工程是一个看起来不值得在任何论文或者书籍中被探讨的一个主题。但是他却对机器学习的成功与否起着至关重要的作用。机器学习算法很多都是由于建立一个学习器能够理解的工程化特征而获得成功的。”——ScottLocklin，in “Neglected machine learning ideas”

定义： (定义来自文章，点击跳转)

       主要指对于数据的人为处理提取，得到我们认为的适合后续模型使用的样式，是人工提取的工程。狭义的特征工程指的是“数据清洗”：处理缺失值，特征选择，维度压缩等各种预处理手段。广义的角度看，这些处理是为了使得数据有更好的表达以便后续应用。

       特征工程（Feature Engineering）是将原始数据转化成更好的表达问题本质的特征的过程，使得将这些特征运用到预测模型中能提高对不可见数据的模型预测精度。

       特征工程就是发现对因变量y有明显影响作用的特征，通常称自变量x为特征，特征工程的目的是发现重要特征。如何分解和聚合原始数据，以更好的表达问题的本质？是做特征工程的目的。特征工程被认为是成功应用机器学习的一个很重要的环节。如何充分利用数据进行预测建模就是特征工程要解决的问题。

个人理解：在查阅网络资料、博客后，我对于特征工程有了初步的理解。特征工程的内容较杂，涉及方面广泛。特征工程主要用于机器学习应用中，处理数据，充分利用数据进行预测建模，数据的特征对于模型好坏与预测结果有着重要影响。

    特征处理部分包括数据预处理，主要处理解决数据的缺失值、异常值等，还处理数据类型的特征转换，如离散化、均值化等。处理数据部分的数学方法多种多样，选择合适的方法处理数据和属性特征，对训练机器学习模型有着重要的帮助。在平时的机器学习实验课中，已经无形的进行过特征工程的操作了。

        分享一篇我读过的知乎文章，文章中对特征工程的描述十分详尽，点击链接跳转。

---

7.表示学习-Representation learning

定义：表示学习(representation learning)，又叫特征学习(feature learning)或者表征学习，一般指模型自动从数据中抽取特征或者表示的方法，是模型自动学习的过程。

        传统的机器学习方法主要依赖人工特征处理与提取；而深度学习则依赖模型自身去学习数据的表示(自动抽取有效特征)。   

        目前应用到表示学习的代表算法有：深度学习、无监督学习、决策树模型。

个人理解： 在网上查阅资料，我对表示学习的理解来源于一个例子：如何表征颜色？  作为三年级学生，本学习我们开设了一门课，数字图像处理。老师为我们讲解 要使用RGB表征法去表示数字化的图像，R,G,B分别代表着三个向量，由红绿蓝三基色构成。使用1比特，范围是[0,256]来表示不同的颜色。这样就可以便利的表示出图像的数字化形式了，不仅表征能力强，而且可以进行计算。这就是表示学习的精华。   这个例子给了我启发，在浅层面上理解了表示学习的作用和意义。

参考文章，点击链接跳转。

---

8.贡献度分配-Credit Assignment Problem

定义：贡献度分配(Credit Assignment Problem)指一个系统中不同的组件（component）或其参数对最终系统输出结果的贡献或影响．以下围棋为例，每当下完一盘棋，最后的结果要么赢要么输．我们会思考哪几步棋导致了最后的胜利，或者又是哪几步棋导致了最后的败局。如何判断每一步棋的贡献就是贡献度分配问题。贡献度分配问题的存在使得深度学习和神经网络联系很紧密。

---

9.独热码-One-Hot Encoding

定义：独热编码(One-Hot) ，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。对于每一个特征，如果它有m个可能值，那么经过独热编码后，就变成了m个二元特征。并且，这些特征互斥，每次只有一个激活。

       独热编码解决了分类器不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用，用来解决类别型数据的离散值问题。(定义来自文章)

个人理解：结合自己在大数据挖掘与分析课程和数字图像处理课程的学习后，我对独热码印象最深刻的环节就是RGB三基色图的独热码表示。用R、G、B分别表示三个向量，每个向量的类型类似于Python中Numpy的array数据类型，array里分别只有0、1，用来表示R,G,B三种不同颜色在同一个像素值上的颜色表示程度。我认为将离散数据表示为独热码，可以非常直观的用数据来展示问题的本质，并且方便计算机的计算。

---

10.word2vec

定义：Word2Vec是语言模型中的一种，它是从大量文本预料中以无监督方式学习语义知识的模型，被广泛地应用于自然语言处理中。Word2Vec是用来生成词向量的工具，而词向量与语言模型有着密切的关系。Word2vec 是 Word Embedding 方式之一，属于 NLP 领域。他是将词转化为「可计算」「结构化」的向量的过程。(定义来自文章)

个人理解：word2Vec这个概念是我第一次遇见，在网上查看了几篇优秀博客后，不敢说全部理解，只能算大概了解了它的基本概念和应用场景。首先我了解到word2Vec是一种语言模型，被广泛应用于自然语言处理方面上。在此之前我未接触过自然语言处理概念的研究，这是一个很宽泛的领域。

故给大家推荐一篇优秀博客，在这里挂上链接：

深入浅出Word2Vec原理解析 - 知乎 (zhihu.com)

---

11.神经网络-Neural Network

定义：神经网络（Neural Network）也被称为人工神经网络(ANN)，是深度学习算法的核心，也是机器学习的子集。它的灵感来源于人脑内部的神经元，模仿生物神经元之间相互传递信号的方式，从而达到学习经验的目的。

      神经网络依靠训练数据来学习，并随时间推移提高自身准确性。 而一旦这些学习算法经过了调优，提高了准确性，它们就会成为计算机科学和人工智能领域的强大工具，使我们能够快速对数据进行分类和聚类。

       人工神经网络由节点层组成，包含一个输入层、一个或多个隐藏层和一个输出层。 每个节点也称为一个人工神经元，它们连接到另一个节点，具有相关的权重和阈值。 如果任何单个节点的输出高于指定的阈值，那么会激活该节点，并将数据发送到网络的下一层。 否则，不会将数据传递到网络的下一层。(定义来源于文章)

个人理解：结合老师在课上的讲解，我理解到神经网络是深度学习的重要算法，神经网络模型来源于感知机模型，最初的感知机模型只有一层隐层。随着时间的推移和问题的复杂化，人们发现感知机模型无法解决异或问题，之后，人们提出了多层前馈神经网络，即增加了多层隐层，是感知机模型得到了质的提升。在现在社会，神经网络模型的隐层数量级甚至可以达到上亿，可以解决图像处理和语音识别等问题。

(膜拜一下大神Geoffery Hinton ！祝愿我的AI学业蒸蒸日上！！)

---

12.端到端学习-end-to-end learning

定义：不经过复杂的中间建模过程，从输入端到输出端会得到一个预测的结果，这个预测的结果与标记的真实数据之间会进行计算，得到误差结果。然后采用如梯度下降的方法使得误差结果减少，模型最终达到收敛，输出最终的结果，则就是端到端的学习过程。端到端的学习可以大量的减少人为标注的工作量，同时可以使得预测的结果更能符合预期的要求。 ----wiki对端到端学习的定义

个人理解：传统深度学习有一些数据处理系统或者学习系统，它们需要多个阶段的处理。而端到端深度学习忽略所有这些阶段，用单个神经网络代替它。随着数据量和各种各样的复杂数据的出现，神经网络便发挥了一些作用。一般来说，可以直接输入原始数据，通过多层网络，自动提取特征，最后输出结果。对于图像类的数据，有了卷积神经网络。

        对于文本类的数据，又出现了递归神经网络。这些网络，一般都是直接输入原始图像或文本。这时，就是我们所说的端对端，即输入是原始数据，输出就是我们想要的结果。(该段理解受文章启发，点击链接可跳转)