深度神经网络和人工神经网络区别

深度神经网络和人工神经网络区别_第1张图片

深度学习和神经网络的区别是什么?

这两个概念实际上是互相交叉的,例如,卷积神经网络(Convolutionalneuralnetworks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(DeepBeliefNets,简称DBNs)就是一种无监督学习下的机器学习模型。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。

此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。

深度学习和神经网络的区别是什么?

从广义上说深度学习的网络结构也是多层神经网络的一种AI爱发猫 www.aifamao.com。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定,没有明确的理论推导来说明到底多少层合适。

而深度学习中最著名的卷积神经网络CNN,在原来多层神经网络的基础上,加入了特征学习部分,这部分是模仿人脑对信号处理上的分级的。

具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层,而且加入的是一个层级。

输入层-卷积层-降维层-卷积层-降维层--....--隐藏层-输出层简单来说,原来多层神经网络做的步骤是:特征映射到值。特征是人工挑选。深度学习做的步骤是信号->特征->值。

特征是由网络自己选择。

神经网络、深度学习、机器学习是什么?有什么区别和联系?

深度学习是由深层神经网络+机器学习造出来的词。深度最早出现在deepbeliefnetwork(深度(层)置信网络)。其出现使得沉寂多年的神经网络又焕发了青春。

GPU使得深层网络随机初始化训练成为可能。resnet的出现打破了层次限制的魔咒,使得训练更深层次的神经网络成为可能。深度学习是神经网络的唯一发展和延续。

在现在的语言环境下,深度学习泛指神经网络,神经网络泛指深度学习。在当前的语境下没有区别。定义生物神经网络主要是指人脑的神经网络,它是人工神经网络的技术原型。

人脑是人类思维的物质基础,思维的功能定位在大脑皮层,后者含有大约10^11个神经元,每个神经元又通过神经突触与大约103个其它神经元相连,形成一个高度复杂高度灵活的动态网络。

作为一门学科,生物神经网络主要研究人脑神经网络的结构、功能及其工作机制,意在探索人脑思维和智能活动的规律。

人工神经网络是生物神经网络在某种简化意义下的技术复现,作为一门学科,它的主要任务是根据生物神经网络的原理和实际应用的需要建造实用的人工神经网络模型,设计相应的学习算法,模拟人脑的某种智能活动,然后在技术上实现出来用以解决实际问题。

因此,生物神经网络主要研究智能的机理;人工神经网络主要研究智能机理的实现,两者相辅相成。

神经网络与深度神经网络有什么区别

人工智能,机器学习和深度学习的区别是什么

为了搞清三者关系,我们来看一张图:如图所示:人工智能最大,此概念也最先问世;然后是机器学习,出现的稍晚;最后才是深度学习。

从低潮到繁荣自从1956年计算机科学家们在达特茅斯会议(DartmouthConferences)上确认人工智能这个术语以来,人们就不乏关于人工智能奇思妙想,研究人员也在不遗余力地研究。

在此后的几十年间,人工智能先是被捧为人类文明光明未来的钥匙,后又被当作过于自大的异想天开而抛弃。但是在过去几年中,人工智能出现了爆炸式的发展,尤其是2015年之后。

大部分原因,要归功于图形处理器(GPU)的广泛应用,使得并行处理更快、更便宜、更强大。

另外,人工智能的发展还得益于几乎无限的存储空间和海量数据的出现(大数据运动):图像、文本、交易数据、地图数据,应有尽有。下面我们从发展的历程中来一一展开对人工智能、机器学习和深度学习的深度学习。

人工智能人工智能先驱们在达特茅斯开会时,心中的梦想是希望通过当时新兴的计算机,打造拥有相当于人类智能的复杂机器。

这就是我们所说的“通用人工智能”(GeneralAI)概念,拥有人类五感(甚至更多)、推理能力以及人类思维方式的神奇机器。

在电影中我们已经看过无数这样的机器人,对人类友好的C-3PO,以及人类的敌人终结者。通用人工智能机器至今只存在于电影和科幻小说里,理由很简单:我们还实现不了,至少目前为止。

我们力所能及的,算是“弱人工智能”(NarrowAI):执行特定任务的水平与人类相当,甚至超越人类的技术。现实中有很多弱人工智能的例子。这些技术有人类智能的一面。但是它们是如何做到的?智能来自哪里?

这就涉及到下一个同心圆:机器学习。机器学习机器学习是实现人工智能的一种方法。机器学习的概念来自早期的人工智能研究者,已经研究出的算法包括决策树学习、归纳逻辑编程、增强学习和贝叶斯网络等。

简单来说,机器学习就是使用算法分析数据,从中学习并做出推断或预测。与传统的使用特定指令集手写软件不同,我们使用大量数据和算法来“训练”机器,由此带来机器学习如何完成任务。

许多年来,计算机视觉一直是机器学习最佳的领用领域之一,尽管还需要大量的手动编码才能完成任务。

研究者会手动编写一些分类器(classifier),如边缘检测筛选器,帮助程序辨别物体的边界;图形检测分类器,判断物体是否有八个面;以及识别“S-T-O-P”的分类器。

在这些手动编写的分类器的基础上,他们再开发用于理解图像的算法,并学习如何判断是否有停止标志。但是由于计算机视觉和图像检测技术的滞后,经常容易出错。深度学习深度学习是实现机器学习的一种技术。

早期机器学习研究者中还开发了一种叫人工神经网络的算法,但是发明之后数十年都默默无闻。神经网络是受人类大脑的启发而来的:神经元之间的相互连接关系。

但是,人类大脑中的神经元可以与特定范围内的任意神经元连接,而人工神经网络中数据传播要经历不同的层,传播方向也不同。举个例子,你可以将一张图片切分为小块,然后输入到神经网络的第一层中。

在第一层中做初步计算,然后神经元将数据传至第二层。由第二层神经元执行任务,依次类推,直到最后一层,然后输出最终的结果。每个神经元都会给其输入指定一个权重:相对于执行的任务该神经元的正确和错误程度。

最终的输出由这些权重共同决定。因此,我们再来看看上面提到的停止标志示例。一张停止标志图像的属性,被一一细分,然后被神经元“检查”:形状、颜色、字符、标志大小和是否运动。

神经网络的任务是判断这是否是一个停止标志。它将给出一个“概率向量”(probabilityvector),这其实是基于权重做出的猜测结果。

在本文的示例中,系统可能会有86%的把握认定图像是一个停止标志,7%的把握认为是一个限速标志,等等。网络架构然后会告知神经网络其判断是否正确。

不过,问题在于即使是最基础的神经网络也要耗费巨大的计算资源,因此当时不算是一个可行的方法。

不过,以多伦多大学GeoffreyHinton教授为首的一小批狂热研究者们坚持采用这种方法,最终让超级计算机能够并行执行该算法,并证明该算法的作用。

如果我们回到停止标志那个例子,很有可能神经网络受训练的影响,会经常给出错误的答案。这说明还需要不断的训练。

它需要成千上万张图片,甚至数百万张图片来训练,直到神经元输入的权重调整到非常精确,几乎每次都能够给出正确答案。

不过值得庆幸的是Facebook利用神经网络记住了你母亲的面孔;吴恩达2012年在谷歌实现了可以识别猫的神经网络。

如今,在某些情况下,通过深度学习训练过的机器在图像识别上表现优于人类,这包括找猫、识别血液中的癌症迹象等。谷歌的AlphaGo学会了围棋,并为比赛进行了大量的训练:不断的和自己比赛。

总结人工智能的根本在于智能,而机器学习则是部署支持人工智能的计算方法。简单的将,人工智能是科学,机器学习是让机器变得更加智能的算法,机器学习在某种程度上成就了人工智能。

本文作者MichaelCopeland曾是WIRED编辑,现在是硅谷知名投资机构AndreessenHorowitz的合伙人。

人工智能,机器学习和深度学习之间的区别和联系

有人说,人工智能(AI)是未来,人工智能是科幻,人工智能也是我们日常生活中的一部分。这些评价可以说都是正确的,就看你指的是哪一种人工智能。

今年早些时候,GoogleDeepMind的AlphaGo打败了韩国的围棋大师李世乭九段。

在媒体描述DeepMind胜利的时候,将人工智能(AI)、机器学习(machinelearning)和深度学习(deeplearning)都用上了。

这三者在AlphaGo击败李世乭的过程中都起了作用,但它们说的并不是一回事。今天我们就用最简单的方法——同心圆,可视化地展现出它们三者的关系和应用。

如上图,人工智能是最早出现的,也是最大、最外侧的同心圆;其次是机器学习,稍晚一点;最内侧,是深度学习,当今人工智能大爆炸的核心驱动。五十年代,人工智能曾一度被极为看好。

之后,人工智能的一些较小的子集发展了起来。先是机器学习,然后是深度学习。深度学习又是机器学习的子集。深度学习造成了前所未有的巨大的影响。

从概念的提出到走向繁荣1956年,几个计算机科学家相聚在达特茅斯会议(DartmouthConferences),提出了“人工智能”的概念。

其后,人工智能就一直萦绕于人们的脑海之中,并在科研实验室中慢慢孵化。之后的几十年,人工智能一直在两极反转,或被称作人类文明耀眼未来的预言;或者被当成技术疯子的狂想扔到垃圾堆里。

坦白说,直到2012年之前,这两种声音还在同时存在。过去几年,尤其是2015年以来,人工智能开始大爆发。很大一部分是由于GPU的广泛应用,使得并行计算变得更快、更便宜、更有效。

当然,无限拓展的存储能力和骤然爆发的数据洪流(大数据)的组合拳,也使得图像数据、文本数据、交易数据、映射数据全面海量爆发。

让我们慢慢梳理一下计算机科学家们是如何将人工智能从最早的一点点苗头,发展到能够支撑那些每天被数亿用户使用的应用的。

| 人工智能(ArtificialIntelligence)——为机器赋予人的智能早在1956年夏天那次会议,人工智能的先驱们就梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。

这就是我们现在所说的“强人工智能”(GeneralAI)。这个无所不能的机器,它有着我们所有的感知(甚至比人更多),我们所有的理性,可以像我们一样思考。

人们在电影里也总是看到这样的机器:友好的,像星球大战中的C-3PO;邪恶的,如终结者。强人工智能现在还只存在于电影和科幻小说中,原因不难理解,我们还没法实现它们,至少目前还不行。

我们目前能实现的,一般被称为“弱人工智能”(NarrowAI)。弱人工智能是能够与人一样,甚至比人更好地执行特定任务的技术。例如,Pinterest上的图像分类;或者Facebook的人脸识别。

这些是弱人工智能在实践中的例子。这些技术实现的是人类智能的一些具体的局部。但它们是如何实现的?这种智能是从何而来?这就带我们来到同心圆的里面一层,机器学习。

| 机器学习——一种实现人工智能的方法机器学习最基本的做法,是使用算法来解析数据、从中学习,然后对真实世界中的事件做出决策和预测。

与传统的为解决特定任务、硬编码的软件程序不同,机器学习是用大量的数据来“训练”,通过各种算法从数据中学习如何完成任务。机器学习直接来源于早期的人工智能领域。

传统算法包括决策树学习、推导逻辑规划、聚类、强化学习和贝叶斯网络等等。众所周知,我们还没有实现强人工智能。早期机器学习方法甚至都无法实现弱人工智能。

机器学习最成功的应用领域是计算机视觉,虽然也还是需要大量的手工编码来完成工作。

人们需要手工编写分类器、边缘检测滤波器,以便让程序能识别物体从哪里开始,到哪里结束;写形状检测程序来判断检测对象是不是有八条边;写分类器来识别字母“ST-O-P”。

使用以上这些手工编写的分类器,人们总算可以开发算法来感知图像,判断图像是不是一个停止标志牌。这个结果还算不错,但并不是那种能让人为之一振的成功。

特别是遇到云雾天,标志牌变得不是那么清晰可见,又或者被树遮挡一部分,算法就难以成功了。这就是为什么前一段时间,计算机视觉的性能一直无法接近到人的能力。它太僵化,太容易受环境条件的干扰。

随着时间的推进,学习算法的发展改变了一切。

| 深度学习——一种实现机器学习的技术人工神经网络(ArtificialNeuralNetworks)是早期机器学习中的一个重要的算法,历经数十年风风雨雨。

神经网络的原理是受我们大脑的生理结构——互相交叉相连的神经元启发。但与大脑中一个神经元可以连接一定距离内的任意神经元不同,人工神经网络具有离散的层、连接和数据传播的方向。

例如,我们可以把一幅图像切分成图像块,输入到神经网络的第一层。在第一层的每一个神经元都把数据传递到第二层。第二层的神经元也是完成类似的工作,把数据传递到第三层,以此类推,直到最后一层,然后生成结果。

每一个神经元都为它的输入分配权重,这个权重的正确与否与其执行的任务直接相关。最终的输出由这些权重加总来决定。我们仍以停止(Stop)标志牌为例。

将一个停止标志牌图像的所有元素都打碎,然后用神经元进行“检查”:八边形的外形、救火车般的红颜色、鲜明突出的字母、交通标志的典型尺寸和静止不动运动特性等等。

神经网络的任务就是给出结论,它到底是不是一个停止标志牌。神经网络会根据所有权重,给出一个经过深思熟虑的猜测——“概率向量”。

这个例子里,系统可能会给出这样的结果:86%可能是一个停止标志牌;7%的可能是一个限速标志牌;5%的可能是一个风筝挂在树上等等。然后网络结构告知神经网络,它的结论是否正确。

即使是这个例子,也算是比较超前了。直到前不久,神经网络也还是为人工智能圈所淡忘。其实在人工智能出现的早期,神经网络就已经存在了,但神经网络对于“智能”的贡献微乎其微。

主要问题是,即使是最基本的神经网络,也需要大量的运算。神经网络算法的运算需求难以得到满足。

不过,还是有一些虔诚的研究团队,以多伦多大学的GeoffreyHinton为代表,坚持研究,实现了以超算为目标的并行算法的运行与概念证明。但也直到GPU得到广泛应用,这些努力才见到成效。

我们回过头来看这个停止标志识别的例子。神经网络是调制、训练出来的,时不时还是很容易出错的。它最需要的,就是训练。

需要成百上千甚至几百万张图像来训练,直到神经元的输入的权值都被调制得十分精确,无论是否有雾,晴天还是雨天,每次都能得到正确的结果。

只有这个时候,我们才可以说神经网络成功地自学习到一个停止标志的样子;或者在Facebook的应用里,神经网络自学习了你妈妈的脸;又或者是2012年吴恩达(AndrewNg)教授在Google实现了神经网络学习到猫的样子等等。

吴教授的突破在于,把这些神经网络从基础上显著地增大了。层数非常多,神经元也非常多,然后给系统输入海量的数据,来训练网络。在吴教授这里,数据是一千万YouTube视频中的图像。

吴教授为深度学习(deeplearning)加入了“深度”(deep)。这里的“深度”就是说神经网络中众多的层。

现在,经过深度学习训练的图像识别,在一些场景中甚至可以比人做得更好:从识别猫,到辨别血液中癌症的早期成分,到识别核磁共振成像中的肿瘤。

Google的AlphaGo先是学会了如何下围棋,然后与它自己下棋训练。它训练自己神经网络的方法,就是不断地与自己下棋,反复地下,永不停歇。

| 深度学习,给人工智能以璀璨的未来深度学习使得机器学习能够实现众多的应用,并拓展了人工智能的领域范围。深度学习摧枯拉朽般地实现了各种任务,使得似乎所有的机器辅助功能都变为可能。

无人驾驶汽车,预防性医疗保健,甚至是更好的电影推荐,都近在眼前,或者即将实现。人工智能就在现在,就在明天。有了深度学习,人工智能甚至可以达到我们畅想的科幻小说一般。

你的C-3PO我拿走了,你有你的终结者就好了。

深度学习和深度神经网络的AI有什么区别

AI就是人工智能(ArtificialIntelligence)的简称。机器学习:一种实现人工智能的方法,机器学习最基本的做法,是使用算法来解析数据、从中学习,然后对真实世界中的事件做出决策和预测。

机器学习算法可以分为监督学习(如分类问题)、无监督学习(如聚类问题)、半监督学习、集成学习、深度学习和强化学习。深度学习:一种实现机器学习的技术。

深度学习本来并不是一种独立的学习方法,其本身也会用到有监督和无监督的学习方法来训练深度神经网络。最初的深度学习是利用深度神经网络来解决特征表达的一种学习过程。

深度神经网络本身并不是一个全新的概念,可大致理解为包含多个隐含层的神经网络结构。

深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习的概念源于人工神经网络的研究。

含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。

一篇文章讲清楚人工智能,机器学习和深度学习的区别

先看一下三者的关系:对于人工智能,我们可以从广义和狭义两个层面来理解。广义层面来讲,AI应该具备人类智力的所有特征,包括上述的能力。

狭义层面的人工智能则只具备部分人类智力某些方面的能力,并且能在这些领域内做的非常出众,但可能缺乏其他领域的能力。

比如说,一个人工智能机器可能拥有强大的图像识别功能,但除此之外并无他用,这就是狭义层面AI的例子。从核心上来说,机器学习是实现人工智能的一种途径。

实际上,机器学习是一种“训练”算法的方式,目的是使机器能够向算法传送大量的数据,并允许算法进行自我调整和改进,而不是利用具有特定指令的编码软件例程来完成指定的任务。

举个例子,机器学习已经被用于计算机视觉(机器具备识别图像或视频中的对象的能力)方面,并已经有了显著的进步。你可以收集数十万甚至数百万张图片,然后让人标记它们。例如,让人标记出其中含有猫的图片。

对于算法,它也能够尝试建立一个模型,可以像人一样准确地标记出含有猫的图片。一旦精度水平足够高,机器就相当于“掌握”了猫的样子。深度学习是机器学习的众多方法之一。

其他方法包括决策树学习、归纳逻辑编程、聚类、强化学习和贝叶斯网络等。深度学习的灵感来自大脑的结构和功能,即许多神经元的互连。人工神经网络(ANN)是模拟大脑生物结构的算法。

在ANN中,存在具有离散层和与其他“神经元”连接的“神经元”。每个图层挑选出一个要学习的特征,如图像识别中的曲线/边缘。

正是这种分层赋予了“深度学习”这样的名字,深度就是通过使用多层创建的,而不是单层。人工智能和物联网密不可分我认为人工智能和物联网之间的关系类似于人类的大脑和身体之间的关系。

我们的身体收集感官输入,如视觉、声音和触摸。我们的大脑接收、处理这些数据并寻求它们的意义,比如:把光变成可识别的对象、把声音变成可以理解的语言。

然后大脑会做出决定、向身体发送信号,命令身体执行一些运动,例如捡起物品或对他人说话。构成物联网的所有传感器都像我们的身体,它们提供了来自世界各处的原始数据。

人工智能就像我们的大脑,需要能够了解这些数据并决定要执行的操作。同时,物联网的连接设备又像是我们的身体,能够进行物理动作或与他人进行交流,以释放彼此的潜力。

一篇文章搞懂人工智能,机器学习和深度学习之间的区别

人工智能最大,此概念也最先问世;然后是机器学习,出现的稍晚;最后才是深度学习。人工智能人工智能先驱们在达特茅斯开会时,心中的梦想是希望通过当时新兴的计算机,打造拥有相当于人类智能的复杂机器。

这就是我们所说的“通用人工智能”(GeneralAI)概念,拥有人类五感(甚至更多)、推理能力以及人类思维方式的神奇机器。

在电影中我们已经看过无数这样的机器人,对人类友好的C-3PO,以及人类的敌人终结者。通用人工智能机器至今只存在于电影和科幻小说里,理由很简单:我们还实现不了,至少目前为止。

我们力所能及的,算是“弱人工智能”(NarrowAI):执行特定任务的水平与人类相当,甚至超越人类的技术。现实中有很多弱人工智能的例子。这些技术有人类智能的一面。但是它们是如何做到的?智能来自哪里?

这就涉及到下一个同心圆:机器学习。机器学习机器学习是实现人工智能的一种方法。机器学习的概念来自早期的人工智能研究者,已经研究出的算法包括决策树学习、归纳逻辑编程、增强学习和贝叶斯网络等。

简单来说,机器学习就是使用算法分析数据,从中学习并做出推断或预测。与传统的使用特定指令集手写软件不同,我们使用大量数据和算法来“训练”机器,由此带来机器学习如何完成任务。

许多年来,计算机视觉一直是机器学习最佳的领用领域之一,尽管还需要大量的手动编码才能完成任务。

研究者会手动编写一些分类器(classifier),如边缘检测筛选器,帮助程序辨别物体的边界;图形检测分类器,判断物体是否有八个面;以及识别“S-T-O-P”的分类器。

在这些手动编写的分类器的基础上,他们再开发用于理解图像的算法,并学习如何判断是否有停止标志。但是由于计算机视觉和图像检测技术的滞后,经常容易出错。深度学习深度学习是实现机器学习的一种技术。

早期机器学习研究者中还开发了一种叫人工神经网络的算法,但是发明之后数十年都默默无闻。神经网络是受人类大脑的启发而来的:神经元之间的相互连接关系。

但是,人类大脑中的神经元可以与特定范围内的任意神经元连接,而人工神经网络中数据传播要经历不同的层,传播方向也不同。举个例子,你可以将一张图片切分为小块,然后输入到神经网络的第一层中。

在第一层中做初步计算,然后神经元将数据传至第二层。由第二层神经元执行任务,依次类推,直到最后一层,然后输出最终的结果。每个神经元都会给其输入指定一个权重:相对于执行的任务该神经元的正确和错误程度。

最终的输出由这些权重共同决定。因此,我们再来看看上面提到的停止标志示例。一张停止标志图像的属性,被一一细分,然后被神经元“检查”:形状、颜色、字符、标志大小和是否运动。

神经网络的任务是判断这是否是一个停止标志。它将给出一个“概率向量”(probabilityvector),这其实是基于权重做出的猜测结果。

在本文的示例中,系统可能会有86%的把握认定图像是一个停止标志,7%的把握认为是一个限速标志,等等。网络架构然后会告知神经网络其判断是否正确。

不过,问题在于即使是最基础的神经网络也要耗费巨大的计算资源,因此当时不算是一个可行的方法。

不过,以多伦多大学GeoffreyHinton教授为首的一小批狂热研究者们坚持采用这种方法,最终让超级计算机能够并行执行该算法,并证明该算法的作用。

如果我们回到停止标志那个例子,很有可能神经网络受训练的影响,会经常给出错误的答案。这说明还需要不断的训练。

它需要成千上万张图片,甚至数百万张图片来训练,直到神经元输入的权重调整到非常精确,几乎每次都能够给出正确答案。

不过值得庆幸的是Facebook利用神经网络记住了你母亲的面孔;吴恩达2012年在谷歌实现了可以识别猫的神经网络。

如今,在某些情况下,通过深度学习训练过的机器在图像识别上表现优于人类,这包括找猫、识别血液中的癌症迹象等。谷歌的AlphaGo学会了围棋,并为比赛进行了大量的训练:不断的和自己比赛。

深度学习跟人工智能有什么区别或者联系吗?

你可能感兴趣的:(dnn,深度学习,机器学习)