随着人工智能的应用范围普及和扩大,大家对人工神经网络(学习单元)也渐渐耳闻目染。下面 就简单的为大家介绍下神经网络在人工智能中扮演的角色和发展历史。
其实早在 1943 年,美国心理学家 W·Mcculloch 和数理逻辑学家 W ·Pitts 在分析、总结神经 元基本特性的基础上首先提出神经元的数学模型(简称 MP 模型)。该模型一直沿用至今,并且直接 影响着这一领域研究的进展。算是人工神经网络研究的先驱。
接着在 1945 年,美籍匈牙利人冯·诺依曼(在现代计算机、博弈论、核武器和生化武器都有建 树,难得的全才之一)领导的设计小组试制成功存储程序式电子计算机,标志着电子计算机时代的开 始。1948 年,他在研究工作中比较了人脑结构与存储程序式计算机的根本区别,提出了以简单神经 元构成的再生自动机网络结构。但是,由于指令存储式计算机技术的发展非常迅速,迫使他放弃了 神经网络研究的新途径,继续投身于指令存储式计算机技术的研究,通过他的手稿整理出《计算机 与人脑》,也算是人工神经网络研究的先驱之一。
50 年代末是计算机神经网络研究的第一次黄金时期;当时世界上许多实验室仿效制作感知机, 分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。比如 F·Rosenblatt 设计制作了“感知机”,它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探 讨付诸工程实践。
不过在当时“感知机”对逻辑学里面的一个基本问题“XOR(异或,exclusive OR)”却无能无 力。况且当时逻辑式数字计算机的发展也处于全盛时期,许多人误以为数字计算机可以解决人工智 能、模式识别、专家系统等方面的一切问题,使感知机的工作得不到重视;再加上当时的电子技术 工艺水平比较落后,主要的元件是电子管或晶体管,利用它们制作的神经网络体积庞大,价格昂贵, 要制作在规模上与真实的神经网络相似是完全不可能的;大批研究人员对于人工神经网络的前景 失去信心,因此在 60 年代末期,人工神经网络的研究进入了低潮。
80 年代初期,模拟与数字混合的超大规模集成电路制作技术提高到新的水平,完全付诸实用化, 而数字计算机的发展也在一些特定的应用领域遇到困难,人们重新认识到神经网络的威力以及付 诸应用的现实性。由 Rumelhart 和 McClel-land 为首的科学家提出的 BP 算法 (back propagation), 是一 种按照误差逆向传播算法训练的多层前馈神经网络,给人工神经网络带来了新的希望,并且 该方法在浅层神经网络模型的非常有效。以及 Hopfield 提出的 HNN 算法(一种具有循环、递归特 性,结合存储和二元系统的神经网络。)等基于统计模型的机器学习算法,形成了 80 年代中期以来人工神经网络的第二次研究热潮。
进入 21 世纪,得益于大数据和运算力的提高,浅层学习模型在互联网应用中取得了巨大成功, 如搜索广告系统(Google的AdWords、百度的凤巢系统)的广告点击率CTR预估、网页搜素排序(如 Yahoo、Google、百度的搜索引擎)、垃圾邮件过滤系统、以及个性化推荐(Amazon 等)。并且随着 要求的提高,开始由浅层网络向深层网络研究。
在 2006 年前,有关深度网络架构的学习都以失败告终,从而导致 ANN (Artificial Neutral Network,人工神经网络)只有一层或两层隐藏层。2006 年,受 Hinton 的革命性的深度信念网(Deep Belief Networks,DBNs)的引导,才将深度学习带入热潮,将其从边缘学科变为主流科学与技术。目前 深度学习在计算机视觉、语音识别、自然语言处理等领域取得了巨大的成功。
支持深度学习的一个重要依据,就是脑神经系统的确具有丰富的层次结构。随着计算机硬件计 算能力越来越强,用来训练的数据越来越多,神经网络变得越来越复杂。在人工智能领域常听到 DNN (深度神经网络)、CNN (卷积神经网络)、RNN(递归神经网络)。其中,DNN 是总称,指层数非 常多的网络,通常有二十几层,具体可以是 CNN 或 RNN 等网络结构。
一个最著名的例子就是 Hubel-Wiesel 模型,由于揭示了视觉神经的机理而曾获得诺贝尔医学 与生理学奖。除了仿生学的角度,目前深度学习的理论研究还基本处于起步阶段,但在应用领域已 显现出巨大能量。2011 年以来,微软研究院和 Google 的语音识别研究人员先后采用 DNN 技术降 低语音识别错误率 20%~30%,是语音识别领域十多年来最大的突破性进展。2012 年,DNN 技术在 图像识别领域取得惊人的效果,在 ImageNet 评测上将错误率从 26%降低到 15%。
如今 Google、微软、百度、Facebook、Twitter、Alibaba 等知名的拥有大数据的高科技公司争 相投入资源,占领神经网络下一步的技术制高点——深度学习;在大数据时代,更加复杂且更加强大 的深度模型能深刻揭示海量数据里所承载的复杂而丰富的信息,并对未来或未知事件做更精准的 预测;而对于真正意义上的人工智能(类似影片里那样),还有很长的一段路要走。
[1]. 神经网络小史[N]. 电子报,2018-11-18(011).