AI界三位“教父”获2018年图灵奖，深度学习的尽头究竟在哪？

2019年3月27日，Yoshua Bengio, Geoffrey Hinton 和 Yann LeCun 计算机科学界的最高荣誉——ACM 图灵奖，它被誉为是计算机界的诺贝尔奖。Hinton、LeCun 和 Bengio 独立工作，共同开发了深度学习神经网络领域的概念基础，通过实验和实际工程证明了深度神经网络的优势。

图灵奖得主介绍及主要技术成就

 

Yann LeCun，纽约大学教授，同时也是 Facebook 的副总裁和首席 AI 科学家。ACM 表示 Yann LeCun 主要有三大重要贡献：提出卷积神经网络，改进反向传播算法，拓宽神经网络的视角。

Geoffrey Hinton，谷歌副总裁兼工程研究员，Vector Institute 的首席科学顾问，同时也是多伦多大学的名誉大学教授。Hinton 最重要的贡献来自他 1986 年发明反向传播的论文“Learning Internal Representations by Error Propagation”，1983 年发明的玻尔兹曼机（Boltzmann Machines），以及 2012 年对卷积神经网络的改进。

Yoshua Bengio，蒙特利尔大学教授，魁北克人工智能研究所 Mila 科学主管，Bengio 的主要贡献是在 1990 年代发明的 Probabilistic models of sequences。自 2010 年以来，Bengio 非常关注生成式深度学习，特别是他与 Ian Goodfellow 等研究者提出的生成对抗网络（GAN），这项研究引起了计算机视觉和计算机图形学的革命。

时至今日，几乎我们能听到的所有关于 AI 的重要进展，背后都离不开深度学习。深度神经网络促进了现代计算机科学的极大进步，显著提升了计算机感知世界的能力，正是上述三位获奖者为此奠定了重要基础。

深度学习是否有尽头？

但从去年开始，关于深度学习“寒冬论”、“天花板”的论调频繁出现，不少人认为深度学习似乎遇到了瓶颈，需要特别大、特别深的网络以及大量数据训练。

深度学习确有很多先天缺陷。比如低效率问题，我们都知道数据集的逐渐增大加上正确的训练有助于性能的提高，而样本量的缺少容易出现算法偏差。深度学习模型很浅。人工智能应用程序通过大量数据和深度学习算法的训练可以很好地完成一件事，但却不能应用在另一个方面，到目前为止，还没有一个好的办法可以将训练从一种情况转移到另一种情况。

另外，深度学习算法里还有一个特别棘手的问题，应用不稳定。让这些算法在没有明确编程的情况下接受数据训练和学习，目前为止，深度学习是很难达到预期效果的。

另一个威胁是易受对抗攻击。由于它们的创建方式，深度学习算法可以以意想不到的方式运行 - 或者至少以对我们人类来说似乎不合逻辑的方式运行。鉴于神经网络的不透明性，很难找到它们包含的所有逻辑错误。

但断定深度学习“已死”的论调显然是不合理的，即使可能在未来几年内深度学习无法达到人类水平的认知，我们也会在许多其他领域看到深度学习有巨大的改进。以下是神经网络和深度学习的一些重要趋势。

神经网络和深度学习的发展趋势

• 胶囊网络

胶囊网络 （CapsNet）是Geoffrey Hinton提出的一种新型深层神经网络结构。它们以类似于人脑的方式处理信息。这实质上意味着胶囊网络可以维持层次关系。

这与卷积神经网络形成对比。卷积神经网络未能考虑简单和复杂对象之间存在的关键空间层次结构。这导致错误分类和更高的错误率。胶囊网络弥补了不少缺陷，比如数据量、准确度、训练数据多样性等等，性能更好。

• 深层强化学习

深度强化学习是神经网络的一种形式，它通过观察、行动和奖励与环境交流来学习。深度强化学习（DRL）已经被成功地用于确定游戏策略，比如Atari和Go。著名的AlphaGo项目被用来击败人类冠军，而且也取得了成功。

深度学习有较强的感知能力，但是缺乏一定的决策能力。而深度强化学习还具有决策能力，不仅能利用现有数据，还可以通过对环境的探索获得新数据，并利用新数据循环往复地更新迭代现有模型的机器学习算法，为复杂系统的感知决策问题提供了解决思路。

• 元学习

元学习可帮助模型在少量样本下快速学习，从元学习的使用角度看，人们也称之为少次学习。更具体地，如果训练样本数为 1，则称为一次学习；训练样本数为 K，称为 K 次学习；更极端地，训练样本数为 0，称为零次学习。另外，多任务学习和迁移学习在理论层面上都能归结到元学习的大家庭中。

元学习通过人工智能技术，把算法的设计自动化，降低了应用门槛，使得自动化的人工智能开发成为可能。

• 带记忆模型的网络

区分人类和机器的一个重要方面是工作和思考的能力。毫无疑问，计算机可以预先编程，以极高的精度完成一项特定的任务。但是，当你需要它们在不同的环境中工作时，就会出现问题。

为了使机器能够适应现实世界的环境，神经网络必须能够在不遗忘的情况下学习顺序任务。神经网络需要借助多种强大的体系结构来克服遗忘。这些可以包括：长期内存网络，可以处理和预测时间序列；弹性权重合并算法，可以根据先前完成的任务定义的优先级减慢学习速度；不受遗忘影响的渐进式神经网络，能够从已经学过的网络中提取有用的特征，以用于新的任务。

• 混合学习模式

不同类型的深度神经网络，例如生成对抗网络（Generative adversarial networks, GANs）或DRL，已经在性能和广泛应用层面显示出了巨大的前景。这可以帮助我们实现更好的模型性能和可解释性的模型，从而可以鼓励更广泛的应用。通过概率编程语言的结合进行深度学习，以期看到更深层的学习方法获得贝叶斯等价物。

深度学习不是终点，只是起步

深度学习在近年来能够取得成功得益于两个关键因素：一是计算机运算速度提高数倍；二是深度学习可顺序计算的能力提高。目前深度学习依旧生命力旺盛，深度学习可用的工具和方法也成为了科学和商业中有价值应用的坚实基础。

技术进步，众多行业借助AI赋能产业结构，不断升级换代与创新变革，走在技术前沿的公司也在不断涌现。国内诞生了诸如旷视科技、商汤科技、极链科技Video++、依图科技等优秀人工智能初创企业。人工智能技术迎来了发展的春天，我们期待即将到来的新的革命。