三教父神仙打架！AI瓶颈问题的三个解决方案！

2018年ACM图灵奖获得者也是AI界的三位教父：Geoffrey Hinton，Yann LeCun和Yoshua Bengio在周三晚上AAAI 2020举办的活动上进行了分享和互动。在个人讲座和小组讨论中，他们讨论了对深度学习当前面临的挑战及其发展方向的看法。

 

 

报道素材源自Synced Review，

原文链接：

https://medium.com/syncedreview/aaai-2020-whats-next-for-deep-learning-hinton-lecun-and-bengio-share-their-visions-e29385dcaed5

 

深度学习瓶颈已经来临

约翰·霍普金斯大学教授和计算机视觉的开创者之一Alan Yuille早在去年就警告说，深度学习在计算机视觉领域的瓶颈即将到来。2019后半年，关于AI寒冬期到来的言论更是如雨后春笋般纷纷冒出。当年深度学习的三位先驱用开创性的成果将我们带入了一个辉煌的时代，时至今日，他们又提出了怎样的新想法来突破瓶颈呢？

 

Hinton：胶囊自动编码器前进了

现在可以识别物体的方法有两种：一种是传统的基于模块化表示形式的模型，但这通常需要进行大量手工操作，难以实现深层次结构。第二种是我们熟悉的卷积神经网络（CNN），它可以端到端地学习一切知识，从而来获得巨大的成功，但是它们对物体的识别方式与人类感知方式有很大不同。他亲自对LeCun说：“以下是CNN的问题，以及它们为什么是垃圾。”

 

 

CNN旨在应付翻译，但它们不能很好地处理视点变化的影响，例如旋转和缩放。一种明显的方法是使用4D或6D映射而不是2D映射，但这非常昂贵。因此，CNN通常在许多不同的视点上进行训练，以使它们能够跨视点进行概括。“这不是很有效，”Hinton表示。“我们希望神经网络能够毫不费力地将其推广到新视点。如果它学会了识别某些东西，那么即使你将其放大10倍并旋转60度，也不会造成任何问题。”而答案就是胶囊神经网络。胶囊指的是一组学习代表熟悉的形状或部分的神经元。Hinton的想法是在神经网络中构建更多结构，并希望这些结构有助于它们更好地泛化。胶囊是一种纠正CNN错误的方法。

 

Hinton推出胶囊模型是Stacked Capsule Auto-encoders， 它首次出现在NeurIPS 2019上，与ICLR 2018和NIPS 2017以前的胶囊版本有很大不同。之前的版本使用了判别性学习，即使Hinton当时就知道这是一个坏主意：“我一直都知道无监督学习是正确的做法，因此，做以前的模型是不诚实的。” 2019年的胶囊开始使用无监督学习。

 

LeCun：我错了，应该立即抛弃监督学习并开始进行自监督学习

LeCun今天的表现似乎比较弱势，先被人直接怼自己的研究成果，又向对方承认错误......LeCun指出，尽管监督学习在诸如语音识别和内容理解等方面已被证明是成功的，但仍需要大量标记的样本。强化学习在游戏和模拟中都非常有用，但是也需要太多的尝试，因此在现实世界中并不适用。LeCun讨论的第一个挑战是如何让模型通过更少的标签，更少的样本或更少的试验来学习更多。

 

 

LeCun表示他现在支持Hinton在15年前首次提出的无监督学习（自监督学习）解决方案。“基本上，这是在学习一项任务之前先学会代表对于世界的想法，这就是婴儿所做的事情。真正弄清楚人类如何如此快速有效学习的关键可能也是是释放自监督学习的全部潜能的关键。

 

 

在过去的一年半左右的时间里，自监督学习是自然语言处理（NLP）成功的主要原因。它的想法是向系统输入一段文本，图像或视频，并训练一个模型来预测缺失的部分，例如预测文本中缺失的词，这就是转换器和类似BERT的语言系统建立要做的事情。但是Transformers和BERT等人的成功尚未转移到图像领域，因为事实证明，在图像或视频中预测不确定性要比在文本中表达不确定性要困难得多，因为它不是离散的。LeCun认为，“如果要将自监督的学习应用于视频等更广泛的方式，这是我们必须要解决的主要问题。”LeCun提出了一个解决方案，即基于潜在变量的能量模型：训练基于能量的模型的一种方法是对观察到的样本赋予低能量，而对未观察到的样本赋予高能量。

 

 

此外，LeCun在演讲中谈到了深度学习目前面临的另外两个挑战，目前似乎都没有太好的解决方案。即如何使推理与基于梯度的学习兼容，如何学习计划复杂的动作序列，将复杂的任务分解为子任务。

 

Bengio：是时候探索意识研究了

Yoshua Bengio表示他现在的重点转移到意识研究上来了。继认知神经科学之后，他认为ML探索意识的时机已经成熟，这可以帮助系统更好地成长。同时，Bengio希望这样的研究方向可以使DL从系统1扩展到系统2。所谓的系统的是指丹尼尔·卡尼曼（Daniel Kahneman）在他的《思考，快和慢》一书中提出的二分法。系统1代表了当前深度学习最擅长的领域-直观，快速，自动，基于感官感知。而系统2代表了理性，有序，缓慢，逻辑，有意识并可以用语言表达。

 

 

Bengio首先向听众介绍了认知神经科学。“过去一个世纪以来，出于各种原因，在许多科学领域中，从事意识研究是一种禁忌。但幸运的是，这种情况已经改变，尤其是在认知神经科学领域。特别是，Baars的“全球工作空间理论”以及本世纪基于DeHaene的最新工作。”

 

意识研究也可以为如何建立模型提供灵感。Bengio解释说：“人们会在特定的时间在特定的地方做特定的事，并且会产生影响。最终，这种影响可能会波及全宇宙，但这需要时间。如果我们可以建立具有正确抽象概念的世界级的模型，可以将这些变化固定为一个或几个变量，那么我们将能够适应这些变化，也就不需要那么多数据，从而尽能把更多的经历放在多观察发生了什么变化上。

 

 

那么，如果深度学习要达到人类水平的智能，还需要什么呢？Bengio引用了他以前的观点：从更少的示例中更快地泛化；推广分布失调，更好的迁移学习，领域适应，减少持续学习中的灾难性遗忘；来自推理和意识的组合；发现空置结构并加以利用；更好的世界模型，包括常识；从RL，无监督探索中探索代理视角。

 

谁还没有被拒稿的经历

在小组讨论中，当Hinton，LeCun和Bengio被问及他们如何与致力于更传统方法的同事共处时。Hinton表示：“上一次我向AAAI提交论文时，我得到了有史以来最糟糕的评论。而且很刻薄！”“那人说Hinton一直研究这个想法已有七年，没人感兴趣了，是时候该往前看了。”

 

短视研究已成疾

最后三位教父讨论了对于目前深度学习研究领域存在的问题， Bengio指出如今年轻学者们发表论文的机会比他读博士学时多太多了。他认为必须从结构上做出改变，让学者们能够更加关注长期的问题。LeCun也表示“连我都不会录取我这样的学生。”而Hinton的表达则比较唯美，现在的人民对于某个过程有了新想法，便会用很短的时间研究，取得了一点点进展就开始发表论文，这就好比有人拿了一本很难的数独题集，快速浏览一遍之后，将每个题目里最简单的几个空填了之后就甩给后来者，方便了自己，却给别人带来了大麻烦。