揭秘三位图灵奖得主Hinton、LeCun、Bengio的传奇人生

2019年3月27日，ACM（国际计算机学会）宣布，三位“深度学习之父”约书亚·本吉奥(Yoshua Bengio)、杰弗里·辛顿(Geoffrey Hinton)和杨乐昆(Yann LeCun) 共同获得了2018年图灵奖。

这是图灵奖自1966年设立以来，第三次将年度图灵奖同时办法给三位获奖者。根据ACM官网信息，此次图灵奖是为了表彰三位大师给人工智能带来的重大突破，这些突破使深度神经网络成为计算的关键组成部分。

“Bengio、Hinton和杨LeCun三人既有各自独立的研究，又有相互间的合作，他们为人工智能领域发展了概念基础，通过实验发现了许多惊人的成果，并为证明深度神经网络的实际优势做出了贡献。近年来，深度学习方法在计算机视觉、语音识别、自然语言处理和机器人等应用领域取得了惊人的突破。”

“虽然人工神经网络作为一种帮助计算机识别模式和模拟人类智能的工具在20世纪80年代被引入，但直到21世纪初，只有杨LeCun、Hinton和Bengio等一小群人仍然坚持使用这种方法。尽管他们的努力也曾遭到怀疑，但他们的想法最终点燃了人工智能社区对神经网络的兴趣，带来了一些最新的重大技术进步。他们的方法现在是该领域的主导范式。”

这是ACM授予他们图灵奖的重要原因。

ACM同时宣布，将于2019年6月15日在旧金山举行年度颁奖晚宴，届时正式给获奖者颁奖，奖金100万美元吗，目前由谷歌提供财政支持。

由于图灵奖对获奖条件要求极高，评奖程序又是极严，一般每年只奖励一名计算机科学家，只有极少数年度有两名合作者或在同一方向作出贡献的科学家共享此奖。因此它是计算机界最负盛名、最崇高的一个奖项，有“计算机界的诺贝尔奖”之称 。

Hinton是谷歌副总裁兼工程研究员、Vector研究所首席科学顾问、多伦多大学名誉教授。LeCun是纽约大学教授、Facebook副总裁兼人工智能首席科学家。Bengio是蒙特利尔大学教授，也是魁北克人工智能研究所Mila的科学主任。下面，就跟随智能菌，一起来看看“深度学习三巨头”的传奇人生。

01
Hinton：从"弃儿"到大神

Hinton于1947年出生在英国温布尔顿，他的父亲Howard Hinton是一名昆虫学家，母亲Margaret Clark是一名教师。Hinton所描述的自己的童年时期，就好像拿着显微镜的丹尼尔·韩德勒（Lemony Snicket，美国作家及编剧）、哈克贝利·费恩和美国喜剧电影《天才一族》（The Royal Tenenbaums）的综合体。

Hinton出生于科学家世家，在Hinton成长的过程中，他的母亲给了他两种选择：“要么成为一名学者，要么就做个失败者。”Hinton家族的家谱上，科学家占了很大的比例。他的高祖父是布尔逻辑创始人乔治·布尔（George Boole），任何用过“布尔检索”的人都很熟悉他。乔治布尔的女婿之一Charles Howard Hinton是Hinton的曾祖父，是一位数学家和科幻作家，他创造了“超立方体（tesseract）”的概念。Hinton的中间名是Everest，这个名字来源于他高祖母的叔叔、地理学家Everest，珠穆朗玛峰就是以他的名字命名的。

Hinton的母亲非常和蔼，但他的父亲却有些令人生畏，不仅表现在身体上（他可以单手做引体向上），还是在智力上。“他喜欢那些思路清晰的人，如果你说了一些废话，他就会称其为垃圾。他不是那种很多愁善感的人。我不是说他会虐待人，但他的脾气非常强硬。”Hinton中学就读于一所名为克利夫顿学院的私立学校，“并不是什么顶尖学校，”他说，他和他的朋友Inman Harvey曾经在周围的村子搭车四处玩耍，Inman Harvey现在是计算机科学家、苏塞克斯大学的人工智能访问研究员。

1972年，Hinton开始在爱丁堡大学攻读博士学位，研究方向是神经网络。每周，他的导师都会对他说，你是在浪费时间，但Hinton还是坚持继续研究。

图：31岁的Hinton在加利福尼亚州拉霍亚市，旁边是加州大学圣地亚哥分校认知科学的博士后研究员Chris Riesbeck。

博士毕业后，Hinton在匹兹堡的卡耐基梅隆大学找到一份工作。但是，Hinton是一个社会主义者，当时被里根政府的外交政策深深困扰。他的妻子Ros是一名分子生物学家，也是伦敦大学学院的前教授。他们计划收养来自南美洲的一个男孩和一个女孩，但不想让孩子在卷入血腥的拉美冲突的国家里长大。另外，美国的大部分人工智能研究都是由美国国防部资助的，Hinton对此也不满意。

1987年，Hinton接受了加拿大高级研究所（CIFAR）的邀请，他和妻子Ros搬到多伦多的Annex。尽管从未学过计算机课程，但Hinton还是在多伦多大学计算机科学学院接受了一个职位，并在CIFAR展开了机器和大脑学习项目的研究。他在多伦多大学圣乔治校区的桑福德·弗莱明大楼里有了一间小办公室，开始安静地工作。

渐渐地，一些相信深度学习的人都加入了他的团队。其中就包括Ilya Sutskever，他现在是OpenAI的联合创始人兼董事。Sutskever还记得2000年前后在Hinton的实验室工作的时光。他说，当时还是“人工智能冬季”，有10个左右的学生在Hinton的实验室做研究，那时人工智能研究领域的工作和资金都很匮乏，而且来自行业的资助也越来越少。“我们是局外人，但我们觉得我们有一种罕见的洞察力，觉得我们与众不同。”Sutskever说。

当他面对学术上的冷漠而埋头苦干时，Hinton在90年代遭遇了另一个打击——他成为了一个单身父亲。在他和他的第一任妻子Ros收养了他们的孩子后不久，Ros就患卵巢癌去世了。Hinton曾经习惯于沉浸在自己的思想中和实验室里，但他一下又回到了要抚养两个孩子的现实世界。他的儿子患有注意力缺陷多动症（ADHD）和其他学习障碍，即使有保姆，Hinton也必须在下午6点回到家，陪伴自己的儿子，然后冲到Gap买促销的袜子。

“我无法想象一个有孩子的女人如何能有一个学术生涯。我已经习惯了把时间花在思考上。”

“教育很有趣，但也有一点分心，而余下的生活——我没有时间去过，”Hinton说。“但有了小孩子之后，这根本就不行。”尽管如此，工作还是为他提供了一个避风港。Hinton说：“我有时会觉得，我在用数字和数学来作为我的情感上的防御。”养育子女使他的想法发生了改变。“以前我去超市的时候，收银员连两个数字的加法都不活做，我想：“看在上帝的份上，为什么他们不能雇一个能做算术的收银员呢？””现在我会想：“超市能雇佣这个人，真是太好心了。”他补充道：“我没有想成为一个更好的人，这只是碰巧发生了。这其实并不是我的目标。”

1997年，Hinton再婚，妻子是英国艺术史学家Jackie。几年前，她被诊断出患有胰腺癌。Hinton在医院里度过了许多时光。他提出的问题经常惹恼医院的工作人员。他知道病人在等待结果时收到模糊信息的挫败感。但与大多数人不同的是，他知道，很快就会有一种技术，可以在把需要等待一周的测试结果缩短到一天。

医务人员曾三次根据CT扫描结果告诉他的妻子，她有继发性肿瘤，但每次都是误诊。Hinton相信人工智能最终会让放射科医师失业——或者至少取代阅读图像的工作。识别是人工智能的核心，也是成功诊断和治疗的核心。“最终，人工智能工程师将会知道如何训练你的免疫系统来攻击癌细胞。”Hinton说。

2009年左右，当计算机终于有能力挖掘海量数据时，超级神经网络开始在语音和图像识别方面超越基于逻辑的人工智能。业界很快注意到了正在发生的变化，大型科技公司包括微软、Facebook、谷歌等都开始在这一领域投资。2012年，谷歌公司的绝密实验室Google X（现在名为X），宣布建立一个由16000个电脑处理器组成的神经网络，并将其用在YouTube上。该公司的深度学习人工智能部门Google Brain的工程师们，由该部门的高级研究员Jeff Dean领导，从YouTube上提取了数百万个随机的、没有标签的视频，输入到这台新的超级计算机中，并通过编程使其能够理解所看到的内容。YouTube上有很多关于猫的视频，神经网络成功地从其他各种东西中认出了猫。这是人工智能领域一个激动人心的时刻。“我们在训练中从来没有说过，‘这是一只猫’，”Jeff Dean当时说，“它基本上是自己发明了猫的概念。”

这一突破性的进展使得Hinton和他的助手们成为了人工智能浪潮中的领导者。2013年，Jeff Dean把Hinton招进了谷歌。Sutskever说：“我们本来就不在体制内，努力证明传统观点是错误的。有趣的是，现在我们已经成为了体制的建立者。”

Hinton的观点曾被业界抛弃，而突然间他却成了行业里最重要的人物，从弃儿变成了明星。

Hinton在多伦多大学的办公室能俯瞰到学校中心的干道。他一边走动，一边吃着三明治，一边在白板上画画，讲述神经网络的巨大知识。他说，如果必须把狗和猫定义成两个不同的性别，他停下来画了一只猫（形状像雪人，有两个小耳朵），从我们的文化来看，可能会把狗看成是雄性的，而猫是雌性的。在这个定义中没有逻辑可言（还很性别歧视），但是，Hinton说，我们的联想和类比告诉我们，狗是好斗的、毛茸茸的、粗笨的；猫是狡猾的、聪明的、温顺的。前者有雄性的特征，后者有雌性的特征。这背后的原因不能用逻辑来证明，但它确实存在于我们的大脑中。

关于机器可以凭直觉感知这些相同表象的想法有一种诗歌般的吸引力：知识来源于生活中积累的意义和经验，是一种存在的神秘物质。这就是神经网络的美妙之处。“这更接近于弗洛伊德的理论，意识的薄层、谨慎的推理以及其下所有沸腾的东西。下面这些沸腾的东西并不是有意识的推理，而是别的东西，起类比作用的东西。”Hinton说。

他不断地重申着这一基本理念。去年秋天的Google Go North大会上，加拿大总理贾斯汀·特鲁多（Justin Trudeau），创新部长Navdeep Bains，以及谷歌母公司Alphabet的执行董事长埃里克·施密特（Eric Schmidt）等人像热切的学生一样坐在桌前，而Hinton一直站着，俯瞰着这些知名人士。

Hinton从来不坐着，因为他的脊椎上有一个突出物。第一次出现问题是他在19岁时帮母亲搬一个很重的加热器的时候，并且他在代谢预防骨质疏松症的钙方面也有遗传缺陷。随着时间的推移，问题变得越来越严重。最终，坐着变成了一件很痛苦的事情，所以，他从2005年开始就不再坐着了。当然，这并不是一个理想的解决方案。尤其是Hinton每年需要在全球无数次会议上出席或发言。不过，Hinton有办法从多伦多到赫尔辛基，而一直不坐下，而这一共需要11天。

图：Hinton在2017年举行的Go North科技会议上，与特鲁多总理等人讨论机器学习的问题。

“先躺在一辆公交车的后座上到布法罗。然后在法布罗换乘一辆芝加哥到纽约的卧铺车，接着搭乘玛丽女王号邮轮到南安普敦。然后站到伦敦，再乘欧洲之星站着到巴黎。在巴黎坐卧铺到柏林。然后搭乘一辆旧的火车到罗斯托克，它坐落于海岸线上，以前属于东德。然后你就可以乘渡船到达赫尔辛基。”这就是Hinton平常的说话方式：把数据切分成易于理解的一个个部分，他的目光聚焦在远处，嘴角挂着微笑。

在Go North会议上，Hinton对他和两名谷歌工程师的最新突破“胶囊神经网络（capsule networks）”做出了简洁而清晰的解释。神经网络依赖于海量的数据来学习，需要很长时间才认识到从不同角度观察的对象是同一个物体。胶囊是一种人造神经元组成的层，能够跟踪物体的各个部分之间的关系，使识别更快更准确。比如说，从一个人的鼻子到嘴巴之间的小空间。在科技界，胶囊网络受到了人们的热烈欢迎。纽约大学一位从事图像识别工作的教授对连线杂志说：“每个人都在等待着它，并期待着Hinton的下一个大的飞跃。”

在Hinton的努力下，每一家大型科技公司的人工智能专家都在争先恐后地在深度学习中做出下一个变革性发现。数十名Hinton过去的学生在Facebook、谷歌、苹果和优步以及学术界都声名鹊起，他们在学术界传播了神经网络的知识，形成了他们自己的生活方式。

作为另一位图灵奖获得者，Bengio与Hinton有着良好的关系。几十年来，当Bengio在多伦多有工作要做的时候，他就住在Hinton在Annex的房子里，和他一起散步。他看着Hinton一路达到今天的科技名人地位，但同时也有些担心。“他不是上帝，他也是会犯错的。他只是一个普通人，做着普通人会做的事情。”Hinton说，“有时他可以透过黑暗看清事物，但他的个人生活对他来说并不容易，他也有他的黑暗时代。”

矢量研究所是多伦多大学解决人工智能人才流失的方案，矢量研究所拥有超过1亿美元的地方和中央资金支持，还有来自30多个私人合作伙伴的8000万美元，Hinton带领着这个研究所正在为解决世界上一些重大的问题寻求技术答案。

02
LeCun：高举着火炬，冲过了最黑暗的时代

LeCun出生在法国人，从很小的时候他就相信能让电脑拥有视觉。面部识别和图像检测如今已经很常见，但是当LeCun 20世纪80年代早期在巴黎上大学时，计算机实际上是个“盲人”，它们无法理解图像中的任何东西，也无法弄清楚相机镜头里出现了什么。

从上世纪60年代起，LeCun就在大学里寻找一种方法，这种方法在很大程度上还未被探索过，但他认为这种方法有可能“让机器学习许多任务，包括感知。”这种方法被称为人工神经网络，它是由相互连接的小型传感器组成的系统，并可以将内容分解成微小的部分，然后进入识别模式，并根据它们的共同输入来决定它们所看到的内容。

在阅读了反对神经网络的论点，也就是它们很难训练，而且不是特别强大后，勒恩决定不管怎样都要继续前进。他在攻读博士学位的时候，尽管存在疑虑，但依然军心专注于此。对于当时受到的批评，LeCun说：“我就是不相信它们。”

人工智能领域的艰难时期有自己特殊的名字：人工智能寒冬。这些时期主要是因为研究人员的研究成果不符合他们的预期，使得研究成果似乎显得不够科学，导致资金和兴趣枯竭，阻碍技术持续进步。

20世纪80年代在Hinton实验室工作，他曾提出“人工神经网络”，但后来该理论一度被认为过时，他本人甚至被拒绝参加学术会议。但LeCun一直坚持，他的导师Hinton曾评价说：“LeCun高举着火炬，冲过了最黑暗的时代。”

上世纪90年代中期，在贝尔实验室的一项人工智能研究工作结束后，AT&T的内部纷争让他的团队分崩离析，当时他们正在推出自动读取ATM机，即如今仍在使用的神经网络技术，就像LeCun认为它正在取得明显进展一样。LeCun说：“整个项目在取得真正成功的那天就被解散了，这真的很令人沮丧。”

与此同时，其他方法获得主流研究人员的青睐。这些方法后来不再受欢迎，但它们的崛起足以让神经网络以及其长期以来的支持者LeCun被挤入边缘。21世纪初，其他学者甚至不允许LeCun在他们的会议上发表论文。

2003年，LeCun为自己获得救赎奠定了基础。那一年，他加入了纽约大学的教师队伍，并与Hinton和Bengio一起，以非正式联盟的形式重新恢复了神经网络。LeCun微笑着说：“我们开始了我所谓的深度学习阴谋。”

最终，这个结果成为了一种敏捷、快速、准确的方法，为该领域开辟了新的可能性。在LeCun和同行们建立的基础之上，计算机视觉在21世纪初出现了爆炸式增长。计算机开始能够识别图像中的物体，然后识别视频中的物体，最后甚至可以识别摄像头中的目标。

LeCun很快从“场外人”成为这个领域的领袖。他说：“在1年时间内，它从无人问津变成人人都在研究的东西，“这简直太疯狂了！”

LeCun在2013年加盟Facebook并组建FAIR，从此以后，深度学习才慢慢热起来。但是，LeCun仍像研究员一样工作，他不仅保留了纽约大学的教职，而且FAIR的整体研究也更偏学术化。

LeCun在业界以直言不讳闻名，经常批评那些认为“AI技术令人恐惧”的不合理声音。有一次，LeCun在采访中严肃说到，过去在媒体上看到的关于人工智能的文章，其中的配图很多都是关于《终结者》的。LeCun认为这些报道很荒谬，最后不得不以严肃的态度回应。LeCun表示，人工智能还有很长很长的路要走，才能接近婴儿的智力，甚至是动物的智力。

03
Bengio：追求AI的新发现

Yoshua Bengio出生在巴黎，在蒙特利尔长大。1991年，Bengio获得了加拿大麦吉尔大学计算机科学博士学位。他很喜欢科幻小说，如Philip K. Dick的《Do Androids Dream of Electric Sheep》中，由一家大型企业创造的有感知力的机器人最终变成了恶棍。

大学期间，Bengio主修计算机工程，他在麦吉尔大学读研究生时读到了Hinton的一篇论文，如被电击，因为他找到了儿时非常喜欢的科幻故事的感觉。“天呐！这是我想做的事！”他回忆道。

“多年来，在机器学习会议上，神经网络都不受欢迎，而Bengio坚持与他的神经网络为伍，”科罗拉多大学教授Mozer回忆说，“我当时觉得，可怜的Bengio，他太落伍了。 ”

他在麻省理工学院计算机科学与运筹学部担任教授两年之后，在麻省理工学院贝尔实验室担任麻省理工学院计算机科学系的教授。他著有两本书和200多本出版物，被引用最多的是深度学习、周期性神经网络、概率学习算法、自然语言处理和多种学习。

虽然Hinton和LeCun分别加入了谷歌和Facebook，但Bengio仍然是蒙特利尔大学的全职教授。他在2016年成立了Element AI，并创立了一个非常成功的项目，帮助大公司探索人工智能研究的商业应用。

在20世纪后期，研究人员开始明白为什么深度学习效果不佳。训练高水平的神经网络需要更强的计算能力。此外，神经网络需要良好的数据，在消费互联网崛起之前，还没有足够的数据能用来学习。到了本世纪初，这些变了，大型科技公司开始应用Bengio和他同事们的技术来实现商业里程碑：语言翻译、语音识别、面部识别。

当时，Bengio的哥哥Samy也是AI研究员，他在谷歌工作。Bengio很想跟随他的兄弟和同事前往硅谷，但在2016年10月，他、Gagné、Chapados和Real Ventures推出了自己的创业公司Element AI。

Bengio认为，科学家的工作是继续追求AI的新发现。他说，政府应该更积极地监管规范这一领域，同时更公平地分配财富，投资于教育和社会安全网络，以减轻人工智能不可避免的负面影响。

04
三位深度学习之父功绩

Hinton——

• 反向传播算法： 在1986年的一篇论文“Learning Internal Representations by Error Propagation”中，Hinton与David Rumelhart和Ronald Williams证明了反向传播算法可以帮助神经网络发现数据的内部表示，使得神经网络可以用来解决从前无法解决的问题，反向传播算法是目前大多数神经网络的标准算法。

• 玻尔兹曼机（Boltzmann Machines） :1983年，Hinton与泰伦斯·谢诺沃斯基(Terrence Sejnowski)一起发明了玻尔兹曼机，这是第一个能够学习不属于输入或输出的神经元内部表征的神经网络。

• 卷积神经网络的改进: 2012年，Hinton和他的学生Alex Krizhevsky、Ilya Sutskever一起，利用分段线性神经元（rectified linear neurons）和dropout正则化改进了卷积神经网络。在著名的ImageNet比赛中，Hinton和他的学生们使物体识别的错误率几乎减半，从而重塑了计算机视觉领域。

LeCun——

• 卷积神经网络: 在20世纪80年代，LeCun开发了卷积神经网络，这是该领域的一个基本原理。能够提高深度学习的效率是它的众多优势之一。上世纪80年代末，LeCun还在多伦多大学和贝尔实验室工作时，他是第一个训练卷积神经网络系统处理手写数字图像的人。
  
  如今，卷积神经网络已经成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理领域的行业标准。它被广泛应用于各种应用中，包括自动驾驶、医学图像分析、声控助手和信息过滤。

• 改进反向传播算法： LeCun提出了早期版本的反向传播算法(backprop)，并基于变分原理对其进行了清晰的推导，他的工作加速了反向传播算法，包括两种加速学习时间的简单方法。

• 拓宽神经网络: LeCun还为神经网络开拓了广阔的空间，将其作为处理广泛任务的一种计算模型，并在早期的工作中引入了一些现在广为人知的基本概念。例如，在识别图像领域，他研究了如何在神经网络中学习分层特征表示。如今，这一概念经常被用于许多识别任务。
  
  他和Léon Bottou一起提出了一个被应用于每一个现代深度学习软件中的理念，即学习系统可以被构建为复杂的模块网络，在这个网络中，反向传播通过自动分化来执行。他们还提出了能够控制结构化数据的深度学习体系结构。

Bengio——

• 序列概率模型 （Probabilistic models of sequences）:20世纪90年代，Bengio将神经网络与概率模型（如隐马尔可夫模型）相结合。它被用在AT&T/NCR阅读手写支票的系统里，这被认为是20世纪90年代神经网络研究的巅峰，现代深度学习语音识别系统正在扩展这些概念。

• 高维词嵌入和注意力模型: 2000年，Bengio发表了具有里程碑意义的论文《神经概率语言模型（A Neural Probabilistic Language Model）》，引入高维词嵌入作为词的意义表示，Bengio的研究对自然语言处理任务产生了巨大而持久的影响，其中包括语言翻译、问和视觉回答。他的团队还引入了一种注意力机制，这种注意力机制在机器翻译方向取得了突破，成为深度学习中顺序处理的关键组成部分。

• 生成对抗网络: 自2010年以来，Bengio关于生成深度学习的论文，特别是与Ian Goodfellow共同开发的生成对抗网络(GANs)，在计算机视觉和计算机图形学领域引发了一场革命。一个的由此引发的惊人应用中，电脑可以自动生成原创图像，而这种能力被认为与人类智能类似。

05
一些评语

“人工智能现在是所有科学领域中增长最快的领域之一，也是社会上谈论最多的话题之一，”ACM主席Cherri M.Pancake说，“人工智能的发展和人们对它的兴趣，在很大程度上要归功于Bengio、Hinton和LeCun获得的深度学习最新进展。这些技术正被数十亿人使用。任何口袋里有智能手机的人都能实实在在体验到自然语言处理和计算机视觉方面的进步，而这在10年前是不可能的。除了我们每天使用的产品，深度学习的新进展也为科学家们提供了研究医学、天文学、材料科学的强大新工具。”

谷歌高级研究员、谷歌人工智能高级副总裁杰夫·迪恩（Jeff Dean）表示:“深度神经网络对现代计算机科学的一些重大进步做出了巨大贡献，帮助科学家在计算机视觉、语音识别和自然语言理解等领域长期存在的问题上取得了实质性进展。”这一进步的核心是30多年前由以上三位深度学习大师开发的基础技术。通过大幅提高计算机感知世界的能力，深度神经网络不仅改变了计算领域，而且正在改变科学和人类努力的每一个领域。”