说五个关键词,你会想到谁?
花书作者,2018年图灵获奖者,银灰卷发,theano,MILA,你心中的答案会是Yoshua Bengio么?
关于他的故事,且听我细细道来。
作者&编辑 | 小满&言有三
一头银灰相间的卷发,一对漫画式的粗眉,思考时频频上扬,微笑时又极具表现力,他就是今天的主人公——Yoshua Bengio。
1 30秒了解Yoshua Bengio
Yoshua Bengio(约书亚·本吉奥)因深度学习工作与Geoffrey Hinton和Yann LeCun共同分享了2018年图灵奖,被公认为世界领先的AI专家和深度学习先驱。1964年,出生在法国巴黎,和Lecun童年生活在同一个城市的不同角落,现与Hinton一样选择生活在加拿大,拥有加拿大CIFAR AI主席一职。
Bengio大学就读于麦吉尔大学“计算机工程学”专业,1986-1991年继续修“计算机科学“到博士毕业,随后一段时间在麻省理工学院做博士后研究员,1992年到美国AT&T贝尔实验室LeCun小组做学习和视觉算法研究工作。
1993年起,他一直在蒙特利尔大学教书育人,负责计算机科学与运筹学方向。他也是蒙特利尔学习算法研究所(MILA)创始人和科学主任。MILA,一家独立的非营利组织,世界上最大的深度学习研究小组,拥有来自地球上很多公司和AI创业公司的研究实验室。
2 代表性研究论文
1、LeNet5卷积神经网络提出:LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
2、NLP模型:Bengio Y, Ducharme R, Vincent P, et al. A neural probabilistic language model[J]. Journal of machine learning research, 2003, 3(Feb): 1137-1155.
3、逐层训练方法:Bengio Y, Lamblin P, Popovici D, et al. Greedy layer-wise training of deep networks[C]//Advances in neural information processing systems. 2007: 153-160.
4、AI架构:Bengio Y. Learning deep architectures for AI[J]. Foundations and trends® in Machine Learning, 2009, 2(1): 1-127.
5、Stacked denoising autoencoders提出:Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of machine learning research, 2010, 11(Dec): 3371-3408.
6、Xavier初始化:Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010: 249-256.
7、ReLU激活函数使用:Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the fourteenth international conference on artificial intelligence and statistics. 2011: 315-323.
8、Theano框架:Bastien F, Lamblin P, Pascanu R, et al. Theano: new features and speed improvements[J]. arXiv preprint arXiv:1211.5590, 2012.
9、RNN训练问题:Pascanu R, Mikolov T, Bengio Y. On the difficulty of training recurrent neural networks[C]//International conference on machine learning. 2013: 1310-1318.
10、Maxout激活函数:Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. arXiv preprint arXiv:1302.4389, 2013.
11、生成对抗网络GAN:Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680.
12、机器翻译:Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.
13、二值神经网络:Courbariaux M, Bengio Y, David J P. Binaryconnect: Training deep neural networks with binary weights during propagations[C]//Advances in neural information processing systems. 2015: 3123-3131.
14、三巨头深度学习综述:LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.
15、image caption与attention: Xu K, Ba J, Kiros R, et al. Show, attend and tell: Neural image caption generation with visual attention[C]//International conference on machine learning. 2015: 2048-2057.
16、深度学习教材:Goodfellow I, Bengio Y, Courville A. Deep learning[M]. MIT press, 2016.
17、语音生成:Sotelo J, Mehri S, Kumar K, et al. Char2wav: End-to-end speech synthesis[J]. 2017.
Yoshua Bengio总的论文引用量为170000+,学术研究一直都很活跃,随着深度学习持续火热,引用量近几年大幅度增加。
所有的论文,在以下GitHub项目中可以获取,或者给有三AI公众号发送关键词消息“Bengio”,即可获得下载链接。
https://github.com/longpeng2008/Awesome_DNN_Researchers
3 代表性个人成就
2009年ACFAS Urgel-Archambault奖
2017年加拿大勋章官员
2017加拿大皇家学会会员
2018加拿大AI协会终身成就奖
2018年图灵奖
2019年Killam计算机科学奖
2019IEEE CIS神经网络先锋奖,IEEE计算智能学会
4 AI修行,兄弟伴我左右
4.1、如有巧合,那一定是兄弟
上图两位AI大咖相似度99%,有没有?
没错,一个普通家庭诞生了两位成功的AI计算机科学家,Samy Bengio(Google Brain的机器学习科学家)与Yoshua Bengio。
Bengio兄弟俩出生在法国巴黎,没有类似Hinton的学阀家族背景,父母是嬉皮士,从小就随父母到处搬家。曾因父亲服兵役的原因,1977年时搬家到了父母的出生地北非摩洛哥生活了一段时间,又因战争举家搬回了法国生活了几年,不久后移民到加拿大,开启了新生活。辗转几次搬家,走过了世界的很多角落,父母为兄弟俩种下了人文主义的种子。Yoshua Bengio说:他有责任照顾生活在发展中国家的人。
4.2、兴趣是最好的导师
Yoshua Bengio回忆在青少年时期,兄弟俩曾努力攒钱买下了,生命中第一台共同小型计算机Atari 800,从此打开了计算机兴趣的大门。他们用Basic语言编程,还将程序保存在磁带上,那时软盘还没有出世。兄弟俩在大学期间都选择了与计算机相关的专业,Yoshua在麦吉尔大学选择了计算机工程,Samy在蒙特利尔大学修计算机科学。
短暂的分别后兄弟俩因“神经网络”又重新粘合到一起。研究生期间,接触了AI教父Hinton有关深度学习理论的论文加上《平行分布处理》一书的上市,让Yoshua疯狂的爱上了AI和神经网络,激动地为Samy介绍,并开始了深度学习的博士研究。
兄弟二人在很少学者研究的领域中一起执着着自己的眼光,“我当时觉得其他人都是错的,只有我是对的”,当在AI低潮期时,两人在相同的领域坚持着了各自的研究。幸运的是,加拿大政府几十年一直投入基于好奇心的研究基金,即使在AI寒冬,也可以保证研究的"温饱",加上加拿大CIFAR最终确定下来的支持网络,从心理上帮助Bengio兄弟二人专注选择的方向。与Hinton一样,选择加拿大,因为CIFAR与自由。蒙特利尔大学和麦吉尔大学官宣有1500名AI研究员,人才集中度高于世界上任何其他地方。
4.3、短暂的分别,是为AI更好的发展
1999年到2007年,Samy选择到瑞士做神经网络研究科学家,那里满足他对深度学习的继续探索,收获了资助和博士生,身在异国,接触着不同的学者,兄弟俩一直研究着共同的领域。有趣的是,他们有一位共同的博士生,先是在Samy下面做研究生,后转到了Yoshua那里,后又跟着Samy一同做博士生。
2007年后,Samy加入了Google,也是兄弟俩研究生涯最重要的时刻,在Google,Samy获取了更多数据和更高的计算机水平,辅助解决更大的机器学习模型。另一边Yoshua一直在加拿大发展,并直言不加入工业界,他认为AI人才流入大科技公司会阻碍这一领域的学术研究。一次采访时,Yoshua说:“科技公司挖走了很多人才,造成了学术界人才短缺。对那些公司来说有好处,但对学术研究来说不是件好事。我能为全人类作贡献,而不是为某一个公司赚钱。”
Google有Hinton,Lecun在Facebook,虽然Yoshua也担任了几家类似三星的企业学术顾问,但他更多的精力还是耕耘在学术界。你很少看到他为商业事件公开露面。很多学生都听过Yoshua的课程,看过不少他的文章,众所周知,牛人讲课认认真真、实实在在、深入浅出,不灌水,不trick,简直就是AI界的一股清流!
Yoshua想保留绝大多数精力去发展他创建的MILA和蒙特利尔的AI生态系统,想通过他的研究和对学生的辅导更直接地为公共利益做出贡献。
5 年龄虽小,但贡献不少
5.1、Bengio与AI界人物关系
论资排辈,自然是Hinton>Lecun>Bengio,还记得之前提到的AI鼻祖Hinton门下徒子徒孙遍地,AI界许多大神都和他有着千丝万缕的关系,以下有个简单的人物关系网。
Lecun是Hinton的博士后,当年与美国飞人乔丹同名的学者Micheal Jordan一心想去Hinton门下读博士后却被婉拒,在麻省理工学院时Bengio又是Jordan的得意门生,随后Bengio在贝尔实验室与LeCun成为同事。Hugo Larochelle在Bengio下面读的博士,后成为Hinton的博士后;LeCun的一位博士生MarcAurelio Ranzato,后也成为的Hinton的博士后。不禁感叹,贵圈不大,牛人总是带着牛人走。
5.2、打响NLP第一枪
世界上数学最好的国家是美国么?不,法国人相对美国人的人口总数少很多很多,但历史上出名的数学家与美国出名的数学家数量相当。法国囊括52枚数学界最高奖项菲尔茨奖中的11枚,美国获得了12枚。从小生活在法国的Bengio,有着高度抽象思维能力,为以后的发展埋下了很深的种子。
Bengio的一篇“A neural probabilistic language model”论文开创了神经网络语言模型的先河。其整体思路影响、启发了之后的很多基于神经网络做NLP的paper,在工业界也得到了广泛使用,还有梯度消失(gradient vanishing)的细致分析,word2vec的雏形,以及现很火的计算机翻译(machine translation)都有Bengio的贡献。
5.3、Theano的开发
Theano发于MILA,由Yoshua Bengio带领了一大批高水平学生开发了这个优化编译器,用于操作和评估数学表达式,尤其是矩阵值表达式,符号计算图的思想同样来自于Theano。尽管它已停止发布,但这个库启发了之后多个库的开发,直接基于它的库有Keras,MXnet,Google的TensorFlow以及Berkeley的CGT等,可以说在同类型库中是当之不愧的鼻祖。
5.4、ICLR的创办
ICLR是一种崭新的会议形式,号称“深度学习的顶级会议”。由Bengio与LeCun牵头创办创建,出发点就是希望能为深度学习提供一个专业化的交流平台。之所以成为炙手可热的无冕之王,并不只是因为创办者的能量光环,最重要的原因它是Open Review的评审机制,任何论文都会公开姓名等信息,任何学者都可或匿名或实名地评价论文,开启了公开透明的先河。自2013成立以来,已发出很多高质量文章,可以说代表了深度学习最前沿的研究。这个会议,很Bengio!
Bengio在AI领域一直坚持不懈地做着自己坚信的东西,熬过了神经网络的凄风冷雨,与Hinton、Lecun等人一同打造出了深度学习的今天。
6 总结
AI江湖上称Hinton是AI教主,始作俑者,开创先河;
Lecun是独行侠,负责东搞西搞,工业学术两不耽误;
Bengio是金牌打手,坚守学术界阵地,做理论实验支持。
三位大佬各具魅力,下一次还想我来扒哪位?
往期AI大咖
第一期:【AI大咖】认真认识一代AI教父Hinton
第二期:【AI大咖】再认识Yann LeCun,一个可能是拥有最多中文名的男人
第三期:【AI大咖】扒一下低调的Yoshua Bengio大神