Yoshua Bengio为什么能跟Hinton、LeCun相提并论？

看看2015年Natrue上一篇名为deep learning的综述，是由bengio，hinton和lecun一起做的

Hinton的几种算法让深度神经网络work，带活了整个领域。

Lecun发明（改进？）了CNN，是目前计算机视觉最有用的模型。
Bengio的成就很高。但是，Bengio做出了什么开创性的贡献，让他足以与前两位相提并论？
如果没有Hinton或者LeCun，就不会有今天的deep learning。但是如果没有Bengio呢？

类似“深度学习三巨头”的说法是谁先提出的？是否就是Bengio自己炒出来的呢？
我听过多次Bengio的报告，每次Bengio的slides都会有一页把他和另外两位的照片放在一起，似乎暗示着他们三人就是当今深度学习领域的领军人物。
“三巨头”的意思是，如果图灵奖给deep learning，而且可以给三个人的话，那么就应该是这三人获奖。可是如果给Bengio，恐怕会一片哗然吧？

深度学习领域有多个贡献巨大的学者，那么把Bengio和前两人并称“深度学习三巨头”是否合适？

此外，发明LSTM、RNN、autoencoder等各种网络的人是否还健在？如果他们在世，把Bengio称为三巨头之一是否合适？

作者：saizheng
链接：http://www.zhihu.com/question/37922364/answer/74125553
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

这几位教授在国际上对他们的评价基本都是“深度学习的活跃研究者”，“三巨头”这个说法是中国特色，基本类似于“四大金刚”，“十八罗汉”或者“葫芦娃七兄弟”的感觉，国人发现他们几个总是搞在一起谋划大事，而最新的成果又很多来源于他们三个，所以干脆一拍脑门起个狂霸酷炫的组合名字“深度学习三巨头”好了，这个称呼看看就好，认真你就输了。
若论资排辈，自然是hinton>lecun>bengio。
首先年龄上bengio就最小。
hinton不用多说，经典工作堆成山，门下徒子徒孙遍地，lecun是hinton的postdoc，当年michael jordan想去hinton门下读postdoc都被婉拒，而bengio又是jordan的postdoc。
虽说lecun不是cnn的发明人，但是他是第一个把bp用在cnn上并且完善cnn使得它可以在real application上work的人，也是自98年之后近20年的cnn第一推动者。
说回bengio，bengio当年在att lab工作时，组长就是lecun，lecun的经典文章bengio是三作，那片文章的4个作者如今都是大牛。（题外话，当时vapnik也在att lab，可想当时有多热闹）
所以资历上看很明显，bengio资历最浅。

但是这不妨碍bengio成为dl的几大贡献者，bengio的主要贡献在于：1.他对rnn的一系列推动包括经典的neural language model，gradient vanishing 的细致讨论，word2vec的雏形，以及现在的machine translation；2.他是神经网络复兴的主要的三个发起人之一（这一点他们三个人都承认，之前他们一直在谋划大事，正是他们三个人的坚持才有了现在的神经网络复兴，这点最高票答案说的很对）包括了pre－training的问题，如何initialize参数的问题，以denoising atuencoder为代表的各种各样的autoencoder结构，generative model等等。
3.symbolic computional graph思想的theano。这个库启发了后来的多个库的开发（直接基于它的库就不提了比如keras），包括国内很火的MXnet，google的tensorflow以及berkeley的cgt等等，可以说这个工具以及所涵盖的思想可以算同类型库的鼻祖。4.ICLR的推动者，个人认为ICLR是一种崭新的会议形式，包容开放，也正符合bengio本人的思想。5.其他paper。

说到除了bengio之外的人，不得不提的一个名字是：Jürgen Schmidhuber。
他是LSTM的发明人，gradient vanishing的贡献人，也是reccurent 结构的狂热推动者，手下得意门生比如alex grave等。Schmidhuber本人由于地处欧洲，和北美学术圈交流较少，而他本人性格稍显内敛，所以跟另外三位交集没那么大，喜欢自己闷头搞研究，此外他个人也是强ai的fans。但不得不说他对dl的贡献也是非常大。如果要我说dl贡献最大的几个人，我会把Schmidhuber也算进去。
他的主页： Juergen Schmidhuber's home page -Universal Artificial Intelligence

综上，bengio的贡献足以让他进入 最新一次神经网络复兴的前四名研究者了。

P.S. 个人比较喜欢数学理论清晰的工作，个人认为就数学严谨性而言，lecun >= bengio > hinton. 而三人的insight和intuition都是极好的。

作者：童牧晨玄
链接：http://www.zhihu.com/question/37922364/answer/74111266
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

Bengio 的 "A neural probabilistic language model" 这篇论文开创了神经网络做 language model 的先河。里面的思路影响、启发了之后的很多基于神经网络做 NLP 的文章，并且这些文章的方法在工业界也被广泛使用，如 word2vec，又及最近的一些机器翻译模型。这篇文章的贡献并不比 Yann Lecun 在 CNN 上的工作逊色。再说最近又火起来的 RNN 吧，Bengio 在 94 年就对 RNN 为什么难以学到 long-term dependencies 做过深刻的研究（ IEEE Xplore Abstract ）。另外，他的 "Greedy Layer-Wise Training of Deep Networks" 对 Hinton 提出的 layer-wise 方法训练深度神经网络做了更系统的扩展和研究，让大家又重燃对深度神经网络的兴趣和信心。Bengio 的工作还拓展到神经网络的工具上，大名鼎鼎的 Theano ( Welcome — Theano 0.7 documentation ) 就是他们 group 的工作。

“三巨头”说法的另一个原因是他们三人在神经网络不被看好的年头还一直坚持研究神经网络，这就超出了学术能力而到达了学术品位和信仰的境界。他们三人活跃在 CIFAR （ Meet the Man Google Hired to Make AI a Reality ），这个对神经网络的命运啊有很大的关系 （ How a Toronto professor’s research revolutionized artificial intelligence ）：

CIFAR “had a huge impact in forming a community around deep learning,” adds LeCun, the CIFAR program’s other co-director. “We were outcast a little bit in the broader machine learning community: we couldn’t get our papers published. This gave us a place where we could exchange ideas.”

个人很喜欢读 Bengio 的文章，读的时候有一种浑然天成的感觉，读完觉得“这个问题就该这么解决啊”。另外三巨头的文章、演讲都很有个性，基本不人云亦云。

首先推荐题主看看2015年Natrue上一篇名为deep learning的综述，是由bengio，hinton和lecun一起做的，这也体现了他们之间的互相认可。
其次，bengio提出了神经网络语言模型，将神经网络应用到自然语言处理（nlp）领域，这个成就还是非常有影响力的。
还有就是前面人提到的深度学习框架theano，用python写的代码，我正在用。bengio还提出了分布式表达，应用也越来越广泛。
最后还想说一下bengio的数学功底是非常强的，看他的论文能很明显的感觉到，之前看他的一篇sci，讲的是representation leaning，非常的全面，但是真的难懂。

作者：李Shawn
链接：http://www.zhihu.com/question/37922364/answer/74117203
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

作者：saizheng
链接：http://www.zhihu.com/question/37922364/answer/74125553
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

更新，关于bound：
题主应该是个数理基础很好的人，否则也不会纠结bound这个事。我个人很喜欢带bound的paper，前提是这个bound可以给人启发。我觉得对于证bound这个事见人见智，bound本身是个优美而严格的东西，但是为了证bound而最后给出一个丑的不行的下界从中得不到任何启发，我觉得并没有什么卵用，每年icml这么多bound paper，不少都是在做数学游戏，照着凸问题狂搞，较少人敢碰非凸问题的bound，大家一边喷神经网络没理论没bound，一边又都不敢碰，这就有点怂了。不过最近越来越多的人开始重新进军NN的bound问题，jordan组最近出了几篇不错基于pac learning 关于nn的可学习性的paper，那里面的bound还是挺精彩的。题主可以一睹。

再补充一点，我曾经当面问过他为什么不证bound，其实他早年搞过svm的时候也搞过bound，只是这事到神经网络的上面的时候太难了，能给出的bound都没有意义，有意义的bound又很难证。这不是他数学不好的问题，而是在之前一段时间整个机器学习界都很少有人敢碰这个问题，因为给不出有意义的bound。

所以不是“他数学太弱，连个像样的bound都证不出来。”（题主某评论，貌似已经删掉），其实他早年玩bound的玩的不知道高到哪里去了。而是他认为“ 有些bound即使证明出来了，也没有任何价值。” 请题主自行感受一下。