Yann LeCun：深度学习已死，可微分编程万岁！

LeCun又语出惊人了，这次直指深度学习——

好，深度学习作为一个流行词，现在时效已过。

深度学习已死，可微分编程万岁！

事情要回溯到前天。

1月4日，AAAI前主席Thomas Dietterich连发10条Twitter，驳斥纽约大学心理学家Gary Marcus对深度学习的批评。其中，Dietterich提到，

“深度学习本质上是一种新的编程方式——可微分编程——而且这个领域正试图用这种方式来制定可重用的结构。目前我们已经有：卷积，池化，LSTM，GAN，VAE，memory单元，routing单元，等等。”

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

这个说法让英伟达的AI架构VP Clement Farabet深表赞同，Farabet还评价说，这是对现今深度学习的最好总结。LeCun也转推此文，表示赞同。

但是，光是转发推文，对LeCun来说显然不够。

今天，他在Facebook个人主页上写了一篇短文，不仅支持可微分编程，还用上了“深度学习已死”的表述。不仅如此，他还推出了一个“归化学习”。

先来看LeCun的文章。

Yann LeCun：深度学习已死，可微分编程万岁！

好，深度学习作为一个流行词，现在时效已过。

深度学习已死，可微分编程万岁！

没错，“可微分编程”不过是把现代这套深度学习技术重新换了个叫法，这就跟“深度学习”是现代两层以上的神经网络变体的新名字一样。

但重要的一点是，人们现在正在将各种参数化函数模块的网络组装起来，构建一种新的软件，并且使用某种基于梯度的优化来训练这些软件。

越来越多的人正在以一种依赖于数据的方式（循环和条件）来程序化地定义网络，让它们随着输入数据的动态变化而变化。这与是普通的程序非常类似，除了前者是参数化的、可以自动可微分，并且可以训练和优化。动态网络变得越来越流行（尤其是对于NLP而言），这要归功于PyTorch和Chainer等深度学习框架（注意：早在1994年，以前的深度学习框架Lush，就能处理一种称为Graph Transformer Networks的特殊动态网络，用于文本识别）。

现在人们正在积极从事命令式可微分编程语言编译器的工作。这是开发基于学习的AI（learning-based AI）一条非常令人兴奋的途径。

原文链接