神仙打架：LeCun出大招，马库斯放狠话，机器学习先驱隔空“互怼”

　　鱼羊 十三 发自 凹非寺
　　量子位 报道 公众号 QbitAI

　　AI 学术圈，又吵了起来，图灵奖得主、年近古稀的机器学习奠基者、唱衰 AI 的代表人物等等，纷纷下场“开怼”。

　　相关话题在 Twitter 上转发过千，点赞数万，场面极其激烈。

　　究其源头，起于一个直击灵魂的问题：什么是深度学习？

　　什么是深度学习？

　　你可能会很自然地想起那段再熟悉不过的定义：

深度学习（DL）是一类机器学习算法，使用多个层逐步从原始数据中提取更高层的特征。

——维基百科

　　有点懵逼？

　　现在，有人给出了更明确的说法，出手者不是旁人，正是深度学习三巨头之一，图灵奖得主 Yann LeCun。他说：

有些人似乎仍然对什么是深度学习感到困惑。以下是深度学习的定义：深度学习就是构建由参数化功能模块构成的网络，并利用基于梯度的优化方法进行样本训练。

与此定义正交的是学习范式：强化学习、监督学习或自监督学习。不要说“深度学习没法做X” ，如果你真正想的是“监督学习需要太多数据所以没法做X”。

对于其扩展形态(动态网络、可微编程、图神经网络等)，网络结构可以依数据动态变化。

　　这话之后还没完，他又一口气放出了 5 个排比句，对当前深度学习领域出现的“术语”进行了解读：

别说“DL 对对抗样本很敏感”，你真正的意思是“受监督的卷积神经网络对对抗样本很敏感”。

别说“DL 存在偏见”，你真正的意思是“纯监督学习再现了训练数据中的偏见”。

别说“DL 无法处理组合性”，你真正的意思是“此特定体系结构不能推广到许多以前不可见的部件组合”。

别说“DL 不做逻辑推理”，你真正的意思是“一个简单的前馈神经网络不能做长链的推理”。

别说“DL 不做因果推理”，你真正的意思是“一个普通的、有监督的神经网络不会自发地发现因果关系。”

　　本来是对自己去年初提出的观点——“深度学习不再是流行概念”进行了一次回应。

　　但谁能想到，推文一出，各路大神纷纷出面发表观点，展开了激烈的讨论。

　　一场大型“互怼现场”就此拉开序幕。

　　机器学习奠基人下场激辩

　　马库斯开杠 LeCun

　　第一批下场的，有 DeepMind 的高级研究科学家 Danilo Jimenez Rezende。

　　他点赞认同，对 Yann LeCun 的观点进行了简要总结：

深度学习是用于构建复杂模块化可微函数的工具的集合。讨论深度学习能做或不能做什么毫无意义。真正有意义的是如何训练它，以及如何把数据喂给它。

　　但知名 AI“杠精”——马库斯看到这条推特，当场不干了：

如果不能讨论一种方法可以做什么不能做什么，那它还算是一种方法？

推崇深度学习的人现在为了不被批评，总是在尽量避免提出具体、可验证的主张。这是有一个很危险的信号。

　　机器学习先驱下场反击：深度学习是方法论

　　对此，机器学习领域奠基人之一、AAAI 前主席 Thomas G. Dietterich 迅速下场回击：

深度学习本来就不是一种方法，而是方法论。是一种研究路径。

　　结果，这一辩论分会场又炸出了另一位大佬——机器人教父 Rodney Brooks。

　　他说：啊，所以深度学习是 AI 还是 AGI 哇？还是说人能想到的未来科技都基于深度学习？

　　这一发言似乎又点燃了马库斯新的战斗热情：

Rodney Brooks 说得对啊！深度学习社区现在给自己的定位就是所有未来科技都将归功于 DL，但他们并没有真正致力于任何事情。

等着吧，我马上就会火力全开。

　　面对这样的“挑衅”，Dietterich 表示图样图森破：DL（以及 AI 社区）的目标是推动智能系统的科学和工程进步，而不是成为嘴炮王者。

　　深度学习没有定义“是什么”，而是“如何进行”

　　在各方互怼之外，Keras 创造者 François Chollet 也另开新帖，对“什么是深度学习”发表了观点。

　　他认为，截至现在，深度学习的定义对他来说过于“严格”。并且和以下情况是相反的：

　　⑴ 非表征性学习(如 SIFT、symbolic AI 等人工特征工程)；

　　⑵ “浅层学习(shadow learning)”，其中只有一个特征提取层。

　　此外，它没有规定一个特定的学习机制(如反向传播)或一个特定的用例(如监督学习或强化学习)，也不需要端到端的联合学习。

现在的定义描述的是我们该如何进行深度学习，而不是它是什么。

　　而现在的深度学习的定义，只是给出了一个比较清晰边界：哪些是深度学习，哪些不是。例如：

　　DNN 是深度学习，而遗传编程、快速排序和支持向量机就不属于深度学习。

　　单个的密集层(dense layer)不是深度学习，而密集堆栈(dense stack)是深度学习。

　　K-means 不是深度学习，而堆叠K-means 特征提取器是深度学习。

　　通常由人类工程师编写的程序不是 DL，参数化这样的程序来自动学习一些常量仍然不是 DL。

　　需要用一连串的特征提取器来进行表征学习。

　　François Chollet 认为，深度学习模型只代表了很小很小的程序空间。

　　本来 Chollet 并未加入论战，谁知道还是被拉下了水。

　　有好事网友 Ben Kamphaus 在马库斯的推文下，当场@了他，还有另一位深度学习巨头、图灵奖得主 Bengio，他说：

Bengio、Chollet 以及其他人正在对需要解决的问题进行实质性的处理了。

不知道那些愤怒高呼让 DL 研究人员去做他们已经做了很多年工作的人，对解决这个问题有什么帮助。

　　马库斯则坦然解释说：

我很了解 Bengio 和 Chollet，只是希望他们更坦率些。

你曲解我的意思了。

　　对于马库斯的这一说法，Bengio 和 Chollet 都没有给出直接回应。

　　吃瓜群众一脸懵逼

　　场面上，感觉大半个 AI 学术圈都下场争鸣了。如此盛景，吃瓜群众不免有些懵逼。

　　有人问：这个问题这么棘手的吗？

　　当然，还有一脸懵逼的。

　　那么，你是怎么看的呢？

　　第一现场传送门

　　https://bit.ly/2ZqjKkA