牛津大学教授Michael Wooldridge：AI社区40+年如何看待神经网络

最近牛津大学计算机系教授Michael Wooldridge在一口气发了30条推特，内容是通过他的藏书这一个线索，梳理了近40多年来人工智能社区对神经网络的看法，获得了很多AI界同行或大佬的关注。比如Yann lecun点赞说"Nice thread on the perception of neural nets by the AI community over 4 decades."

编者联系了Michael Wooldridge教授，获得了翻译许可。编者将推特内容的要点编译如下，并针对提到的书籍添加了相关图片：

我相信大家会同意，神经网络社区中有些人会对过去40年来该领域的发展路径感到遗憾，尤其是1980年代兴起的联结主义/PDP（编者注：Parallel Distributed Processing，并行分布模型）热潮在1990年代沉寂之后。

最近办公室搬迁，我重新整理了自己的藏书，重新审视了那些数量可笑的AI教科书，复盘大家对神经网络的看法以及当初对神经网络的漠视是否合理。

首先是：Douglas Richard Hofstadter（编者注：作者中文名“侯世达”）的《戈德尔，埃舍尔，巴赫》（1979）。侯世达是普利策奖得主，在1980年代极具影响力，这本书探索了人工智能、逻辑、音乐和艺术之间的联系。

GEB（编者注：该书名的缩写，又称“集异璧”）是一次知识之旅 ，是一个真正独特且头部扩展的作品。我想很多学生在读完这本书后都会被人工智能/逻辑/数学所吸引，所以向侯世达致敬，从那以后，我再也没有见过这样的作品。

GEB“确实”谈论了神经结构（第339页） ，并且不回避重大的问题（比如大脑如何导致思想？）事实上，它还解决了很多大问题，但没有提及“感知器 Rosenblatt”，也没有提到（也许幸运之事）Minsky & Papert撰写的“Perceptrons”一书（尽管引用了两位作者的其他工作）。

（编者注：感知器Rosenblatt诞生于1958年，是第一个从算法上完整描述的神经网络；“Perceptrons”书中仔细分析了以感知机为代表的单层神经网络系统的功能及局限，证明感知机不能解决简单的异或等线性不可分问题，扼杀了当时人们对神经网络的研究兴趣。）

下一部是3卷本的《人工智能手册》。Vols 1 （1981） and 2 （1982）， 由 Barr & Feigenbaum 編輯，Vol 3 （1982） 由 Cohen & Feigenbaum 編輯。我对它们情有独钟。

复读这几本书对我来说是一次深度的怀旧之旅：我在本科时（1985-89）专心致志地研究了它们，它们对1970年代的人工智能世界有着深刻的了解，很多观点至今具有现实意义和历史参考价值。

其中第3卷涵盖了视觉和学习，我们会在有关模式识别的内容章节下发现有感知器的介绍......梯度下降也出现了（第376页） ，这稍微让我感到惊讶，产生一种“爬山”的感觉。

然而，视觉/学习部分的绝大部分内容都是关于符号方法的，而原型（buttonholing）的神经网络只是归为模式识别范畴。鉴于我们现在的知识经验，这令人感到奇怪，不过这是40年前的事了。

接下来是伊莱恩·里奇（Elaine Rich）1983年出版的《人工智能》（Artificial Intelligence）。我认为这是第一本真正被广泛采用的人工智能教科书。这是我本科AI课程的教材。它写得很好，融会贯通了很多知识点，“非常”有影响力。

Rich的书一直影响着人工智能课程的设计，它的结构现在依然是规范：解决问题/搜索；玩游戏；知识表示；自然语言处理；感知；学习；应用。即使在今天，您也可以在任何地方找到具有这种结构的AI课程。

Rich的书是一本经典之作，至今仍然引人入胜。然而，它对感知器的描述只有一段话，并认为其从未达到任何程度的成功（第363页）。这是联结主义/PDP引起所有人注意的前几年。

接下来是一本人工智能期刊的特刊，以“人工智能的基础”为题出版（麻省理工学院出版社，ed D Kirsh，1992年，内容基于1987年一次研讨会）。

在收录的文章中，符号方法占主导地位（Lenat，Feigenbaum，Newell...），但有趣的是，我看到了对逻辑主义方法（“Rigor mortis”是一篇批评逻辑主义AI的文章标题）和“基于知识的AI”的强烈抵制。

神经网络很少被提及，罗德·布鲁克斯（Rod Brooks）似乎是唯一一个这样做的人，他的文章“没有表征的智能”非常精彩，立场鲜明，可谓是我们这一代人工智能研究者的嘹亮号角。

但Rod对神经网络的讨论，主要定位于他自己的工作（反应/行为AI）方面 - Rod离逻辑/知识还有很长的路要走，但他的AI研究，和当时一般的神经AI研究相比，表现出了更高的水准。

Matt Ginsberg的“Essential of Artificial Intelligence”于1993年出版。Matt的书清楚地表明，自Rich的教科书以来，人工智能领域已经发展成熟了 ，并更具算法/数学性。

包括它对简单神经网络（第310页开始）有非常清晰的解释，但没有梯度下降/反向传播等算法。这些方法被忽略是因为缺乏可陈述的原理基础，但也许更重要的是因为作者对可扩展性的担忧。

``……神经方法……如果我们需要10^ 12个阈值元素，将面临严重困难！“（第313页）

好吧，摩尔定律的累积效应已经影响了我们中的许多人。这是一个有益的教训。

最后，Russell & Norvig的经典作品“AI：A Modern Approach”。我记得当这本书于1995年发行时，人工智能社区漾起了一股兴奋的涟漪。这是一项令人叹为观止的学术工作。

没有其他人工智能书籍能够像这本书一样。因为它能够完整讲述关于这个疯狂领域的、有无尽令人眼花缭乱的思想链的连贯故事。我写过多本教科书，知道这有多难。这是一项重大工作，独一无二。

第1版AIMA对神经网络进行了扎实的处理（第19章）：对感知器，多层前馈网络，反向传播等进行了极其清晰的描述，并给出了适当的数学定义+实际算法。

然而，这本书指出了神经网络的许多问题，并认为它们“不能形成目前人工智能的合适基础”。

AIMA的最新版（第4版）最近出版了：我非常自豪地宣布，我参与了其中多代理系统章节的编写。

这个新版本，包含了Gan作者 Ian Goodfellow 对神经网络“梦幻般”的贡献。它写得很棒，并且完全公正地反映了人工智能直到2020年的发展历程。

结论？是的，神经网络显然在很长一段时间内被AI社区中的许多人视为边际利益和不确定价值。我不认为这必然是不合理的，除非那些反对者们提出了一些无可救药的不切实际的东西......

个人而言，我认为神经网络是一种和其他AI方向“互补”的方法，它已经清楚地证明了在某些领域中的价值。我没有预料到过去十年所发生的内容，所以有件事是确定的：人工智能将继续给我们带来惊喜，我们将嘲笑我们现在持有的许多观点。

（编者按：Michael Wooldridge最后总结略显委婉，有位网友在其推特上的评论更加棱角分明，并获得了Michael Wooldridge的认同，这位网友说：“你的结论表明了三点：1）不要盲目相信所谓的专家;他们经常明显错过了重点，2）变革性进展往往是不可预测的，3）在没有大数据和GPU的情况下，人们仍然不会那么尊重神经网络。”）

Michael Wooldridge 简介

牛津大学计算机科学系主任，曾参与开发阿尔法围棋机器人（AlphaGo）项目  。Michael Wooldridge 教授主要从事多智能系统研究，同时兼任国际计算机学会、美国人工智能学会及欧洲人工智能学会会员；2015年7月—2017年8月曾担任国际人工智能联合会议主席。Michael Wooldridge 是人工智能界的学术先驱，在多智能系统方面颇有建树，其著述《多Agent系统引论》已经被引为国内外多所大学的计算机科学专业教科书。