深度学习要另起炉灶，彻底抛弃反向传播

原文

其它链接

其它链接2、原文

浅析

浅析更新

【导读】 Hinton在接受 Axios 网站采访时表示，他现在对反向传播算法“深感怀疑”。反向传播算法是我们今天在AI领域所看到的进步的“主力”，包括对照片进行分类的能力、与Siri 对话的能力，等等。Hinton 说：“我的观点是把它（反向传播）全部丢下，重起炉灶。”

科学每经历一次葬礼就前进一步：为了进步，必须要有全新的方法

1986年，Geoffrey Hinton与人合著了一篇论文：Learning representations by back-propagation errors，40年之后，反向传播算法成了这一波人工智能爆炸的核心。但 Hinton 却说，他的这一突破性方法应该被抛弃，我们应该找到AI的新路径。

上周三在多伦多举行的一个AI会议上，Hinton在接受 Axios 网站采访时表示，他现在对反向传播算法“深感怀疑”。反向传播算法是我们今天在AI领域所看到的进步的“主力”，包括对照片进行分类的能力、与Siri 对话的能力，等等。Hinton 说：“我的观点是把它（反向传播）全部丢下，重起炉灶。”

会议上的其他科学家说，在人工智能的未来，反向传播仍然是一个核心的角色。但Hinton说，为了推动进步，必须要有全新的方法被发明出来。“Max Planck 曾说：‘科学每经历一次葬礼就前进一步。’未来取决于对我所说的一切都非常怀疑的那些研究生。”

反向传播的工作原理：在反向传播中，标签（label）或“权重”（weight）被用于表示类似于大脑的神经层里的照片或声音。然后逐层对权重进行调整，直到网络能够以尽可能少的错误实现一个智能的功能。

但Hinton认为，要想让神经网络能够自己变得智能，即所谓的“无监督学习”，“我认为这意味着需要放弃反向传播。”

“我不认为这（反向传播）是大脑运作的方式，”他说，“我们的大脑显然不需要对所有数据进行标注。”

1986：Hinton等人将反向传播算法引入多层神经网络训练

1986年，Geoffrey Hinton与David E. Rumelhart 和Ronald J. Wlilliams合著了一篇论文：Learning representations by back-propagation errors。首次将反向传播算法引入多层神经网络训练。为后来反向传播的大范围普及奠定了基础。

论文摘要

我们描述了一种新的学习过程，反向传播，用于类似神经元单元的网络。这一学习过程通过反复调整网络中连接的权重，从而最大程度地减小网络实际输出向量与期望输出向量之间的差值。由于权重被调整，不属于输入或输出的内部“隐藏”单元（hidden units）来表示任务域的重要特征，而任务中的规则则被这些单元的交互捕获。反向传播创造有用的新特征的能力，将其与早期的、更简单的方法，如感知-收敛过程（ perceptron-convergence procedure）区分开来。

论文地址：https://www.iro.umontreal.ca/~vincentp/ift3395/lectures/backprop_old.pdf

如果没有得到谷歌实习机会，都怪Geoffrey Hinton把门槛设得太高

Geoffrey Hinton 是人工智能领域最著名的研究人员之一。他的工作帮助我们开启了今天我们所看到的深度学习的世界。他在1977年获得人工智能博士学位，自那40年后，他在反向传播和波尔兹曼机的发展中扮演了重要角色。因此，几天前谷歌大脑团队在 Reddit AMA 中谈及 Hinton 2012年时在谷歌当实习生，引起相当多人们的兴趣。

由一个有关“谷歌大脑的实习生的年龄限制”的问题引起，谷歌高级研究员兼谷歌大脑负责人 Jeff Dean 解释说，他的团队对实习生的年龄没有任何限制。他说，确切意义上来讲，Geoffrey Hinton 在2012年时就当过一段时间他的实习生。

“2012年夏季时，我们小组请 Geoffrey Hinton 作为访问研究员，但出于种种原因，他被归类为实习生了。”Jeff Dean 在交流中开玩笑地说道：“实习生没有年龄限制。我们要求的是，实习生要有天赋，要渴望学习，像Geoffrey 那样:).”

一年之后，谷歌收购了 Hinton 当时的初创公司 DNNresearch，以扩充他们在深度学习方面的能力。谷歌花了多少钱买下 DNNrearch 仍然是个迷，但经过一年的实习，这似乎是个很好的交易:)

谷歌大脑团队是谷歌深度学习研究的核心，也是当下最受欢迎的 TensorFlow 深度学习框架诞生的敌方。如果你申请去那里学习但没有得到实习机会，不要伤心，都怪 Geoffrey Hinton 把门槛设得太高了！

深度学习大神Hinton：反向传播和对比散度发明人

杰弗里·埃弗里斯特·辛顿（英语：Geoffrey Everest Hinton）（1947年12月6日－）是一位英国出生的计算机学家和心理学家，以其在神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法的发明人之一，也是深度学习的积极推动者。

辛顿于1970年在英国剑桥大学获得实验心理学学士学位。此后于1978年在爱丁堡大学获得人工智能博士学位。此后曾在萨塞克斯大学、加州大学圣迭戈分校、剑桥大学、卡内基梅隆大学和伦敦大学学院工作。他是盖茨比计算神经科学中心的创始人，目前担任多伦多大学计算机科学系教授。辛顿是机器学习领域的加拿大首席学者，也是加拿大高等研究院赞助的“神经计算和自适应感知”项目的领导者。辛顿在2013年3月加入Google，同时Google并购了他创办的DNNresearch公司。

研究兴趣

关于辛顿工作的浅显解释可以参考他在1992年9月和1993年10月于《科学美国人》发表的两篇科普文章。他研究了使用神经网络进行机器学习、记忆、感知和符号处理的方法，并在这些领域发表了超过200篇论文。他是将反向传播算法引入多层神经网络训练的学者之一。他与特里·赛杰诺维斯基一同发明了波尔兹曼机。他对于神经网络的其它贡献包括分散表示（distributed representation）、时延神经网络、专家混合系统（mixtures of experts）、亥姆霍兹机（Helmholtz machines）等。辛顿当前的工作是处理丰富传感器输入的神经网络无监督学习。

获奖

辛顿是鲁梅哈特奖的首位获奖者，1998年当选皇家学会会士。

辛顿获得了2005年IJCAI杰出学者奖终生成就奖，同时也是2011年赫茨伯格加拿大科学和工程金奖获得者。

轶事

辛顿是逻辑学家乔治·布尔的曾曾孙，布尔的工作最终成为了现代电子计算机的基础。与此同时，辛顿也是外科医生和作家詹姆士·辛顿的后裔。