深度学习的“前世今生”

1、“感知机”的诞生

20世纪50年代，人工智能派生出了这样两个学派，分别是“符号学派”及“连接学派”。前者的领军学者有Marvin Minsky及John McCarthy，后者则是由Frank Rosenblatt所领导。

符号学派的人相信对机器从头编程，一个模块一个模块组合最终可以得到比人类更智慧的机器；

而连接学派则选择了截然不同的道路：模仿大脑，制造大脑，最终超越人类。

连接学派的领导者Frank Rosenblatt通过模仿人类神经元的工作原理，制作出了感知机（perceptron）,如下图所示：

感知机被证明可以很好地处理线性决策边界分类问题，但对于非线性的分类问题表现得非常差。

与此同时，符号学派得科学家正忙着编写解决代数问题的程序，或用机器人手臂堆砌构造模块。在当时，这两个学派都没有取得太大的进展。但他们都很会推销自己。连接学派得人宣称感知机是智能机器得第一步，一旦成功，所获得得只能体不仅仅是聪明而且还会有自我意识。这获得了大众们得广泛关注。而符号学派更受到学术领域得关注，因此获得了更多的资助。可以说连接学派获得了"面子"，而符号学派获得了“里子”。

在50年代到60年代中叶这段时期，连接学派得公众熟识度也确实为其赢得了不少的资助，符号学派的领军人Marvin Minsky认为这就是在浪费钱，因此他决定自己也参与研究连接学派的主张，以期能够从更专业的角度击败它。

很快地，他发表了一本《感知机》的书，书中着重抨击了使用感知机无法处理非线性分类问题。但即便是他也不得不同意Frank Rosenblatt的观点，那就是多层的感知机可以处理非线性问题，但在当时那个阶段这被认为是不可能实现的事情。

很快，连接学派的科研人员处境日渐落寞。到了70年代，Frank Rosenblatt在一次帆船运动中不幸逝世，连接学派似乎就此退出了学术舞台。

2、神经网络

但事情很快出现了转机。。。

二十世纪七十年代，机器学习的研究者发现反向传递可以应用到多层感知器（神经网络）的梯度计算中，这也就意味着感知器不能处理非线性分类问题的缺憾得到了弥补，连接学派的春天终于到来了。

但经过了近二十年的发展，神经网络的发展似乎又遇到了瓶颈。反向传递技术的应用固然挽救了连接学派，挽救了“感知机”，但随着神经网络的层数增加，出现过拟合的风险越来越大，这也就意味着神经网络似乎无法前进为深度神经网络。

3、深度神经网络/深度学习

20世纪90年代到本世纪初，相关的研究人员又取得了巨大的突破。他们开发了全新的权重矩阵初始化方法、全新的激活函数（Relu系列）、dropout，从而很好地克服了原本神经网络存在的梯度消失或爆炸、神经元死亡的现象，过拟合风险显著降低，训练速度显著提升。与此同时另一部分人开发了全新的神经网络搭建方法，如卷积神经网络，循环神经网络等。这些新架构填补了过去几十年间没有任何改进的人工智能领域的空白。

此外，深度神经网络的发展也享受到了硬件设备升级所带来的红利，2000年初，GPU的广泛应用计算领域，及大幅度地提升了神经网络的表现。

2012年，深度网络研究团队成员Geoffrey Hinton、 Alex Krizhevsky、 Ilya Sutskever在图像计算机视觉比赛上使用卷积神经网络模型AlexNet，以84.7%的准确率击败了在此之前表现最好的ImageNet模型（75%）。由此受到了人们的广泛关注。以此作为分水岭，神经网络改头换面，它有了新的名字：深度学习。