深度学习发展历程（2012年以前）

机器学习

计算机利用已有的数据，得出了某种模型，并利用此模型预测未来的一种方法。它是人工智能领域的一个小分支，如果说AI是一个合集，那么ML就是AI的子集。任何通过数据训练的学习算法的相关研究都属于机器学习，包括很多已经发展多年的技术，比如线性回归（Linear Regression）、logistic回归、K均值（K-means，基于原型的目标函数聚类方法）、决策树（Decision Trees，运用概率分析的一种图解法）、随机森林（Random Forest，运用概率分析的一种图解法）、PCA（Principal Component Analysis，主成分分析）、SVM（Support Vector Machine，支持向量机）以及ANN（Artificial Neural Networks，人工神经网络）。而人工神经网络则是深度学习的起源。
○ 监督学习：回归和分类
○ 无监督学习：聚类
○ 半监督学习
○ 迁移学习
○ 增强学习

深度学习

是机器学习里面现在比较火的一个topic，本身是神经网络算法的衍生，在图像识别，语音识别、自然语言处理（NLP）等富媒体的分类和识别上取得了非常好的效果，成功的主要原因是大量可用的数据以及像GPU这样更强大的计算引擎的出现。下图是深度学习的一个简要发展史

第一代神经网络（1958-1969)

○ 1958年Rosenblatt发明的感知算法可对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。
○ 1962年，该方法被证明为能够收敛，它的理论与实践效果引发了第一次神经网络的浪潮；
○ 1969年，美国数学家及AI先驱Minsky在著作中证明感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的XOR问题都无法正确分类。这等于直接宣判了感知器的死弄，神经网络的研究也陷入了近20年的停滞。

第二代神经网络（1986-1998）

○ 1986年Hiton发明的MLP的BP算法，并采用Sigmoid进行非线性映射，有效解决了非线性公类和学习的问题。该方法引发了神经网络的第二次热潮。
○ 1989年，Robert Hecht-Nielsen证明了MLP的万能逼近定理，即对于任何闭区间内的一个连续函数f，都可以用含有一个隐含层的BP网络来逼近。
○ 1989年，LeCun发明了CNN–LeNet，并将其用于数字识别，且取得了较好的成绩，不过当时并没有引起足够的注意。
○ 1989年以后由于没有提出特别突出的方法，且神经网络一直缺少相应的严格数学理论支持，神经网络的热潮渐渐冷淡下去。冰点发生在1991年，BP算法被指出存在梯度消失问题，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0。
○1997年，LSTM模型被发明，尽管该模型在序列建模上表现出的特性非常突出，但由于处于神经网络的下坡期，也没有引起足够的重视。

统计学习方法的春天（1986-2006）

○ 1986年，决策方法被提出，很快ID3、ID4、CART等改进的决策树方法相继出现，这些方法也是符号学习方法的代表。正是由于这些方法的出现，使得统计学习开始进入人们的视野，迎来统计学习方法的春天。
○ 1995年，统计学家Vapnik提出线性SVM。由于它有非常完美的数学理论推导做支撑（统计学与凸优化等），并且非常符合人的直观感受（最大间隔），更重要的是它在线性分类的问题上取得了当时最好的成绩，这使得神经网络更陷入无人问津的境地。
○ 1997年，AdaBoost被提出，该方法是PAC理论在机器学习实践上的代表，也催生了集成学习这一类方法的诞生，在回归和分类任务上取得了非常好的效果。该方法通过一系列的弱分类器集成，达到强分类器的效果。
○ 2000年，Kernel SVM被提出，核化的SVM通过一种巧妙的方法将原空间线性不可分的问题，通过Kernel映射成高维空间的线性可分的问题，成功解决了非线性分类的问题，且分类效果非常好。至此也更加终结了神经网络时代。
○ 2001年，随机森林被提出，这是集成方法的另一个代表，该方法比AdaBoost能更好地抑制过拟合问题。
○ 2001年，一种新的统一框架—-图模型被提出，该方法试图统一机器 学习混的方法，如朴素贝叶斯、SVM、隐马尔可夫模型等，为各种学习方法提供一个统一的描述框架

第三代神经网络深度学习（2006-至今）

快速发展期（2006-2012）

○ 2006年，深度学习元年。Hiton提出了深层网络训练中梯度消失问题的解决方案：“无监督训练对权值进行初始化+有监督训练微调”。其主要思想是先通过自学习的方法学习到训练数据的结构，然后在该结构上进行有监督训练微调。
○ 2011年，ReLU激活函数被提出，有效抑制梯度消失的问题。
○ 2011年，微软首次将深度学习应用在语音识别上，取得了重大突破。

爆发期（2012-至今）

○2012年，Hiton课题组首次参加ImageNet图像识别比赛，AlexNet夺得冠军，并碾压了第二名（SVM）的分类性能。
○ ….

深度学习三巨头（闲谈）

○ 论资排辈：Hinton>leCun>Bengio
○ hinton经典工作堆成山，门下徒子徒孙遍地，lecun是hinton的postdoc，当年micheal jordan想去hinton门下读postdoc都被婉拒，而bengio又是jordan的postdoc。
○ 虽说lecun（LeNet5）不是cnn的发明人，但是他是第一个把bp用在cnn上并且完善cnn使得它可以在real application上work的人，也是自98年之后近20年的cnn第一推动者。