深度学习发展史以及所需要的支撑条件

1. 深度学习主要是通过搭建深层的人工 神经网络（Artificial Neural Network）来进行知识的学习，输入数据通 常较为复杂、规模大、维度高
2. 发展史

• 最早的神经网络：1943年的MCP（McCulloch and Pitts） 人工神经元网络，希望使用简单的加权求和与激活函数来模拟人类的神 经元过程。1958年的感知器（Perception）模型使用了梯度下降算法来学习多维的训练数据，成功地实现了二分类问题，也掀起 了深度学习的第一次热潮。

然而，1969年，Minsky证明了感知器仅仅是一种线性模型，对简单 的亦或判断都无能为力，而生活中的大部分问题都是非线性的

• 1986年，深度学习领域“三驾马车”之一的Geoffrey Hinton创造性地 将非线性的Sigmoid函数应用到了多层感知器中，并利用反向传播 （Backpropagation）算法进行模型学习，使得模型能够有效地处理非线 性问题。1998年，“三驾马车”中的卷积神经网络之父Yann LeCun发明了 卷积神经网络LeNet模型，可有效解决图像数字识别问题，被认为是卷 积神经网络的鼻祖。

然而在此之后的多年时间里，深度学习并没有代表性的算法问世， 并且神经网络存在两个致命问题：一是Sigmoid在函数两端具有饱和效 应，会带来梯度消失问题；另一个是随着神经网络的加深，训练时参数 容易陷入局部最优解。这两个弊端导致深度学习陷入了第二次低谷

• 2006年，Hinton提出了利用无监督的初始化与有监督的微调缓解了局部最优解问题，再次挽救了深度学习，这一年也被称为深度学习元 年。2011年诞生的ReLU激活函数有效地缓解了梯度消失现象。
• 爆发发式发展：2012年的ImageNet图像识别竞赛中，Hinton率领的团队利用卷积 神经网络构建的AlexNet一举夺得了冠军，从此点燃了学术界、工业界 等对于深度学习、卷积网络的热情。VGGNet、ResNet等优秀的网络接连问世。

3. 深度学习的发展离不开大数据、GPU及模型这3个因素

• 大数据：当前大部分的深度学习模型是有监督学习，依赖于数据 的有效标注。例如，要做一个高性能的物体检测模型，通常需要使用上 万甚至是几十万的标注数据
• GPU：深度学习模型通常有数以千万计的参数，存在大规模的并行计算，传统的以逻辑运 算能力著称的CPU面对这种并行计算会异常缓慢，GPU以及CUDA计算 库专注于数据的并行计算，为模型训练提供了强有力的工具。
• ·模型：在大数据与GPU的强有力支撑下，无数研究学者的奇思妙 想，催生出了VGGNet、ResNet和FPN等一系列优秀的深度学习模型， 并且在学习任务的精度、速度等指标上取得了显著的进步。

4. 根据网络结构的不同，深度学习模型可以分为卷积神经网络 （Convolutional Neural Network，CNN）、循环神经网络（Recurrent Neural Network，RNN）及生成式对抗网络（Generative Adviserial Network，GAN）