2020-01-27 什么是深度学习

深度学习是人工神经网络的一个分支，具有深度网络结构的人工神经网络是深度学习最早的网络模型。

1.深度学习的起源阶段

1943年，美国心理学家沃伦·麦克洛克（W.McCulloch）和数学家沃尔特·皮茨（W.Pitts）首次提出了人工神经网络这一概念，并使用数学模型对人工神经网络中的神经元进行了理论建模，开启了人们对人工神经网络的研究 .1949年，著名心理学家唐纳德·奥尔丁·赫布（D. Olding Hebb）给出了神经元的数学模型，提出了人工神经网络的学习规则。

1957年，著名人工智能专家弗兰克·罗森布莱特（F.Rosenblatt）提出了感知器（Perceptron）人工神经网络模型，并提出采用Hebb学习规则或最小二乘法来训练感知器的参数，感知器是最早且结构最简单的人工神经网络模型。随后，弗兰克·罗森布莱特又在Cornelluniversity Aeronautical laboratory通过硬件实现了第一个感知器模型:Mark I，开辟了人工神经网络的计算机向硬件化发展方向。感知器是一种前向人工神经网络，采用阈值型激活函数，只含一层神经元。通过训练网络权值，对于一组输入响应，感知器可以得到1或0的目标输出，从而实现分类输入响应的目标。但感知器的分类能力非常有限，只能够处理简单的二元线性分类，受限于其只具有一层神经网络，它不能处理线性不可分问题，比如异或问题。随着研究的深入，在1969年，“AI之父”马文·明斯基和LOGO语言的创始人西蒙·派珀特共同编写了一本书籍《感知器》，在书中他们证明了单层感知器无法解决线性不可分问题（例如：异或问题）。

1980年，基于传统的感知器结构，深度学习创始人，加拿大多伦多大学教授杰弗里·辛顿（G. Hinton）采用多个隐含层的深度结构来代替代感知器的单层结构，多层感知器模型（Multi_Layer Perceptron）是其中最具代表性的，而且多层感知器也是最早的深度学习网络模型。1974年，Paul Werbos提出采用反向传播法来训练一般的人工神经网络，随后，该算法进一步被杰弗里·辛顿、燕·勒存（Y. LeCun）等人应用于训练具有深度结构的神经网络[3]。反向传播法根据神经网络输出层的计算误差来调整网络的权值，直到计算误差收敛为止。但是，反向传播法训练具有多隐含层的深度网络的网络参数的学习性能并不好，因为具有多隐含层的深度网络的网络参数的训练问题是一个非凸问题，基于梯度下降的反向传播法很容易在训练网络参数时收敛于局部极小值。此外，反向传播法训练网络参数还存在很多实际问题，比如需要大量的标签样本来训练网络的权值，多隐含层的神经网络权值的训练速度很慢，权值的修正随着反向传播层数的增加逐渐削弱等。

2.深度学习的发展阶段

1984年,日本学者福岛邦彦提出了卷积神经网络的原始模型神经感知机（Neocognitron）。1998年，燕·勒存（Y. LeCun）提出了深度学习常用模型之一卷积神经网络（Convoluted Neural Network， CNN）。2006年，杰弗里·辛顿（G. Hinton）提出了深度学习的概念，随后与其团队在文章《A fast Learning Algorithm for Deep Belief Nets》中提出了深度学习模型之一，深度信念网络，并给出了一种高效的半监督算法：逐层贪心算法，来训练深度信念网络的参数，打破了长期以来深度网络难以训练的僵局。从此，深度学习的大门打开，在各大政府、高校和企业中掀起了研究深度学习的大浪潮。2009年，Yoshua Bengio提出了深度学习另一常用模型：堆叠自动编码器（Stacked Auto-Encoder,SAE），采用自动编码器来代替深度信念网络的基本单元：限制玻尔兹曼机，来构造深度网络。

约翰·霍普菲尔德(John Hopfield)在1982提出了Hopfield网络，是最早的递归神经网络（Recurrent Neural Network，RNN）。因Hopfield网络实现困难，没有合适的应用场景，86年后逐渐被前向神经网络取代。1990年，出现了Elman&Jordan SRN两种新的RNN网络，同样因为没有合适的应用场景，很快淡出了研究人员视线。Dalle Molle人工智能研究所的主任Jurgen Schmidhuber在论文《THE VANISHING GRADIENT PROBLEM DURING recurrent neural networks and problem solutions》提出了LSTM，促进了循环神经网络的发展，特别是在深度学习广泛应用的今天，RNN（LSTM）在自然语言处理领域，如机器翻译、情感分析、智能对话等，取得了令人惊异的成绩。

3.深度学习的爆发阶段

深度学习自2006年产生之后就受到科研机构、工业界的高度关注。最初，深度学习的应用主要是在图像和语音领域。从2011年开始，谷歌研究院和微软研究院的研究人员先后将深度学习应用到语音识别，使识别错误率下降了20%-30%。2012年，杰弗里·辛顿的学生IIya Sutskever和Alex Krizhevsky在图片分类比赛ImageNet中，使用深度学习打败了Google团队，深度学习的应用，使得图片识别错误率下降了14%。2012年6月，谷歌首席架构师Jeff Dean和斯坦福大学教授AndrewNg主导著名的GoogleBrain项目，采用16万个CPU来构建一个深层神经网络，并将其应用于图像和语音的识别，最终大获成功。此外，深度学习在搜索领域也获得广泛关注。如今，深度学习已经在图像、语音、自然语言处理、CTR预估、大数据特征提取等方面获得广泛的应用。

2017年，基于强化学习算法的AlphaGo升级版AlphaGo Zero横空出世。其采用“从零开始”、“无师自通”的学习模式，以100:0的比分轻而易举打败了之前的AlphaGo。除了围棋，它还精通国际象棋等其它棋类游戏，可以说是真正的棋类“天才”。此外在这一年，深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以，也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。

所以在深度学习的浪潮之下，不管是AI的相关从业者还是其他各行各业的工作者，都应该以开放、学习的心态关注深度学习、人工智能的热点动态。人工智能正在悄无声息的改变着我们的生活！

---

此学习系列中，都是基于百度飞桨（PaddlePaddle）进行的，所有的例子，也是为了记录个人学习过程，程序参考PaddlePaddle中提供的教程，里面有一些自己的想法和遇到问题的记录。