深度学习的发展历史

本篇给大家介绍神经网络的发展史。了解神经网络的发展史可以帮助我们更好的学习深度学习，更清楚的把握深度学习的发展方向。

了解深度学习的历史，首先要了解深度学习的几个重要事件。首先是1943年神经网络被提出，提出神经网络的是心理学家麦卡洛克和数学逻辑学家皮兹，他们在论文神经活动中内在思想的逻辑演算中提出了神经网络模型，描述了一个基于神经网络的数学模型，从此为神经网络打开了一个新时代。

1957年，心理学家罗森布莱特提出了感知器网络，并提出采用赫步学习规则或最小二乘法来训练感知器的参数，并通过硬件实现了第一个感知器模型Mark I，开辟了人工神经网络向硬件发展的方向。这时，我们已经可以通过训练来获取神经网络的参数了。

1980年，被称为深度学习之父的杰弗里辛顿提出了采用多个含有隐藏层的深度结构来代替感知器的单层结构、多层感知器模型，为深度学习网络模型提供了基础。

1986年，杰弗里辛顿提出了一种适用于多层感知器的反向传播算法，BP算法、BP算法完美的解决了非线性分类问题，让人工神经网络再次引起了人们广泛的关注。

2006年，杰弗里辛顿又提出了深度学习的概念，给出了梯度消失问题的解决方案。梯度消失就是随着隐藏层数目的增加，分类准确率反而下降。导致梯度消失的原因一般是前面隐藏层的学习率低于后面隐藏层的学习率。杰弗里辛顿这一深度学习方法的提出立即在学术圈引起了巨大的反响。

2012年，杰弗里金顿引导的小组采用了深度学习模型，AlexaNet在ImageNet图像识别大赛中一举夺冠。当时AlexaNet模型采用新的ReLU激活函数，基本上解决了梯度消失问题，并采用gpu运算极大的提高了模型的运算速度、此后深度学习在多种领域内得到应用，例如我们围棋AI AlphaGo就在围棋比赛中击败了人类围棋选手。

技术群：添加小编微信并备注进群

小编微信：mm1552923   

公众号：dotNet编程大全