神经网络发展简史

1. 1943年神经科学家warren McCulloch和数学逻辑家Walter Pitts提出MP神经元模型。

2. 1957年美国康奈尔航空实验室的Frank Rosenblatt在MP模型的基础上发明了一种叫做“感知器”的神经网络算法，并在一台IBM-704上成功实现。

3. 1969年人工智能先驱Marvin Minsky和Seymour Papert出版了《感知器》一书，提出并证明了单层的感知器无法处理不可线性分割的问题。如异或逻辑。

4. 1974年哈弗大学的Paul Webbos提出将反向传播算法（BP算法）的思想应用于神经网络。

5. 1986年Rumelhart、Hinton、Williams在《自然》杂志上发表了Learning Internal Repressentation by Backpropagation of Errors.指出在神经网络中增加一个

    隐藏层，并用反向传播算法可以解决Minsky等人提出的多层神经网络不能解决异或逻辑的问题。阻碍神经网络发展的魔咒被打破

6. 1989年,Yann LeCun运用卷积神经网络对美国手写邮政编码进行训练和识别，在独立样本测试中达到了5%的错误率。

7. 1991年，德国的SeppHochreiter指出，当BP算法中成本函数反向传播时，每经过一层，梯度以相乘的方式叠加到前层，梯度在经过若干层反向传播后会变得极小

    趋于0，存在梯度消失的问题。

8.2006年Hitton等人发表了一篇名为A Fast Learning Algorithm for Deep Belief Nets的论文，提出使用玻尔兹曼分布构造了两层玻尔兹曼机进行无监督的预训练

  以此来对权值进行初始化，然后使用反向传播算法对权值进行微调，这一策略在一定程度上克服了梯度消失的问题。

9.2011年加拿大蒙特利尔大学的Xavier Glorot 和Yoshua Bengio在Deep sparse Rectangle Neural Networks的论文中提出一种被称为“修正线性单元”RELU的激活函数

  ，该激活函数的导数为常数，在误差反向传播计算中不存在sigmoid的传统激活函数所固有的梯度消失问题。从根本上解决了阻碍神经网络发展的梯度消失难题。

10. 2012年Hinton在论文Improving neural networks by preventing co-adaptation of feature detectors中提出使用“丢弃Dropout”算法来解决神经网络

    中存在过度拟合的问题。