深度学习基础知识（发展历史）

1 深度学习的历史及发展趋势

1.1 深度学习的历史

        一般来说，目前为止已经有三次深度学习的发展浪潮：在20 世纪 40 年代到 60 年代深度学习被称为控制论 (cybernetics)，20 世纪 80 年代到 90 年代深度学习被誉为连接机制 (connectionism)，并于 2006 年开始，以深度学习之名复兴。

                                    

       连接机制是在认知科学的背景下出现的。认知科学是理解心智，并结合多个不同层次分析的跨学科方法。连接机制的中心思想是，当网络将大量简单计算单元连接在一起时可以实现智能行为。这种见解同样适用于与计算模型中隐藏单元作用类似的生物神经系统中的神经元。

      神经网络研究的第三次浪潮始于 2006 年的突破。Geoffrey Hinton表明名为深度信念网络（DBN）的神经网络可以使用一种称为贪心逐层训练的策略进行有效地训练(Hinton et al., 2006a)。

1.2 深度学习的发展

        与日俱增的数据量和模型规模

        数据量的增加，使得深度学习的一些算法获取良好性能的技巧逐渐减少，目前，在复杂的任务中能达到与人类表现可以媲美的性能。大数据时代的到来，使得深度学习变得更加容易。但我们应该注意在无监督和半监督学习中充分利用未标注的样本。

                                           

                                                                                     数据量的增加

       模型规模的扩大，较大的网络能够在更复杂的任务中实现更高的精度。所以更多学者在神经网络中引入更多的隐藏单元，使得模型规模扩大。另外，硬件（更快的CPU、通用GPU、硬盘存储量）以及更好的分布式计算的软件基础设备和更快的网络连接使得模型规模扩大成为可能。

       与日俱增的精度、复杂度和对现实世界的冲击

       深度学习提供精确识别和预测的能力一直在提高。此外，深度学习持续成功地应用于越来越广泛的应用。

                        

       上图显示了每神经元连接数。1、自适应线性单元；2、神经认知机；3、GPU加速 卷积网络；4、深度玻尔兹曼机；5、无监督卷积网络；6、GPU加速 多层感知机；7、分布式自动编码器；8、Multi-GPU 卷积网络；9、COTS HPC无监督卷积网络；10、GoogLeNet。

                            

                                                                  神经网络规模的扩大

1. 感知机 (Rosenblatt, 1958, 1962)
2. 自适应线性单元 (Widrow and Hoff, 1960)
3. 神经认知机 (Fukushima, 1980)
4. 早期后向传播网络 (Rumelhart et al., 1986b)
5. 用于语音识别的循环神经网络 (Robinson and Fallside, 1991)
6. 用于语音识别的多层感知机 (Bengio et al., 1991)
7. 均匀场sigmoid信念网络 (Saul et al., 1996)
8. LeNet-5 (LeCun et al., 1998b)
9. 回声状态网络 (Jaeger and Haas, 2004)
10. 深度信念网络 (Hinton et al., 2006a)
11. GPU-加速卷积网络 (Chellapilla et al., 2006)
12. 深度玻尔兹曼机 (Salakhutdinov and Hinton, 2009a)
13. GPU-加速深度信念网络 (Raina et al., 2009a)
14. 无监督卷积网络 (Jarrett et al., 2009b)
15. GPU-加速多层感知机 (Ciresan et al., 2010)
16. OMP-1 网络 (Coates and Ng, 2011)
17. 分布式自动编码器 (Le et al., 2012)
18. Multi-GPU卷积网络 (Krizhevsky et al., 2012a)
19. COTS HPC 无监督卷积网络 (Coates et al., 2013)
20. GoogLeNet (Szegedy et al., 2014a)

                         

                                                       深度网络在ImageNet挑战中日益降低的错误率

       深度学习是机器学习的一种方法，过去几十年的发展中，它深深地吸收了我们关于人脑、统计学与应用数学的知识。近年来，深度学习的普及性和实用性有了极大的发展，这在很大程度上得益于更强大的计算机、更大的数据集和能够训练更深网络的技术。未来几年充满了进一步提高深度学习并将它带到新领域的挑战和机遇。