为什么是神经网络&深度学习

背景：很多人都知道神经网络、深度学习是上世纪就有的技术，为什么最近这些年才成为“爆款”？本文就这个话题来掰扯掰扯，记录记录一些大佬的对此的见解。

Scale drives deep learning progress

“Scale drives deep learning progress”，这是吴恩达的深度学习课程中的一个标题。这里“规模”（scale）一方面指的是神经网络的规模，能构建更多隐藏单元更多连接的神经网络，这一方面很明显依赖于计算机算力尤其GPU技术的大幅度提升。另一方面还有数据“规模”（scale of the data），传统的机器学习算法如SVM 无法处理海量数据，给这些模型再多的数据也无法提升模型准确度。而神经网络想要达到更好效果，需要在构建更大规模的网络模型的同时给予足够的海量数据。近20年数字化社会的发展使得获取海量数据变成越来越容易的一件事。