深度学习的发展历程总结

一张图总结深度学习的前世今生

资料来源百度大脑（ID：baidubrain）

  

  另外解释一下为什么 ImageNet（斯坦福教授李飞飞创立） 出现之前互联网上大量的开放数据不能被应用于深度学习？这也是目前深度学习面临的局限，大部分深度学习创造的价值仍然来自于监督学习技术。监督学习技术需要基于系统曾经接受过的其他实例输入，来学习对东西进行分类或对结果进行预测。

  例如给你一张图片，请你把鸟从图片里找出来。或者给你一封邮件，请你判断它是不是垃圾邮件。在监督学习的过程中，深度神经网络先前接受的这些输入信息需要有一个标记信息，它相当于我们做训练题时的参考答案，深度神经网络把自己的分析结果和它进行对比，从而优化分析过程和纠正错误。如果输入的信息中没有关于实际上图片里有没有鸟的标记，或者关于这封邮件实际上是不是垃圾邮件的标记，它就无从学习。这就像我们做完练习题却并不知道自己答得对不对，这对于我们下一次碰到类似的题目大概毫无助益。因此，ImageNet 这样「有参考答案的习题」就显得十分关键。
  当然我们还知道另一种深度学习技术：无监督学习。2012 年 6 月，谷歌推出的「猫实验」项目就是对无监督学习的一次探索。在「猫实验」中，谷歌大脑开发的一个大规模神经网络凭借 1000 万张来自 YouTube 的未标记图片学会了分辨猫。吴恩达当时正是谷歌大脑的负责人，他当时发现经过无监督学习的神经网络对人脸也有辨识，但也有一些神经网络辨识出来的特征他们没能找到对应的词汇，无监督学习方面的算法在很大程度上仍然处于摇篮期。