【学习笔记】吴恩达老师《深度学习工程师》二

第三课 为什么深度学习会崛起

老师解释了为什么深度学习这个几十年之前就出现的技术今天又火热起来。

原因不外乎三点：

1. 数据越来越庞大

得益于数字化的发展、互联网的扩张以及各种廉价的视觉传感器的出现，如今的数据方便收集同时数量庞大，这为深度学习数据来源打下了扎实的基础。

2. 计算机硬件的发展

计算机硬件飞速发展，计算能力显著提高，使得以前很难进行计算的方法如今可以轻松实现。

3. 算法的进步

算法不断迭代，使得深度学习的一个周期大大缩短，计算效率提高。

以上种种带来的好处就是，当你有了一个idea，将这个创意变为代码，进行试验调试，改进代码，实现idea。如果这个周期很短，那么使用深度学习代价很小，值得去用。如果一个周期长达数月，人生有几个数月？！扎心不？

更直观的理解：

横轴表示带标签的样本，也就是训练集的规模大小（用m表示，从左到右依次增大），亦或者说数据量的大小。纵轴表示深度学习的性能表现，譬如图像识别的准确率，自动驾驶的稳定性等等，从下到上依次增加。传统的机器学习算法（红色曲线），在样本量很小时，性能会随着喂入样本的增加而增加，然而很快遇见了瓶颈，进入平台期。为了得到更优的性能来满足需求，我们换用神经网络（NN），不难看出从小型神经网络（黄色曲线）到中型（蓝色曲线）最后再到大型神经网络（绿色曲线），除了最初样本量很小时性能比较接近外，随着神经网络规模的增加，性能差异逐步显现。

总结就是：规模驱动着深度学习的发展。

当然，这个规模一方面指神经网络的规模，另一方面指的是数据集的规模。

第五课 关于这门课

课程大纲：

第一周：绪论——简介深度学习

第二周： 神经网络编程基础

第三周： 一个隐藏层的神经网络

第四周： 深度（复杂）神经网络

至此，第一周的课结束。付一个课后作业地址，希望自己认认真真完成作业！

第一次的多项选择题9分，还是美滋滋，答案在这里找到了。

学起来！