Deep Learning笔记：序

这个系列是 Coursera 上Andrew NG的专项课程 Deep Learning的课程笔记。这个课程系列分为五个部分：

• Neural Networks and Deep Learning
• Improving Deep Neural Networks
• Structuring Machine Learning Projects
• Convolutional Neural Networks
• Sequence Models

第一节课介绍了Deep Learning的基本原理，包括网络架构，正向传播和反向传播的过程，梯度下降算法等等。第二节课介绍了一些让Deep Learning性能更好的原则，包括regularization， adam optimization 以及如何初始化参数等等。第三节课介绍了在进行较大规模的deep learning项目的时候的一些需要注意的事项，例如如何迅速找到性能瓶颈和设定工作的优先级。第四第五节课分别介绍最近非常流行的CNN 以及 RNN。

我目前已经跟完了前三个课程。总体感觉第三个课程知识点有点稀薄，而前两个课程质量非常之高。特别是第一个课程，完全是从最基础的知识讲起，一步步揭开了deep Learning的面纱，学完之后感觉 deep Learning完全不是什么高深莫测的学科，掌握它所需要的先验知识也非常的少。恐怕这也是为什么最近这个学科这么火的一个重要原因 --- 准入门槛低，自然就有一大堆人一哄而上。最近层出不穷的什么 deep learning 三天速成培训班更是验证了这一点。 这种浮躁的气氛非常令人反感。当然如果只是学习用现成框架搭几个现成的模型，那几天时间也就足够了 -- 虽然这样训练出来的只是 deep learning 调参师而已。为了能高效灵活的把 deep learning 应用到实际问题中，必须要对 deep learning 背后的知识原理有比较深入的了解。

最后，之所以想要记录这个笔记是因为我发现只是跟着课上一遍之后的知识吸收情况不是很好。特别是进入到第二个课程以后，知识点开始变的非常琐碎。如果不记录下来基本上第一天学完第二天就忘得差不多了。因此我决定开始记录课程笔记的来方便我日后迅速的回顾某些知识点。