完结撒花！吴恩达DeepLearning.ai《深度学习》课程笔记目录总集

---

作者： 大树先生
博客： http://blog.csdn.net/koala_tree
知乎：https://www.zhihu.com/people/dashuxiansheng
GitHub：https://github.com/KoalaTree
2018 年 4 月 5 日

---

本文发布在知乎的专栏中，为了方便习惯使用CSDN的用户，更改了下面文章的直链到CSDN中的笔记。
同时，也欢迎大家关注我的知乎：大树先生，会不定期有新的干货更新。一起学习一起进步呀！^_^

---

DeepLearning.ai简介

deepLearning.ai 是由吴恩达在Coursera上推出的一个教授深度学习的专题系列课程。整个专题共包括五门课程：01.神经网络和深度学习；02.改善深层神经网络-超参数调试、正则化以及优化；03.结构化机器学习项目；04.卷积神经网络；05.序列模型。

课程描述：

请允许我引用官网的介绍：

如果你想进入人工智能，这个课程专题将会给你带来帮助。深度学习是科技领域最受追捧的技能之一，我们将帮助你进行学习这些知识。
在五门课程中，你将学习深度学习的基础知识，了解如何构建神经网络，并学习如何实践机器学习项目，学习卷积网络，RNN，LSTM，Adam，Dropout，BatchNorm，Xavier/He初始化等等。你将从事医疗，自动驾驶，手语阅读，音乐创作和自然语言处理的案例研究。届时，你不但会掌握深度学习的基础理论，还会看到它在工业中的应用。上面的这些想法都将在Python和TensorFlow的练习中所实现。另外，你还将听到许多深度学习的高层领导，他们将与你分享他们的个人故事，并为你提供职业建议。
AI正在对各行各业产生着巨大的影响，在完成此专题的课程后，你可能会找到创造性的方法将其应用到你的工作中。我们将帮助你掌握深度学习，了解如何使用它，帮助你建立AI的职业生涯。

课程内容：

• Coursera：官方课程安排（英文字幕）。付费用户在课程作业中可以获得作业评分，每门课程修完可获得结课证书；不付费可以免费上课、做课后作业，但没有作业评分，结课无法获得课程证书。
• 网易云课堂：网易引进的正版授权（中英文字幕）。课程完全免费，但没有课后作业，没有课程证书。

推荐指数：

4.5 星（个人意见）
目前已有的深度学习课程中难得的好课程。

个人提炼笔记及编程作业总集

下面是个人在上课的过程中，从中提炼的要点笔记，以及自己完成的课后编程作业。课程为主，练习为辅，笔记做巩固。所以建议大家以这样的核心思想来进行这门课程的学习。废话不多说，上笔记！

---

01. 神经网络和深度学习

• 神经网络概论
  
  • 主要介绍：神经网络的概念、深度学习兴起的原因、课程内容等；
  • 笔记：介绍性课程，没有做相应的笔记。
  • 编程作业：无
• 神经网络基础
  
  • 主要介绍：logistic回归、损失函数、梯度下降、计算向量化、代价函数等；
  • 笔记：DeepLearning.ai 课程提炼笔记（1-2）神经网络和深度学习 — 神经网络基础
  • 编程作业：使用Numpy的基础Python、logistic回归
• 浅层神经网络
  
  • 主要介绍：神经网络、激活函数、梯度下降法、反向传播、随机初始化等；
  • 笔记：DeepLearning.ai 课程提炼笔记（1-3）神经网络和深度学习 — 浅层神经网络
  • 编程作业：使用浅层神经网络实现平面数据分类
• 深层神经网络
  
  • 主要介绍：深度神经网络、DNN的前向和反向传播、参数和超参数等；
  • 笔记：DeepLearning.ai 课程提炼笔记（1-4）神经网络和深度学习 — 深层神经网络
  • 编程作业：构建DNN、DNN用于图片分类

---

02. 改善深层神经网络：超参数调试、正则化以及优化

• 深度学习的实践方面
  
  • 主要介绍：训练测试集划分、偏差和方差、正则化、Dropout、输入归一化、梯度消失与梯度爆炸、权重初始化、梯度检验等；
  • 笔记：DeepLearning.ai 课程提炼笔记（2-1）改善深层神经网络 — 深度学习的实践方面
  • 编程作业：初始化、正则化、梯度检验
• 优化算法
  
  • 主要介绍：Mini-batch梯度下降、指数加权平均、Momentum梯度下降、RMSprop、Adam优化算法、衰减学习率、局部最优等；
  • 笔记：DeepLearning.ai 课程提炼笔记（2-2）改善深层神经网络 — 优化算法
  • 编程作业：多种优化算法
• 超参数调试和Batch Norm及框架
  
  • 主要介绍：超参数的调试、Batch Normalization、Softmax、TensorFlow程序框架等；
  • 笔记：DeepLearning.ai 课程提炼笔记（2-3）改善深层神经网络 — 超参数调试和Batch Norm
  • 编程作业：TensorFlow简单教程

---

03. 结构化机器学习项目

• 机器学习策略（1）
  
  • 主要介绍：正交化、单一数字评估指标、训练/开发/测试集、偏差和方差、改善模型的表现等；
  • 笔记：DeepLearning.ai 课程提炼笔记（3-1）结构化机器学习项目 — 机器学习策略(1)
  • 编程作业：无
• 机器学习策略（2）
  
  • 主要介绍：误差分析、错误样本清除、数据分布不匹配问题、迁移学习、多任务学习、端到端的深度学习等；
  • 笔记：DeepLearning.ai 课程提炼笔记（3-2）结构化机器学习项目 — 机器学习策略(2)
  • 编程作业：无

---

04. 卷积神经网络

• 卷积神经网络基础
  
  • 主要介绍：计算机视觉、边缘检测、卷积神经网络、Padding、卷积、池化等；
  • 笔记：DeepLearning.ai 课程提炼笔记（4-1）卷积神经网络 — 卷积神经网络基础
  • 编程作业：构建卷积神经网络、手势识别应用
• 卷积神经网络实例模型
  
  • 主要介绍：AlexNet、LeNet、VGG、ResNet、Inception Network、1乘1卷积、迁移学习、数据扩充等；
  • 笔记：DeepLearning.ai 课程提炼笔记（4-2）卷积神经网络 — 深度卷积模型
  • 编程作业：Keras教程-the Happy House、Residual Networks
• 目标检测
  
  • 主要介绍：目标定位、目标检测、Bounding Box预测、交并比、非最大值抑制NMS、Anchor box、YOLO算法、候选区域region proposals等；
  • 笔记：DeepLearning.ai 课程提炼笔记（4-3）卷积神经网络 — 目标检测
  • 编程作业：自动驾驶-汽车检测
• 特殊应用：人脸识别和神经风格迁移
  
  • 主要介绍：人脸识别、one-shot学习、Siamese网络、Triplet损失、风格迁移、内容损失、风格损失、1D-3D卷积等；
  • 笔记：DeepLearning.ai 课程提炼笔记（4-4）卷积神经网络 — 人脸识别和神经风格迁移
  • 编程作业：人脸识别-Happy House、神经风格迁移-深度学习和艺术

---

05. 序列模型

• 循环神经网络
  
  • 主要介绍：循环神经网络、不同类型的RNN、语言模型、新序列采样、RNN梯度消失、GRU、LSTM、双向RNN、深层RNNs等；
  • 笔记：DeepLearning.ai 课程提炼笔记（5-1）序列模型 — 循环神经网络
  • 编程作业：构建RNN、字母级的语言模型-Dinosaurus land、用LSTM即兴创作Jazz
• 自然语言处理和词嵌入
  
  • 主要介绍：词汇表征、Word Embedding、嵌入矩阵、Word2Vec、负采样、GloVe词向量、情感分类、词嵌入消除偏见等；
  • 笔记：DeepLearning.ai 课程提炼笔记（5-2）序列模型 — NLP和词嵌入
  • 编程作业：词向量运算、Emojify
• 序列模型和注意力机制
  
  • 主要介绍：序列到序列模型、集束搜索（Beam search）、集束搜索误差分析、Bleu得分、注意力模型、注意力权重、语音识别、触发字检测等；
  • 笔记：DeepLearning.ai 课程提炼笔记（5-3）序列模型 — 序列模型和注意力机制
  • 编程作业：机器翻译、触发字检测

总结

整个专题课程的学习跨度比较长，在上课的过程中不断地思考做笔记的过程也确实缓慢而辛苦，但一路下来确实有了很大的收获。期初只是为了做一个自己后期进行复习的笔记，但后来感觉记录的笔记还算整洁，所以就放到知乎上和大家一起分享，希望我的这些能够给更多有同样需求的同学和朋友们带来小小的帮助。

最后

笔记属于课程的提炼，虽然总体来说已经较为全面了，但限于个人的能力和精力，笔记中难免会出现遗漏或者错误的地方。如果大家在阅读笔记的时候，发现了错误的地方以及觉得比较重要但我没有记录的内容，那么欢迎大家在下方评论留言或者私信给我，我将会及时做更正和补充，感谢支持。

最后，感谢每位点赞的知友。同时，也欢迎其他平台的转载和分享，一起进步呀^_^!