《深度学习》课程笔记目录总集

《深度学习》课程笔记目录总集
吴恩达DeepLearning.ai

云课堂地址：https://mooc.study.163.com/university/deeplearning_ai#/c
学习笔记推荐：https://blog.csdn.net/koala_tree/article/details/79913655
作业推荐：https://github.com/fengdu78/deeplearning_ai_books
计划进度：
（第一周）

1. 神经网络和深度学习
   神经网络概论
   o主要介绍：神经网络的概念、深度学习兴起的原因、课程内容等；
   o笔记：介绍性课程，没有做相应的笔记。
   o编程作业：无
   神经网络基础
   o主要介绍：logistic回归、损失函数、梯度下降、计算向量化、代价函数等；
   o笔记： DeepLearning.ai 课程提炼笔记（1-2）神经网络和深度学习 — 神经网络基础
   o编程作业：使用Numpy的基础Python、logistic回归
   浅层神经网络
   o主要介绍：神经网络、激活函数、梯度下降法、反向传播、随机初始化等；
   o笔记：DeepLearning.ai 课程提炼笔记（1-3）神经网络和深度学习 — 浅层神经网络
   o编程作业：使用浅层神经网络实现平面数据分类
   深层神经网络
   o主要介绍：深度神经网络、DNN的前向和反向传播、参数和超参数等；
   o笔记： DeepLearning.ai 课程提炼笔记（1-4）神经网络和深度学习 — 深层神经网络
   o编程作业：构建DNN、DNN用于图片分类

（第二周）
02. 改善深层神经网络：超参数调试、正则化以及优化
深度学习的实践方面
o主要介绍：训练测试集划分、偏差和方差、正则化、Dropout、输入归一化、梯度消失与梯度爆炸、权重初始化、梯度检验等；
o笔记：DeepLearning.ai 课程提炼笔记（2-1）改善深层神经网络 — 深度学习的实践方面
o编程作业：初始化、正则化、梯度检验
优化算法
o主要介绍：Mini-batch梯度下降、指数加权平均、Momentum梯度下降、RMSprop、Adam优化算法、衰减学习率、局部最优等；
o笔记：DeepLearning.ai 课程提炼笔记（2-2）改善深层神经网络 — 优化算法
o
o编程作业：多种优化算法
超参数调试和Batch Norm及框架
o主要介绍：超参数的调试、Batch Normalization、Softmax、TensorFlow程序框架等；
o笔记：DeepLearning.ai 课程提炼笔记（2-3）改善深层神经网络 — 超参数调试和Batch Norm
o编程作业：TensorFlow简单教程
o
（第三周）
03. 结构化机器学习项目
机器学习策略（1）
o主要介绍：正交化、单一数字评估指标、训练/开发/测试集、偏差和方差、改善模型的表现等；
o笔记：DeepLearning.ai 课程提炼笔记（3-1）结构化机器学习项目 — 机器学习策略(1)
o编程作业：无
机器学习策略（2）
o主要介绍：误差分析、错误样本清除、数据分布不匹配问题、迁移学习、多任务学习、端到端的深度学习等；
o笔记：DeepLearning.ai 课程提炼笔记（3-2）结构化机器学习项目 — 机器学习策略(2)
o编程作业：无

（第四周）
04. 卷积神经网络
卷积神经网络基础
o主要介绍：计算机视觉、边缘检测、卷积神经网络、Padding、卷积、池化等；
o笔记：DeepLearning.ai 课程提炼笔记（4-1）卷积神经网络 — 卷积神经网络基础
o编程作业：构建卷积神经网络、手势识别应用
卷积神经网络实例模型
o主要介绍：AlexNet、LeNet、VGG、ResNet、Inception Network、1乘1卷积、迁移学习、数据扩充等；
o笔记：DeepLearning.ai 课程提炼笔记（4-2）卷积神经网络 — 深度卷积模型
o编程作业：Keras教程-the Happy House、Residual Networks
（第五周）
目标检测
o主要介绍：目标定位、目标检测、Bounding Box预测、交并比、非最大值抑制NMS、Anchor box、YOLO算法、候选区域region proposals等；
o笔记：DeepLearning.ai 课程提炼笔记（4-3）卷积神经网络 — 目标检测
o编程作业：自动驾驶-汽车检测
特殊应用：人脸识别和神经风格迁移
o主要介绍：人脸识别、one-shot学习、Siamese网络、Triplet损失、风格迁移、内容损失、风格损失、1D-3D卷积等；
o笔记： DeepLearning.ai 课程提炼笔记（4-4）卷积神经网络 — 人脸识别和神经风格迁移
o编程作业：人脸识别-Happy House、神经风格迁移-深度学习和艺术
o
（第六周）
05. 序列模型
循环神经网络
o主要介绍：循环神经网络、不同类型的RNN、语言模型、新序列采样、RNN梯度消失、GRU、LSTM、双向RNN、深层RNNs等；
o笔记：DeepLearning.ai 课程提炼笔记（5-1）序列模型 — 循环神经网络
o编程作业：构建RNN、字母级的语言模型-Dinosaurus land、用LSTM即兴创作Jazz
自然语言处理和词嵌入
o主要介绍：词汇表征、Word Embedding、嵌入矩阵、Word2Vec、负采样、GloVe词向量、情感分类、词嵌入消除偏见等；
o笔记：DeepLearning.ai 课程提炼笔记（5-2）序列模型 — NLP和词嵌入
o编程作业：词向量运算、Emojify
序列模型和注意力机制
o主要介绍：序列到序列模型、集束搜索（Beam search）、集束搜索误差分析、Bleu得分、注意力模型、注意力权重、语音识别、触发字检测等；
o笔记：DeepLearning.ai 课程提炼笔记（5-3）序列模型 — 序列模型和注意力机制
o编程作业：机器翻译、触发字检测
o
（第七周 选学）
06. 对抗神经网络（GAN）

深度学习项目实战-对抗生成网络（GAN）

基于卷积的对抗生成网络（DCGAN）

(第八周 选学)
07. 强化学习简介