吴恩达（Andrew Ng）深度学习课程笔记目录

第一门课程中，你将学习如何建立神经网络（包含一个深度神经网络），以及如何在数据上面训练他们。在这门课程的结尾，你将用一个深度神经网络进行辨认猫。
接下来在第二门课中，我们将使用三周时间。你将进行深度学习方面的实践，学习严密地构建神经网络，如何真正让它表现良好，因此你将要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法，比如Momentum和Adam算法，犹如黑魔法一样根据你建立网络的方式。第二门课只有三周学习时间。
在第三门课中，我们将使用两周时间来学习如何结构化你的机器学习工程。事实证明，构建机器学习系统的策略改变了深度学习的错误。第三课的资料是相对比较独特的，我将和你分享。我们了解到的所有的热门领域的建立并且改良许多的深度学习问题。这些当今热门的资料，绝大部分大学在他们的深度学习课堂上面里面不会教的，我认为它会提供你帮助，让深度学习系统工作的更好。
在第四门课程中，我们将会提到卷积神经网络(CNN(s))，它经常被用于图像领域，你将会在第四门课程中学到如何搭建这样的模型。
最后在第五门课中，你将会学习到序列模型，以及如何将它们应用于自然语言处理，以及其它问题。序列模型包括的模型有循环神经网络（RNN）、全称是长短期记忆网络（LSTM）。你将在课程五中了解其中的时期是什么含义，并且有能力应用到自然语言处理（NLP）问题。

课时	周次	内容
第一课	week1	1.1什么是神经网络 1.2用神经网络进行监督学习 1.3为什么深度学习会兴起
第一课	week2	1 二分分类 2 logistic回归 3 logistic回归损失函数 4 梯度下降法 5 导数 6 计算图 7 使用计算图求导 8 logistic回归中的梯度下降法 9 m个样本的梯度下降法 10 向量化 11 向量化的更多例子 12 向量化logistic回归 13 向量化logistic回归的梯度输出 14 python中的广播 15（选修)logistic损失承数的解释
第一课	week3	1 神经网络概述 2 神经网络的表示 3 计算神经网络的输出 4 多个样本的向量化 5 向量化实现的解释 6 激活函数 7 为什么需要非线性激活函数 8 激活函数的导数 9 神经网络的梯度下降法 10 (选修）直观理解反向传播 11 随机初始化
第一课	week4	1 深层神经网络 2 前向和反向传播 3 深层网络中的前向传播 4 核对矩阵的维数 5 为什么使用深层表示 6 搭建深层神经网络块 7 参数vs超参数 8 这和大脑有什么关系
第二课	week1-week3	1训练-验证-测试集 2 偏差方差 3 机器学习基础 4 正则化 5 为什么正则化可以减少过拟合 6 dropout正则化 7 理解dropout 8 其他正则化方法 9 归一化输入 10 梯度消失与梯度爆炸 11 神经网络的权重初始化 12 梯度数值逼近 13 梯度检验 14 关于梯度检验实现的注记 2.1 Mini-batch梯度下降法 2.2理解Mini-batch梯度下降法 2.3指数加权平均 2.4理解指数加权平均 2.5指数加权平均的偏差修正 2.6动量梯度下降 2.7 RMSprop 2.8 Adam优化算法 2.9学习率衰减 2.10局部最优问题 3.1调试处理 3.2为超参数选择合适的范围 3.3超参数训练的实践pandas vs Caviar 3.4正则化网络的激活函数 3.5将Batch Norm拟合进神经网络 3.6 Batch Norm为什么奏效 3.7测试时的Batch Norm 3.8 Softmax回归 3.9训练一个Softmax分类器 3.10深度学习框架
第三课	week1-week2	1为什么是ML策略 2正交化 3单一数字评估指标 4满足和优化指标 5训练-开发-测试集的划分 6训练集开发集测试集的大小 7什么时候改变开发和测试集和指标 8为什么是人的表现 9可避免偏差 10理解人的表现 11超过人的表现 12改善你的模型的表现 2.1进行误差分析 2.2清除标记错误的数据 2.3快速搭建你的第一个系统并进行迭代 2.4在不同的划分上进行训练并测试 2.5不匹配数据划分的偏差和方差 2.6解决数据不匹配 2.7迁移学习 2.8多任务学习 2.9什么是端到端的深度学习 2.10是否要使用端到端的深度学习
第四课	week1	1 介绍 2 卷积运算 3 其他的边缘检测 4 padding 5 卷积步长 6 三维卷积 7 单层卷积网络 8 简单的卷积网络示例 9 池化层 10 卷积神经网络示例 11 为什么使用卷积
第四课	week2	1 为什么要进行实例探究 2 经典网络 3 残差网络 4 残差网络为什么有用 5 网络中的网络以及1×1的卷积 6 谷歌Inception网络简介 7 Inception网络 8 使用开源的实现方案 9 迁移学习 10 数据扩充/数据增强 11 计算机视觉现状
第四课	week3	1 目标定位 2 特征点检测 3 目标检测 4 卷积的滑动窗口实现 5 Bounding Box预测 6 交并比 7 非极大值抑制 8 Anchor box 9 YOLO算法 10 候选区域（选修)
第四课	week4	1 什么是人脸识别 2 One-shot学习 3 Siamese网络 4 Triplet损失 5 面部验证与二分类 6 什么是神经风格迁移 7 什么是深度卷积网络 8 代价函数 9 内容代价函数 10 风格代价函数 11 一维到三维的推广
第五课	week1	1.1为什么选择序列模型 1.2数学符号 1.3循环神经网络 1.4通过时间的反向传播 1.5不同类型的循环神经网络 1.6语言模型和序列生成 1.7新序列采样 1.8带有神经网络的梯度消失 1.9 GRU单元 1.10长短期记忆 1.11双向神经网络 1.12深层循环神经网络