深度学习课程内容

转自知乎https://zhuanlan.zhihu.com/p/32235142

1. 神经网络和深度学习

1. 神经网络概论

• 主要介绍：神经网络的概念、深度学习兴起的原因、课程内容等；
• 编程作业：无

 

• 神经网络基础
  • 主要介绍：logistic回归、损失函数、梯度下降、计算向量化、代价函数等；
  • 编程作业：使用Numpy的基础Python、logistic回归

 

• 浅层神经网络
  • 主要介绍：神经网络、激活函数、梯度下降法、反向传播、随机初始化等；
  • 编程作业：使用浅层神经网络实现平面数据分类

 

• 深层神经网络
  • 主要介绍：深度神经网络、DNN的前向和反向传播、参数和超参数等；
  • 编程作业：构建DNN、DNN用于图片分类

 

2. 改善深层神经网络：超参数调试、正则化以及优化

• 深度学习的实践方面
  • 主要介绍：训练测试集划分、偏差和方差、正则化、Dropout、输入归一化、梯度消失与梯度爆炸、权重初始化、梯度检验等；
  • 编程作业：初始化、正则化、梯度检验

 

• 优化算法
  • 主要介绍：Mini-batch梯度下降、指数加权平均、Momentum梯度下降、RMSprop、Adam优化算法、衰减学习率、局部最优等；
  • 编程作业：多种优化算法

 

• 超参数调试和Batch Norm及框架
  • 主要介绍：超参数的调试、Batch Normalization、Softmax、TensorFlow程序框架等；
  • 编程作业：TensorFlow简单教程

 

3. 结构化机器学习项目

• 机器学习策略1
  • 主要介绍：正交化、单一数字评估指标、训练/开发/测试集、偏差和方差、改善模型的表现等；
  • 编程作业：无

 

• 机器学习策略2
  • 主要介绍：误差分析、错误样本清除、数据分布不匹配问题、迁移学习、多任务学习、端到端的深度学习等；
  • 编程作业：无

 

4. 卷积神经网络

• 卷积神经网络基础
  • 主要介绍：计算机视觉、边缘检测、卷积神经网络、Padding、卷积、池化等；
  • 编程作业：构建卷积神经网络、手势识别应用

 

• 卷积神经网络实例模型
  • 主要介绍：AlexNet、LeNet、VGG、ResNet、Inception Network、1乘1卷积、迁移学习、数据扩充等；
  • 编程作业：Keras教程-the Happy House、Residual Networks

 

• 目标检测
  • 主要介绍：目标定位、目标检测、Bounding Box预测、交并比、非最大值抑制NMS、Anchor box、YOLO算法、候选区域region proposals等；
  • 编程作业：自动驾驶-汽车检测

 

• 特殊应用：人脸识别和神经风格迁移
  • 主要介绍：人脸识别、one-shot学习、Siamese网络、Triplet损失、风格迁移、内容损失、风格损失、1D-3D卷积等；
  • 编程作业：人脸识别-Happy House、神经风格迁移-深度学习和艺术

 

5. 序列模型

• 循环神经网络
  • 主要介绍：循环神经网络、不同类型的RNN、语言模型、新序列采样、RNN梯度消失、GRU、LSTM、双向RNN、深层RNNs等；
  • 编程作业：构建RNN、字母级的语言模型-Dinosaurus land、用LSTM即兴创作Jazz

 

• 自然语言处理和词嵌入
  • 主要介绍：词汇表征、Word Embedding、嵌入矩阵、Word2Vec、负采样、GloVe词向量、情感分类、词嵌入消除偏见等；
  • 编程作业：词向量运算、Emojify

 

• 序列模型和注意力机制
  • 主要介绍：序列到序列模型、集束搜索（Beam search）、集束搜索误差分析、Bleu得分、注意力模型、注意力权重、语音识别、触发字检测等；
  • 编程作业：机器翻译、触发字检测