【学习笔记】吴恩达深度学习课程

课程	知识点	应用实例
吴恩达深度学习 1.1 神经网络和深度学习-神经网络概论	介绍神经网络的概念和深度学习近些年的发展。
吴恩达深度学习 1.2 神经网络和深度学习-神经网络基础	​逻辑回归。​​​​​​​	​​​​​​​​​​​​​​​识别图片是不是猫。​​​​​​​
吴恩达深度学习 1.3 神经网络和深度学习-浅层神经网络	神经网络的表示、激活函数。​​​​​​​	用逻辑回归和浅层神经网络预测平面上点的分类。
吴恩达深度学习 1.4 神经网络和深度学习-深层神经网络	深层神经网络的前向传播、反向传播。	​搭建深层神经网络预测图片是不是猫。​​​​​​​
吴恩达深度学习 2.1 改善深层神经网络-深度学习的实践	偏差、方差、正则化、dropout。	​​​​​​​​​​​​​​用加正则化（L2范式、dropout）的神经网络预测平面上点的分类，绘制决策边界。
吴恩达深度学习 2.2 改善深度神经网络-优化算法	Mini-batch梯度下降法、RMSprop优化算法、Adam优化算法。	用Mini-batch/动量梯度算法（加权平均指数）、Adam算法（修正偏差）优化梯度下降法，预测平面上点的分类，比较优化效果。
吴恩达深度学习 2.3 改善深层神经网络-超参数调试和Batch Norm	神经网络超参数、BatchNorm、在神经网络中使用BatchNorm、softmax()。	用tensorflow搭建浅层神经网络预测手势（0〜5）的分类。
吴恩达深度学习 3.1 结构化机器学习项目-机器学习策略1	算法评价指标、正交化、单一的数字评估指标、满足指标和优化指标、与人类的认识偏差相比较、改善模型。
吴恩达深度学习 3.2 结构化机器学习项目-机器学习策略2	错误样例分析、错误类型归类、错误标记的样本分析、优化算法、训练集和测试集的数据差异、迁移学习、多任务学习、端到端深度学习。​​​​​​​
吴恩达深度学习 4.1 卷积神经网络-卷积神经网络基础	​​​​​​​垂直边缘检测、水平边缘检测、卷积运算、Padding、输出图片维底的计算、简单卷积网络示例、池化层。​​​​​​​	用卷积运算预测手势图片（0〜5）的分类。
吴恩达深度学习 4.2 卷积神经网络-深度卷积模型	常用的卷积网络LeNet-5/AlexNet/VGG-16/ResNet、1x1卷积、迁移学习、数据扩充。	用keras构建参差网络解决卷积网络过深无法训练的问题（没理解参差是怎么起作用的。。。？？）。
吴恩达深度学习 4.3 卷积神经网络-目标检测	目标分类、目标定位、目标检测、目标分类和定位的卷积输出、特征点检测、训练集X/Y、YOLO、交并比、非最大值抑制算法。	识别图片中的物体。
吴恩达深度学习 4.4 卷积神经网络-人脸识别和神经风格迁移	​​​​​​​人脸验证、人脸识别、one shot learning、Siamese网络、Similarity函数、Triplet损失、训练图片的选择（d(A,P)=d(A,N))、卷积神经网络从浅层到深层所获取的图片信息、神经风格迁移、1D卷积、3D卷积。​​​​​​​	人脸识别和神经风格迁移（需要用的包没有安装好，代码没跑出来。。。）。
吴恩达深度学习 5.1 序列模型-循环神经网络	序列模型的应用（语音识别/音乐生成/情感分类/机器翻译/视频行为识别/实体命名）、序列模型的输入和输出、RNN、不同类型的RNN、语言模型、RNN语言模型、RNN的记忆单元、LSTM、深层RNN。	用RNN和LSTM，根据恐龙名字的数据集生成新的恐龙名字。
吴恩达深度学习 5.2 序列模型-NLP和词嵌入	单词one-hot向量、单词词嵌入向量、词嵌入向量的应用、情感分类、通过RNN实现情感分类、词嵌入向量消除偏见。​​​​​​​	消除与性别无关的词汇的性别偏见&&对短语进行情感分类生成表情。
吴恩达深度学习 5.3 序列模型和注意力机制	sequence to sequence模型、机器翻译、集束搜索、注意力模型。	将人类可读日期翻译为机器可读日期&&触发词检测。​​​​​​​​​​​​​​