本系列是编者学习吴恩达deeplearning.ai深度学习系列课程的笔记。编者有一定机器学习基础，也看过Andrew的机器学习课程。由于Andrew的课程非常通俗易懂，笔记中会省略那些帮助理解的例子、图形等，只把最终的观点、解释、结论和解决方案做整理，以供日后查看，另外编者也在某些地方，结合原版论文做出了一些批注和补充，所以称之为精华版。本篇是Course4，主要讲述卷积神经网络CNN的基础和应

本系列是编者学习吴恩达deeplearning.ai深度学习系列课程的笔记。编者有一定机器学习基础，也看过Andrew的机器学习课程。由于Andrew的课程非常通俗易懂，笔记中会省略那些帮助理解的例子、图形等，只把最终的观点、解释、结论和解决方案做整理，以供日后查看，另外编者也在某些地方，结合原版论文做出了一些批注和补充，所以称之为精华版。本篇是Course5，主要讲述递归神经网络RNN的基础和应

1.逻辑回归、梯度下降法、向量化2.广播、关于numpy向量的说明3.神经网络、激活函数、随机初始化4.超参数、划分数据集、偏差与方差、正则化5.

自2020.11.30开始学习DeepLearning，该学习笔记最后一次更新于2021.2.21Part1深度学习概论深度学习笔记（一）深度学习概论Part2神经网络基础深度学习笔记（二）LogisticRegression逻辑回归深度学习笔记（三）计算图及其导数运算方法深度学习笔记（四）Vectorization向量化深度学习笔记（五）BroadcastinginPython广播吴恩达深度学习

0参考资料[1]【中英字幕】吴恩达深度学习课程第四课—卷积神经网络_哔哩哔哩_bilibili[2]02-吴恩达深度学习系列课程/04卷积神经网络/PDFs·大大鹏/Bilibili资料-码云-开源中国(gitee.com)[3]深度学习笔记-目录(ai-start.com)——深度学习笔记(ai-start.com)[4]CNN笔记：通俗理解卷积神经网络_结构之法算法之道-CSDN博客_卷积神经

0参考资料[1]大大鹏/Bilibili资料-Gitee.com[2]【中英字幕】吴恩达深度学习课程第四课—卷积神经网络_哔哩哔哩_bilibili[3]深度学习笔记-目录(ai-start.com)1为什么要进行实例探究？（Whylookatcasestudies?）就像很多人通过看别人的代码来学习编程一样，学习深度学习最直观的方式之一就是去看一些案例。过去几年计算机视觉研究中的大量研究都集中在

一、计算机视觉在运行神经网络对图像进行处理时，对于64*64大小的图像，图像就有12288个参数，而对于一张1000*1000大小的图像，参数更是多达300万个，假设隐藏层有1000个神经元，那么参数就是300万*1000个，300亿个参数，可想而知数据量过于庞大。为解决此问题，我们需要采用卷积计算。二、边缘检测①用神经网络的前几层来检测图像边缘，然后用后面的层检测特征，可以完成对一个完整物体进行

一.卷积神经网络（一）1.1计算机视觉卷积神经网络一般应用于计算机视觉领域，由于有的时候图片的像素点很多，导致神经网络输入特征值的维数很多。1.2边缘检测示例如下图所示，原图是一个661的矩阵，卷积核是一个331的矩阵，经过卷积后得到一个441的矩阵。计算过程如下：|3|0|1|…………|1|0|-1||1|5|8|…*….….|1|0|-1|=3+1+2-1-8-2=-5|2|7|2|…………|

吴恩达深度学习课程笔记1课程主要内容1.神经网络与深度学习介绍2.ImprovingDeepNeuralNetworks:超参数调整，正则化，优化方法3.结构化机器学习工程：比如如何分割训练集，比较集，

目录通用符号总结激活函数sigmoid1、Logistic回归2、梯度下降法3、Logistic回归的梯度下降算法3.1假设只有一个训练样本(x,y)(x,y)(x,y)3.2假设有m个训练样本:3.3向量化3.4广播4、神经网络5、激活函数5.1常用激活函数5.2经验5.3为什么要用激活函数6、神经网络的梯度下降法参数：costfunction:正向传播：反向传播：随机初始化7、深层神经网络7.

梯度下降算法和向量化逻辑回归中的梯度下降单样本梯度下降向量化多样本梯度下降逻辑回归中的梯度下降梯度下降法的作用是：在测试集上，通过最小化代价函数J(w,b)J(w,b)J(w,b)来训练的参数www和bbb。w:=w−a∂J(w,b)∂ww:=w-a\frac{\partialJ(w,b)}{\partialw}w:=w−a∂w∂J(w,b)b:=w−a∂J(w,b)∂bb:=w-a\frac{\

（一）对于神经网络的初识可以以logistic回归作为例子，基本的logistic网络可以如下图所示：其中x1，x2，x3可以是各种特征，最后得到预测值a。但是面对复杂问题，一层的网络预测的结果往往是不够的，这就需要多个类似这样的模型叠加，如下图所示：可以将第一层预测的结果输入第二层再次运算，例如第一层可能根据疾病的不同特征预测了疾病的分类、疾病的传染性、疾病是细菌还是病毒导致的，再经过第二层来预

逻辑回归二分类问题(BinaryClassification)假设函数(HypothesisFunction)损失函数和代价函数(LossFunctionandCostFunction)神经网络的计算中通常会有前向传播和反向传播的步骤，这门课从逻辑回归算法（logisticregression）来讲解这些概念。二分类问题(BinaryClassification)逻辑回归是一个用于二分类(bina

本系列是编者学习吴恩达deeplearning.ai深度学习系列课程的笔记。编者有一定机器学习基础，也看过Andrew的机器学习课程。由于Andrew的课程非常通俗易懂，笔记中会省略那些帮助理解的例子、图形等，只把最终的观点、解释、结论和解决方案做整理，以供日后查看，另外编者也在某些地方，结合原版论文做出了一些批注和补充，所以称之为精华版。本篇是Course1+Course2+Course3，主要

卷积层CNN中卷积层的作用：CNN中的卷积层，在很多网络结构中会用conv来表示，也就是convolution的缩写。卷积层在CNN中扮演着很重要的角色——特征的抽象和提取，这也是CNN区别于传统的ANN或SVM的重要不同。对于图片而言，图片是一个二维度的数据，我们怎样才能通过学习图片正确的模式来对于一张图片有正确的对于图片分类呢？这个时候，有人就提出了一个观点，我们可以这样，对于所有的像素，全部

断断续续学了大概一学期，对于机器学习依然似懂非懂，最近在看吴恩达的深度学习，想着以写博客的方式来总结回顾一下，也便于自己之后复习，如果一些自己的理解有误的也希望有人能指出纠正，如果能得到网上大家的帮助或者鼓励当然就是最好了！1，什么是神经网络1.1单层神经网络下图是房价预测示例，根据房屋大小预测房屋价格。图中的×即为给定的房屋大小以及该面积下的价格，然后用一条曲线去拟合现有数据，这样，再给出一个新

lossfunciton：是单个例子相对于真实标签的误差costfunction：是整个数据集产生的lossfunction的总和，机器学习训练的过程中就是要不断的减小这个costfunciton逻辑回归几乎所有的初始化方式都有效，因为选择的损失函数是交叉熵，是一个凸函数。第四周深层神经网络核对矩阵的维度：第l层的权重w的维度应该为（n_[l],n_[l-1]),偏置为：（n_[l],1)。同理：

吴恩达深度学习课程笔记（三）：结构化机器学习项目2吴恩达深度学习课程笔记（三）：结构化机器学习项目2第二周机器学习（ML）策略（2）2.1进行误差分析2.2标签错误的数据2.3快速搭建你的第一个系统，并进行迭代

这几天每天花了点时间看完了吴恩达的深度学习课程视频。目前还只有前三个课程，后面的卷积神经网络和序列模型尚未开课。课程的视频基本上都是十分钟出头的长度，非常适合碎片时间学习。一直以为机器学习的重点在于设计精巧、神秘的算法来模拟人类解决问题。学了这门课程才明白如何根据实际问题优化、调整模型更为重要。事实上，机器学习所使用的核心算法几十年来都没变过。什么是机器学习呢？以二类分类监督学习为例，假设我们已经

记忆力是真的差，看过的东西要是一直不用的话就会马上忘记,于是乎有了写博客把学过的东西保存下来，大概就是所谓的集巩固，分享，后期查阅与一身的思想吧，下面开始正题深度学习概论什么是神经网络什么是神经网络呢，我们就以房价预测为例子来描述一个最简单的神经网络模型。假设有6间房屋的数据，已知房屋的面积，单位是平方英尺或者平方米，已知房屋的价格，想要找到一个函数，通过房屋的面积来预测房屋的价格。如下图所示要通

详细笔记地址：http://www.ai-start.com/dl2017/这里只是做些自己的摘抄与理解写在前面吴恩达（英语：AndrewNg）是斯坦福大学计算机科学系和电气工程系的客座教授，曾任斯坦福人工智能实验室主任。他还与达芙妮·科勒一起创建了在线教育平台Coursera。吴恩达老师的机器学习课程可以说是入门机器学习的同学最先接触的课程，当然后续的deeplearning.ai是更深入的课程

04.卷积神经网络第二周深度卷积网络实例分析2.1&2.2经典网络经典的卷积神经网络包括：LeNet-5AlexNetVGG都是从解决分类任务的过程中发展出来的，下面逐个进行介绍。LeNet-5的特点：网络比较浅，参数量60K左右；一个或几个卷积层后加一个池化层，最后全连接层的设计模式成为典范；没有采用padding；激活函数采用sigmoid,tanh等；采用平均池化；AlexNet的特点：与L

03.结构化机器学习项目第二周机器学习策略（二）2.1误差分析前面提到，对于模型错误率高于人类错误率的，可以采取误差分析等方法改进。比如，将分类模型分类错误的样本拎出来看看，找找主要原因，找找提升空间更大的改进方向，而不是自己瞎猜盲干。吴恩达老师给出的方法：抽取一部分模型出错的样本，比如100个，挨个查看分析原因，列一个表格统计不同原因下的样本数。图像原因1原因2...备注1√...2√3√√..

吴恩达深度学习课程笔记（四）：卷积神经网络3目标检测吴恩达深度学习课程笔记（四）：卷积神经网络3目标检测3.1目标定位（Objectlocalization）目标定位：标签的定义：损失函数：3.2特征点检测

吴恩达深度学习课程笔记（四）：卷积神经网络2实例探究吴恩达深度学习课程笔记（四）：卷积神经网络2实例探究2.1为什么要进行实例探究2.2经典网络LeNet-5AlexNetVGG-162.3残差网络（ResNets

吴恩达深度学习课程笔记（四）：卷积神经网络1吴恩达深度学习课程笔记（四）：卷积神经网络1第一周卷积神经网络1.1计算机视觉1.2边缘检测示例1.3更多边缘检测内容1.4Padding1.5卷积步长1.6

吴恩达深度学习课程笔记（三）：结构化机器学习项目1吴恩达深度学习课程笔记（三）：结构化机器学习项目1第一周机器学习（ML）策略（1）1.1为什么要ML策略1.2正交化1.3单一数字评估指标1.4满足和优化指标

吴恩达深度学习课程笔记（二）：改善深层神经网络吴恩达深度学习课程笔记（二）：改善深层神经网络第一周深度学习的实用层面1.1训练/开发/测试集1.2偏差/方差1.3机器学习基础1.4正则化1.5为什么正则化可以减少过拟合

吴恩达深度学习课程笔记（一）：神经网络与深度学习吴恩达深度学习课程笔记（一）：神经网络与深度学习第一周：深度学习概论第二周神经网络基础2.1二分类2.2逻辑回归2.3逻辑回归的代价函数2.4梯度下降2.5

一、深度学习概论1.什么是神经网络？由预测房价的例子引出一个基本的神经网络结构：2.神经网络在监督学习上的应用结构化数据：每个特征都有着清晰的定义非结构化数据：如音频、图像、文本等，其每个特征可以是图像中的像素或者文本中的单词。3.深度学习兴起的原因二、神经网络基础（以logistic回归为例）1.一些符号说明及Logistic回归介绍后面需要用到的一些符号说明：Logistic回归用于二分类问题

这几天每天花了点时间看完了吴恩达的深度学习课程视频。目前还只有前三个课程，后面的卷积神经网络和序列模型尚未开课。课程的视频基本上都是十分钟出头的长度，非常适合碎片时间学习。一直以为机器学习的重点在于设计精巧、神秘的算法来模拟人类解决问题。学了这门课程才明白如何根据实际问题优化、调整模型更为重要。事实上，机器学习所使用的核心算法几十年来都没变过。什么是机器学习呢？以二类分类监督学习为例，假设我们已经

配置python环境：由于吴恩达选择的是Jupiter的编译器进行的演示，对于几乎是第一次接触python的菜鸟，果断选择了windows+python3.6+anaconda的配置。在安装过程中遇到了以下的问题，Mark下。1、下载并安装python3.6.3的时候，要注意下载版本是32位还是64位的，默认是32位。但是可以从list里面找到64位的可执行文件。2、安装python3.6.3的时