吴恩达深度学习第15页

吴恩达深度学习笔记(26)-神经网络中的参数和超参数

参数VS超参数（ParametersvsHyperparameters）想要你的深度神经网络起很好的效果，你还需要规划好你的参数以及超参数。什么是超参数？比如算法中的learningratea（学习率）、iterations(梯度下降法循环的数量)、L（隐藏层数目）、n^([l])（隐藏层单元数目）、choiceofactivationfunction（激活函数的选择）都需要你来设置，这些数字实际

极客Array·2020-04-08 02:21

吴恩达深度学习笔记(39)-更进一步理解mini-batch梯度下降法

理解mini-batch梯度下降法（Understandingmini-batchgradientdescent）在上一个笔记中，你知道了如何利用mini-batch梯度下降法来开始处理训练集和开始梯度下降，即使你只处理了部分训练集，即使你是第一次处理，本笔记中，我们将进一步学习如何执行梯度下降法，更好地理解其作用和原理。使用batch梯度下降法时，每次迭代你都需要历遍整个训练集，可以预期每次迭代

极客Array·2020-04-07 02:21

学吴恩达深度学习视频作业资料集锦

吴恩达深度学习视频：https://www.bilibili.com/video/BV1gb411j7Bs?

Yeve·2020-04-05 09:00

吴恩达深度学习课程笔记

详细笔记地址：http://www.ai-start.com/dl2017/这里只是做些自己的摘抄与理解写在前面吴恩达（英语：AndrewNg）是斯坦福大学计算机科学系和电气工程系的客座教授，曾任斯坦福人工智能实验室主任。他还与达芙妮·科勒一起创建了在线教育平台Coursera。吴恩达老师的机器学习课程可以说是入门机器学习的同学最先接触的课程，当然后续的deeplearning.ai是更深入的课程

uncle_ll·2020-04-04 23:54

[人脸识别][style转换]吴恩达深度学习course4week4思考小结

1575792471896118&wfr=spider&for=pc相关的笔记收藏：http://blog.csdn.net/koala_tree/article/details/78597575今天学习一下吴恩达深度学习系列课的第四课第

小双2510·2020-04-04 18:53

吴恩达深度学习-序列模型 1.8 带有神经网络的梯度消失

在RNN的使用当中，其中最大的问题之一是梯度消失（gradientvanishing），首先我们通过一个例子来了解一下梯度消失在RNN模型当中会造成什么影响。当我们在对一个很长的句子进行处理的时候，往往前面的主语（cat、cats），跟后面的谓语单复数形态要一致（was、were）。这就考验到了RNN模型的长期依赖问题（long-term-dependencies）。但是在我们之前学习的简单RNN

prophet__·2020-04-03 05:22

吴恩达深度学习笔记(58)-深度学习框架Tensorflow

TensorFlow有很多很棒的深度学习编程框架，其中一个是TensorFlow，很期待帮助你开始学习使用TensorFlow，我想在这个笔记中向你展示TensorFlow程序的基本结构，然后让你自己练习，学习更多细节先提一个启发性的问题，假设你有一个损失函数J需要最小化，在本例中，我将使用这个高度简化的损失函数，Jw=w^2-10w+25，这就是损失函数，也许你已经注意到该函数其实就是(w-5)

极客Array·2020-04-01 17:35

B站吴恩达深度学习视频笔记（15-27）——卷积神经网络总结

卷积神经网络（也称作ConvNets或CNN）是神经网络的一种，它在图像识别和分类等领域已被证明非常有效。卷积神经网络除了为机器人和自动驾驶汽车的视觉助力之外，还可以成功识别人脸，物体和交通标志。如图1所示，卷积神经网络能够识别图片的场景并且提供相关标题（“足球运动员正在踢足球”），图2则是利用卷积神经网络识别日常物品、人类和动物的例子。最近，卷积神经网络在一些自然语言处理任务（如语句分类）中也发

nine_mink·2020-03-26 18:57

吴恩达深度学习-序列模型 2.1 词汇特点提取

今天开始，我们要学习RNN在NLP领域的一些应用，那么首先我们要学习几个概念。第一个是词嵌入（wordembedding），它是语言的一种表述方式，让算法可以理解一些相似的词，加强模型的泛华能力。这样即使数据集比较小，也可以得到一个比较准确地模型。我们还是使用之前的One-hot编码方式，假设man这个词在向量的5381位，那么我们使用O5381来代表这个除了man所在的地方为1，其他都为0的向量

prophet__·2020-03-25 00:10

吴恩达深度学习-序列模型 1.10 LSTM长短期记忆网络

我们刚刚学习完了GRU，除了GRU之外，还有另外一种在RNN里很常见的模型方案，叫做LSTM（长短期记忆网络）。对比与GRU，LSTM是一个更通用且更强大的版本，他们的不同首先在于在LSTM当中，at不一定等于ct，因此Ct~的赋值式就要进行更改。同时，在通用版本的LSTM当中也不存在GAMMAr这种参数。取而代之的是一个GAMMAf，f代表的是forget，也就是遗忘门。所以在对Ct赋值的过程里

prophet__·2020-03-24 05:58

第五课第三周编程作业assignment-Trigger+word+detection

这是吴恩达深度学习的最后一个编程作业，是关于对声音检测的，这门课的编程作业结束了。

yanghedada·2020-03-23 06:31

吴恩达深度学习-序列模型 1.5不同类型的循环神经网络

在之前我们讲到的神经网络模型当中，输入和输出的长度是相同的。但是在实际的应用当中，有些序列模型所需要的输出跟输入的长度不一样，那么我们就要学习一些不太一样的神经网络模型。比如说我们之前提到的，创作音乐的模型，和翻译的模型等等，都是输入跟输出不等长的例子。在这里我们使用到的模型源自于一个博客：http://karpathy.github.io/2015/05/21/rnn-effectiveness

prophet__·2020-03-23 03:04

AI角 | 把吴恩达深度学习系列课程画出来，这有份诚意满满的笔记求查收

在吴恩达机器学习系列课程完结后不久，一位名叫TessFerrandez的小姐姐在推特上分享了一套自己的课程笔记，瞬间收获了3k+赞和1k+转发。不同于满屏公式代码的黑白笔记，这套信息图不仅知识点满满，且行文构图都像插画一样颜值颇高。吴恩达自己也在推特上转发称赞了这一位有诚意的学习者，毕竟他一直倡导学习是一件简单快乐的事情。云栖君将这份有趣的学习笔记呈现在此，请各位查收。本文作者：文摘菌本文来自云栖

阿里云云栖号·2020-02-28 06:00

机器学习的应用层面

测试集，训练集和验证集吴恩达深度学习课程课程2第一周学习笔记课程地址：https://mooc.study.163.com/learn/2001281003#/learn/announce深度学习的应用是一个高度迭代的过程

此间不留白·2020-02-18 23:56

（一，4NN-QI）卷积神经网络—吴恩达深度学习课程配套笔记

【第一章】神经网络基础目录：（一，1NN-QI）神经网络与深度学习（一、2NN-QI）改善深层神经网络（一、3NN-QI）结构化机器学习项目（一、4NN-QI）卷积神经网络（一、5NN-QI）序列模型，循环神经网络本篇内容为从神经网络基础到量化投资应用的第一章神经网络基础之第四节内容，主要介绍了卷积神经网络，卷积神经网络主要是作用在图片识别中的应用。下面介绍了什么叫卷积、卷积神经网络怎么搭建、卷积

小黄人的黄·2020-02-12 13:40

吴恩达深度学习笔记(19)-非线性激活函数的作用

为什么需要非线性激活函数？（whyneedanonlinearactivationfunction?）为什么神经网络需要非线性激活函数？事实证明：要让你的神经网络能够计算出有趣的函数，你必须使用非线性激活函数，证明如下：这是神经网络正向传播的方程（看图中公式）现在我们去掉函数g，然后令a^([1])=z^([1])，或者我们也可以令g(z)=z，这个有时被叫做线性激活函数（更学术点的名字是恒等激励

极客Array·2020-02-12 02:02

吴恩达深度学习第一课--第二周神经网络基础作业下代码实现

文章目录需要的库文件步骤取出训练集、测试集了解训练集、测试集查看图片数据维度处理标准化数据定义sigmoid函数初始化参数定义前向传播函数、代价函数及梯度下降优化部分预测部分模型的整合--合并优化和预测模块完整代码需要的库文件importnumpyasnp#矩阵运算importmatplotlib.pyplotasplt#绘图importh5py#读取h5文件步骤按照如下步骤来实现Logistic

zhaohuan_1996·2020-02-09 16:59

吴恩达深度学习笔记(83)-LeNet-5、AlexNet和VGGNet网络知多少

经典网络（Classicnetworks）这节课，我们来学习几个经典的神经网络结构，分别是LeNet-5、AlexNet和VGGNet。LeNet-5首先看看LeNet-5的网络结构，假设你有一张32×32×1的图片，LeNet-5可以识别图中的手写数字，比如像这样手写数字7。LeNet-5是针对灰度图片训练的，所以图片的大小只有32×32×1。实际上LeNet-5的结构和我们上周讲的最后一个范例

极客Array·2020-02-09 15:00

吴恩达深度学习-序列模型 1.7 对新序列进行采样

我们今天要学习的东西叫做采样，使用到的是numpy里面的np.random.choice这个函数。进行y的随机采样。np.random.choice()函数讲解https://blog.csdn.net/u013733326/article/details/80890454吴恩达的课后作业里关于采样的部分然后就像之前我们所讲到的那样，把前一个采样到的，放到后一个作为输入，注意的是，y是一个概率值，

prophet__·2020-02-09 10:34

吴恩达深度学习-序列模型 1.12 深度循环神经网络

之前我们学习的各个模型在不同的应用领域里都可以独当一面了。但是当我们要学习的是一个非常复杂的函数的时候，往往就需要把多个RNN层堆叠起来，然后组成一个新的神经网络。在这张ppt显示了一个3层RNN的深度循环神经网络。这里，我们使用了一个新的定义，让al来代表第l层RNN的第1个a的值。我们使用了紫色的圆圈和文字解释了a2是如何得到的，并且写出了计算的式子。由于RNN的堆叠会导致整个神经网络的计算变

prophet__·2020-02-08 18:01

吴恩达深度学习第一课（神经网络与深度学习基础）--第二周神经网络基础

文章目录第二周神经网络基础logistic回归损失函数lossfunction成本函数costfunction梯度下降计算图向量化第二周神经网络基础过程：输入x，计算机通过一系列计算，得出y^，我们希望计算而来的y^与期望中的y无限接近。过程：输入x，计算机通过一系列计算，得出\haty，我们希望计算而来的\haty与期望中的y无限接近。过程：输入x，计算机通过一系列计算，得出y^，我们希望计算而

zhaohuan_1996·2020-02-07 21:34

吴恩达深度学习-序列模型 1.9 GRU单元

GRU单元（gated-recurrent-unit）是为了解决长期依赖问题而提出的一种解决方案，通过这个单元可以一定程度解决梯度消失问题，并且提高远距离的单元联系。首先，我们复习一下RNN的基本单元。然后我们会用类似的图来对GRU单元进行解释。GRU在RNN的使用过程当中会提供一个C单元，用来进行储存（memorycell）。在GRU单元当中，Ct=At，但是在LSTM网络当中它们是不一样的（这

prophet__·2020-02-07 18:53

吴恩达深度学习-序列模型 1.11 双向循环神经网络

今天我们学习的是，双向循环神经网络，也就是不止从前往后，也要从后往前的神经网络。单向神经网络无法解决我们之前提到的Teddy问题，只从前面的3个词没办法准确分类出Teddy是否表示的是名字或者是泰迪熊。首先我们先介绍一下这个模型的结构：这个结构首先让我没想到的是它把a分成了->和开始，后向传播的从a开始往前传播。在这样的两个部分作用下，其中的每个元素都能收到它前面跟后面单词的影响，从而得到更加准确

prophet__·2020-02-07 15:33

吴恩达深度学习-序列模型 1.6 语言模型和序列生成

今天我们要讲的是一个关于生成莎士比亚风格的语言模型。那么首先我们要了解的是，什么是语言模型？一个语言模型可以生成很多很多个句子，它对于每一个句子都有它自己的概率，模型的作用就是告诉你，在我的这个模型下，生成这个句子的概率是多少。比如说下面的这两个例子，梨在这个语境下比一对更适合，因此语言模型会给这两个句子一个概率值，一个正常的句子应该比一个奇怪的句子的概率值高很多，这样才是一个好的语言模型。那么首

prophet__·2020-02-07 08:43

我是如何拿到第一个算法实习offer的？

下面开始吹水……image.png二、学习过程1.理论基础课本：《机器学习》、《概率论与数理统计》视频：吴恩达机器学习、吴恩达深度学习、李宏毅机器学习、机器学习-白板推导2.代码能力课本：《机器学习实战

Swifer·2020-02-07 08:41

吴恩达深度学习课程笔记-10

04.卷积神经网络第二周深度卷积网络实例分析2.1&2.2经典网络经典的卷积神经网络包括：LeNet-5AlexNetVGG都是从解决分类任务的过程中发展出来的，下面逐个进行介绍。LeNet-5的特点：网络比较浅，参数量60K左右；一个或几个卷积层后加一个池化层，最后全连接层的设计模式成为典范；没有采用padding；激活函数采用sigmoid,tanh等；采用平均池化；AlexNet的特点：与L

tofengz·2020-02-01 23:00

吴恩达深度学习课程笔记-8

03.结构化机器学习项目第二周机器学习策略（二）2.1误差分析前面提到，对于模型错误率高于人类错误率的，可以采取误差分析等方法改进。比如，将分类模型分类错误的样本拎出来看看，找找主要原因，找找提升空间更大的改进方向，而不是自己瞎猜盲干。吴恩达老师给出的方法：抽取一部分模型出错的样本，比如100个，挨个查看分析原因，列一个表格统计不同原因下的样本数。图像原因1原因2...备注1√...2√3√√..

tofengz·2020-01-31 23:00

吴恩达深度学习-神经网络基础（第6课：机器学习（ML）策略1）

第一周机器学习（ML）策略（1）（MLstrategy（1））1.1为什么是ML策略？（WhyMLStrategy?）这里我理解的策略，应该是机器学习过程中采用的方法以及技巧。当然有经验的机器学习人会更有经验。1.2正交化（Orthogonalization）吴老师讲的过程中，有点感觉像是控制变量法。所谓的正交化我理解就是在机器学习系统过程中有很多可以调的东西，然后就是要建立需要来控制能够让一个参

瘦长的丰一禾·2020-01-03 20:22

吴恩达深度学习-神经网络基础（第7课：机器学习（ML）策略2）

2.1进行误差分析（Carryingouterroranalysis）从举的例子中我理解这里的误差分析，其实就是通过分析误差因素来选择优化系统的正确方向。所以总结一下，进行错误分析，你应该找一组错误样本，可能在你的开发集里或者测试集里，观察错误标记的样本，看看假阳性（falsepositives）和假阴性（falsenegatives），统计属于不同错误类型的错误数量。在这个过程中，你可能会得到启

瘦长的丰一禾·2019-12-29 09:19

吴恩达深度学习-神经网络基础（第8课：深度卷积网络：实例探究&深度卷积网络：实例探究）

第一周卷积神经网络(FoundationsofConvolutionalNeuralNetworks)1.1计算机视觉（Computervision）计算机视觉指的主要是通过计算机来进行图像判断，人脸识别，以及图像检测和分类等。就是类似人眼睛所做的事情。由于计算机的发展，计算机视觉越来越强大，应用领域也越来越多。1.2边缘检测示例（Edgedetectionexample）1.3更多边缘检测内容（

瘦长的丰一禾·2019-12-26 13:26

【深度学习】PaddlePaddle计算机视觉项目：波士顿房价预测

记得吴恩达深度学习课程的第一课就是讲波士顿房价预测模型，入门的项目。PaddlePaddle同样有这个项目，可运行。记录一下。经典的线性回归模型主要用来预测一些存在着线性关系的数据集。

居家龙龙·2019-12-26 11:33

吴恩达深度学习-神经网络基础（第10课：循环序列模型）

第一周循环序列模型（RecurrentNeuralNetworks）1.1为什么选择序列模型？（WhySequenceModels?）即表示可以用序列模型可以做什么。序列模型的应用.jpg1.2数学符号（Notation）定义一些数学符号用来表示表示序列模型。1.3循环神经网络模型（RecurrentNeuralNetworkModel）循环神经网络用的激活函数经常是tanh，不过有时候也会用Re

瘦长的丰一禾·2019-12-24 23:04

吴恩达深度学习笔记(46)-学习率衰减优化(Learning rate decay)

学习率衰减(Learningratedecay)加快学习算法的一个办法就是随时间慢慢减少学习率，我们将之称为学习率衰减，我们来看看如何做到，首先通过一个例子看看，为什么要计算学习率衰减。假设你要使用mini-batch梯度下降法，mini-batch数量不大，大概64或者128个样本，在迭代过程中会有噪音（蓝色线），下降朝向这里的最小值，但是不会精确地收敛，所以你的算法最后在附近摆动，并不会真正收

极客Array·2019-12-19 09:31

吴恩达深度学习(18)-神经网络激活函数讲解

激活函数（Activationfunctions）使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。到目前为止，之前的笔记中只用过sigmoid激活函数，但是，有时其他的激活函数效果会更好。Sigmoid和Tanh函数在神经网路的前向传播中，a^[1]=σ(z([1])和a^[2]=σ(z^[2])这两步会使用到sigmoid函数。sigmoid函数在这里被称为激活函数。

极客Array·2019-12-18 08:09

吴恩达深度学习-神经网络基础（第11课：自然语言处理与词嵌入）

一、学习安排（12月1日-12月3日）1.主要学习视频：第十一课：自然语言处理与词嵌入（[图片上传失败...(image-e5671c-1543837885096)]https://mooc.study.163.com/smartSpec/detail/1001319001.htm?from=study）2.参考资料：C5M2slides([图片上传失败...(image-ab76cf-15438

瘦长的丰一禾·2019-12-12 15:05

吴恩达深度学习-神经网络基础（第12课：序列模型和注意力机制）

第三周序列模型和注意力机制（Sequencemodels&Attentionmechanism）3.1基础模型（BasicModels）3.2选择最可能的句子（Pickingthemostlikelysentence）3.3集束搜索（BeamSearch）3.4改进集束搜索（RefinementstoBeamSearch）3.5集束搜索的误差分析（Erroranalysisinbeamsearch

瘦长的丰一禾·2019-12-07 22:52

吴恩达深度学习 | (27) 序列模型专项第三周学习笔记

课程视频第三周PPT汇总吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第五部分序列模型专项的第三周课程：序列模型和注意力机制。

CoreJT·2019-12-06 21:00

吴恩达深度学习 | (24) 序列模型专项第二周学习笔记

课程视频吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第五部分序列模型专项的第二周课程：自然语言处理与词嵌入。

CoreJT·2019-12-06 12:28

吴恩达深度学习 | (18) 卷积神经网络专项课程第二周学习笔记

课程视频第二周PPT汇总吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第四部分卷积神经网络专项的第二周课程：深度卷积网络：实例探究。

CoreJT·2019-12-04 17:54

吴恩达深度学习 | (15) 结构化机器学习项目专项课程第二周学习笔记

课程视频第二周PPT汇总吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第三部分结构化机器学习项目专项的第二周课程：机器学习(ML)策略(2)。

CoreJT·2019-12-03 14:18

2019-12-02 吴恩达深度学习笔记：迁移学习、多任务学习、端到端学习

一、迁移学习1.Finetune在一个数据集上训练完神经网络后（pre_training预训练），在另一个数据集上再训练再训练方法：1）前面的层不动（冻结），重新初始化最后一层的权重，并把y值改为新数a据的y，然后训练最后一层2）前面的层不动（冻结），删除最后一层，在后面加入新的几层，并把y值改为新数据的y，然后训练新加入的几层如果数据量较充足的情况下，以上方法前面的层也可以重新训练，可以使用之前

Yuyao_b2c0·2019-12-02 11:35

30行python代码实现最简单的神经网络

网络设计如下图来自网易云课堂吴恩达深度学习p

Joey_Gun·2019-11-29 18:45

深度学习（一）——神经网络基础

深度学习概论本文根据《吴恩达深度学习课程》编写神经网络基础神经网络浅讲：从神经元到深度学习[DeepLearning]神经网络基础一个简单的神经网络HousingPricePrediction在这里神经网络的作用就是通过左侧输出的这四个属性

雨山林稀·2019-11-28 17:23

吴恩达深度学习 | (14) 结构化机器学习项目专项课程第一周学习笔记

课程视频第一周PPT汇总吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第三部分结构化机器学习项目专项的第一周课程：机器学习(ML)策略(1)。目录1.为什么是ML策略？

CoreJT·2019-11-19 20:52

吴恩达深度学习笔记

激活函数比较：1、sigmoid函数除非在二元类输出层，不然千万不要用。g‘（z）=g(z)*(1-g(z))---------a(1-a)2、tanh函数几乎在各种情况下都可以用。g'(z)=1-(g(z))**2---------------1-a**23、ReLU函数是默认的函数。ifz0g'(z)=14、泄漏的ReLU函数。g(z)=max(0.01z,z)ifz=0g'(z)=1dj简单

夜深人语寂·2019-11-07 23:27

吴恩达深度学习-神经网络基础（第四课：深度学习的实用层面优化算法）

瘦长的丰一禾·2019-11-04 23:15

吴恩达深度学习中文版笔记：人脸识别和神经风格转换

image大数据文摘经授权转载作者****：黄海广自2016年8月份，吴恩达的初创公司deeplearning.ai通过Coursera提供深度学习的最新在线课程，到今年2月份，吴老师更新了课程的第五部分（点击查看大数据文摘相关报道），前后耗时半年时间。本文将着重介绍吴恩达老师第四周课程的视频内容和笔记，展示一些重要的卷积神经网络的特殊应用，我们将从人脸识别开始，之后讲神经风格迁移，你将有机会在编

大数据文摘·2019-11-03 20:01

吴恩达深度学习-神经网络基础（神经网络和深度学习）

2.1二分类这里的二分类就是给定输入向量X，经过模型对应输出1或者0。这里二分类模型用的是logistic模型。2.2logistic回归在逻辑回归中，我们的输出用sigmoid函数来表示，要么0要么1。参见李航-第6章逻辑斯蒂回归与最大熵模型2.3logistic回归损失函数通过损失函数最小化，来找对应的w和b，即确定模型。逻辑回归损失函数.png损失函数又叫做误差函数，用来衡量算法的运行情况。

瘦长的丰一禾·2019-11-03 03:37

simple-faster-rcnn-pytorch代码理解

但是当时根本就代码根本就看不懂，虽然有好多人说要学会看代码，但根本就进不去，所以我就练习吴恩达深度学习和cs231n的习题作业。当时好像花了挺长时间，应该是两个月，但是现在回想起来感觉很不值。

一直都是菜鸟·2019-11-02 21:32

机器学习资料汇总（持续更新）

文章目录机器学习吴恩达周志华李航林轩田机器学习实战深度学习吴恩达深度学习入门动手学深度学习邱锡鹏花书更多资料关注”神经网络与自然语言处理“获取机器学习吴恩达吴恩达《机器学习》视频、作业、代码github

wardseptember·2019-10-15 20:39

推荐频道

吴恩达深度学习