吴恩达深度学习笔记

吴恩达深度学习笔记(58)-深度学习框架Tensorflow

TensorFlow有很多很棒的深度学习编程框架，其中一个是TensorFlow，很期待帮助你开始学习使用TensorFlow，我想在这个笔记中向你展示TensorFlow程序的基本结构，然后让你自己练习，学习更多细节先提一个启发性的问题，假设你有一个损失函数J需要最小化，在本例中，我将使用这个高度简化的损失函数，Jw=w2-10w+25，这就是损失函数，也许你已经注意到该函数其实就是(w-5)2
极客Array·2019-02-11 17:03

吴恩达深度学习笔记(109)-循环神经网络模型（RNN介绍）

https://www.toutiao.com/a6652926357133066755/2019-02-0620:15:53循环神经网络模型（RecurrentNeuralNetworkModel）上节笔记中，你了解了我们用来定义序列学习问题的符号。现在我们讨论一下怎样才能建立一个模型，建立一个神经网络来学习X到Y的映射。可以尝试的方法之一是使用标准神经网络，在我们之前的例子中，我们有9个输入单
喜欢打酱油的老鸟·2019-02-11 08:56

吴恩达深度学习笔记(60)-深度学习中的正交化

正交化（Orthogonalization）搭建建立机器学习系统的挑战之一是，你可以尝试和改变的东西太多太多了。包括，比如说，有那么多的超参数可以调。我留意到，那些效率很高的机器学习专家有个特点，他们思维清晰，对于要调整什么来达到某个效果，非常清楚，这个步骤我们称之为正交化，让我告诉你是什么意思吧。这是一张老式电视图片，有很多旋钮可以用来调整图像的各种性质，所以对于这些旧式电视，可能有一个旋钮用来
极客Array·2019-01-29 08:16

吴恩达深度学习笔记（5）--二分类问题

二分类(BinaryClassification)我们将学习神经网络的基础知识，其中需要注意的是，当实现一个神经网络的时候，我们需要知道一些非常重要的技术和技巧。例如有一个包含m个样本的训练集，你很可能习惯于用一个for循环来遍历训练集中的每个样本(适用于有编程思维和经验的人），但是当实现一个神经网络的时候，我们通常不直接使用for循环来遍历整个训练集，所以在这周的课程中你将学会如何处理训练集。另
极客Array·2019-01-22 08:13

吴恩达深度学习笔记(47)-神经网络局部最优的问题

局部最优的问题(Theproblemoflocaloptima)在深度学习研究早期，人们总是担心优化算法会困在极差的局部最优，不过随着深度学习理论不断发展，我们对局部最优的理解也发生了改变。我向你展示一下现在我们怎么看待局部最优以及深度学习中的优化问题。这是曾经人们在想到局部最优时脑海里会出现的图，也许你想优化一些参数，我们把它们称之为W_1和W_2，平面的高度就是损失函数。在图中似乎各处都分布着
极客Array·2019-01-14 22:35

吴恩达深度学习笔记(45)-Adam 优化算法(Adam optimization)

Adam优化算法(Adamoptimizationalgorithm)在深度学习的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题，但随后这些优化算法被指出并不能一般化，并不适用于多种神经网络，时间久了，深度学习圈子里的人开始多少有些质疑全新的优化算法，很多人都觉得动量（Momentum）梯度下降法很好用，很难再想出更好的优化算法。所以RMSprop以及Adam优化算法，就是
极客Array·2018-12-29 21:53

吴恩达深度学习笔记(43)-动量梯度下降法（Momentum）

动量梯度下降法（GradientdescentwithMomentum）还有一种算法叫做Momentum，或者叫做动量梯度下降法，运行速度几乎总是快于标准的梯度下降算法，简而言之，基本的想法就是计算梯度的指数加权平均数，并利用该梯度更新你的权重，在本笔记中，我们要一起拆解单句描述，看看你到底如何计算。例如，如果你要优化成本函数，函数形状如图，红点代表最小值的位置，假设你从这里（蓝色点）开始梯度下降
极客Array·2018-12-29 21:14

吴恩达深度学习笔记(37)-神经网络的权重初始化再解析

神经网络的权重初始化（WeightInitializationforDeepNetworksVanishing/Explodinggradients）上节课，我们学习了深度神经网络如何产生梯度消失和梯度爆炸问题，最终针对该问题，我们想出了一个不完整的解决方案，虽然不能彻底解决问题，却很有用，有助于我们为神经网络更谨慎地选择随机初始化参数，为了更好地理解它，我们先举一个神经单元初始化地例子，然后再演
极客Array·2018-12-23 23:17

吴恩达深度学习笔记(35)-加快归一化的网络训练方法

归一化输入（Normalizinginputs）训练神经网络，其中一个加速训练的方法就是归一化输入。假设一个训练集有两个特征，输入特征为2维，归一化需要两个步骤：1.零均值2.归一化方差；我们希望无论是训练集和测试集都是通过相同的μ和σ^2定义的数据转换，这两个是由训练集得出来的。第一步是零均值化它是一个向量，x等于每个训练数据x减去μ，意思是移动训练集，直到它完成零均值化。第二步是归一化方差，注
极客Array·2018-12-21 23:44

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

为什么正则化有利于预防过拟合呢？（Whyregularizationreducesoverfitting?）为什么正则化有利于预防过拟合呢？为什么它可以减少方差问题？我们通过两个例子来直观体会一下。左图是高偏差，右图是高方差，中间是JustRight，这几张图我们在前面课程中看到过。现在我们来看下这个庞大的深度拟合神经网络。我知道这张图不够大，深度也不够，但你可以想象这是一个过拟合的神经网络。这是
极客Array·2018-12-17 23:36

吴恩达深度学习笔记(28)-网络训练验证测试数据集的组成介绍

从今天开始我们进入新的一个大方向了，改善深层神经网络：超参数调试、正则化以及优化，首先进入深度学习的一个新层面，先认识下在深度学习中的数据集的分类。之前可能大家已经了解了神经网络的组成的几个部分，那么我们将继续学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。训练，验证，测试集（Train/Dev/Testsets）在
极客Array·2018-12-14 23:43

吴恩达深度学习笔记(27)-深度学习与大脑的区别

深度学习和大脑有什么关联性吗？回答是：关联不大。那么人们为什么会说深度学习和大脑相关呢？当你在实现一个神经网络的时候，那些公式是你在做的东西，你会做前向传播、反向传播、梯度下降法，其实很难表述这些公式具体做了什么，深度学习像大脑这样的类比其实是过度简化了我们的大脑具体在做什么，但因为这种形式很简洁，也能让普通人更愿意公开讨论，也方便新闻报道并且吸引大众眼球，但这个类比是非常不准确的。一个神经网络的
极客Array·2018-12-13 12:51

吴恩达深度学习笔记(26)-神经网络中的参数和超参数

参数VS超参数（ParametersvsHyperparameters）想要你的深度神经网络起很好的效果，你还需要规划好你的参数以及超参数。什么是超参数？比如算法中的learningratea（学习率）、iterations(梯度下降法循环的数量)、L（隐藏层数目）、n^([l])（隐藏层单元数目）、choiceofactivationfunction（激活函数的选择）都需要你来设置，这些数字实际
极客Array·2018-12-12 22:01

吴恩达深度学习笔记(25)-如何搭建神经网络模块？如何运算？

搭建神经网络块（Buildingblocksofdeepneuralnetworks）你已经看到过正向反向传播的基础组成部分了，它们也是深度神经网络的重要组成部分，现在我们来用它们建一个深度神经网络。这是一个层数较少的神经网络，我们选择其中一层（方框部分），从这一层的计算着手。在第l层你有参数W^([l])和b^([l])，正向传播里有输入的激活函数，输入是前一层a^([l-1])，输出是a^([
极客Array·2018-12-12 22:03

吴恩达深度学习笔记(24)-为什么要使用深度神经网络？

为什么使用深层表示？（Whydeeprepresentations?）我们都知道深度神经网络能解决好多问题，其实并不需要很大的神经网络，但是得有深度，得有比较多的隐藏层，这是为什么呢？我们一起来看几个例子来帮助理解，为什么深度神经网络会很好用。首先，深度网络在计算什么？如果你在建一个人脸识别或是人脸检测系统，深度神经网络所做的事就是，当你输入一张脸部的照片，然后你可以把深度神经网络的第一层，当成一
极客Array·2018-12-10 23:22

吴恩达深度学习笔记(22)-深层神经网络说明及前后向传播实现

深层神经网络（DeepL-layerneuralnetwork）目前为止我们已经学习了只有一个单独隐藏层的神经网络的正向传播和反向传播，还有逻辑回归，并且你还学到了向量化，这在随机初始化权重时是很重要。目前所要做的是把这些理念集合起来，就可以执行你自己的深度神经网络。复习下前面21个笔记的内容：逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边：注意，神经网络的层数是这么定义的：从左到右
极客Array·2018-12-09 23:05

吴恩达深度学习笔记(15-21)总结-浅层神经网络总结

恩达老师的这一周的浅层神经网络总结，还是简单的架构说明，但是还是要仔细读哦！架构分为四部分：神经网络表示计算神经网络输出激活函数神经网络的梯度下降第一和第二部分：神经网络表示和计算神经网络输出部分，由于本部分讲的是浅层的网络输出，所以就是只有一个隐藏层的神经网络，你也可以理解成一个两层的神经网络，因为输入层并不能算为一层神经网络结构。另外就是神经网络的输出部分了，首先你要理解单个神经元的内部是如何
极客Array·2018-12-07 21:37

吴恩达深度学习笔记(21)-神经网络的权重初始化为什么要随机初始化？

随机初始化（Random+Initialization）当你训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为0当然也是可以的。但是对于一个神经网络，如果你把权重或者参数都初始化为0，那么梯度下降将不会起作用。让我们看看这是为什么？有两个输入特征，n([0])=2，2个隐藏层单元n([1])就等于2。因此与一个隐藏层相关的矩阵，或者说W([1])是2*2的矩阵，假设把它初始化为
极客Array·2018-12-06 22:42

吴恩达深度学习笔记(19)-非线性激活函数的作用

为什么需要非线性激活函数？（whyneedanonlinearactivationfunction?）事实证明：要让你的神经网络能够计算出有趣的函数，你必须使用非线性激活函数，证明如下：这是神经网络正向传播的方程（看图中公式）现在我们去掉函数g，然后令a([1])=z([1])，或者我们也可以令g(z)=z，这个有时被叫做线性激活函数（更学术点的名字是恒等激励函数，因为它们就是把输入值输出）。为了
极客Array·2018-12-04 22:08

吴恩达深度学习笔记(17）-神经网络中的多样本向量化实现再理解

多样本向量化（Vectorizingacrossmultipleexamples）在上一个笔记中，了解到如何针对于单一的训练样本，在神经网络上计算出预测值。在这篇笔记中，将会了解到如何向量化多个训练样本，并计算出结果。该过程与你在逻辑回归中所做类似（看过的是否还记得？？）逻辑回归是将各个训练样本组合成矩阵，对矩阵的各列进行计算。神经网络是通过对逻辑回归中的等式简单的变形，让神经网络计算出输出值。这
极客Array·2018-12-02 22:52

吴恩达深度学习笔记(15）-浅层神经网络之神经网络概述

神经网络概述（NeuralNetworkOverview）从今天开始你将学习如何实现一个神经网络。这里只是一个概述，详细的在后面会讲解，看不懂也没关系，先有个概念，就是前向计算然后后向计算，理解了这个就可以了，有一些公式和表达在后面会详细的讲解。在我们深入学习具体技术之前，我希望快速的带你预览一下后续几天你将会学到的东西。现在我们开始快速浏览一下如何实现神经网络。之前我们讨论了逻辑回归，我们了解了
极客Array·2018-11-30 22:45

吴恩达深度学习笔记(13)-多样本梯度下降和向量化处理多批次数据

m个样本的梯度下降(GradientDescentonmExamples)在之前的笔记中,已经讲述了如何计算导数，以及应用梯度下降在逻辑回归的一个训练样本上。现在我们想要把它应用在m个训练样本上。首先，让我们时刻记住有关于损失函数就J(w,b)的定义。当你的算法输出关于样本y的a(i)，a(i)是训练样本的预测值，即：图片描述(最多50字)所以我们在前面展示的是对于任意单个训练样本，如何计算微分当
极客Array·2018-11-28 22:31

吴恩达深度学习笔记（12）-计算图计算梯度下降

逻辑回归中的梯度下降（LogisticRegressionGradientDescent）本节我们讨论怎样通过计算偏导数来实现逻辑回归的梯度下降算法。它的关键点是几个重要公式，其作用是用来实现逻辑回归中梯度下降算法。但是在本节中，将使用计算图对梯度下降算法进行计算。必须要承认的是，使用计算图来计算逻辑回归的梯度下降算法有点大材小用了。但是，以这个例子作为开始来讲解，可以使你更好的理解背后的思想。从
极客Array·2018-11-27 21:26

吴恩达深度学习笔记（9）-导数的简单推导介绍

导数（Derivatives）这个笔记我主要是想帮你获得对微积分和导数直观的理解。或许你认为自从大学毕以后你再也没有接触微积分。为了高效应用神经网络和深度学习，你并不需要非常深入理解微积分（这个哦，并不需要深入了解）。因此如果你观看这个视频或者以后的视频时心想：“哇哦，这些知识、这些运算对我来说很复杂。”我给你的建议是：坚持学习吴恩达老师的视频或者跟随者笔记来学习，然后你就可以使用深度学习了。在后
极客Array·2018-11-23 23:03

吴恩达深度学习笔记（7）--逻辑回归的代价函数（Cost Function）

逻辑回归的代价函数（LogisticRegressionCostFunction）在上一篇文章中，我们讲了逻辑回归模型，这里，我们讲逻辑回归的代价函数（也翻译作成本函数）。吴恩达让我转达大家：这一篇有很多公式，做好准备，睁大眼睛！代价函数很重要！为什么需要代价函数：为了训练逻辑回归模型的参数w和参数b我们，需要一个代价函数，通过训练代价函数来得到参数w和参数b。先看一下逻辑回归的输出函数：为了让模
极客Array·2018-11-23 09:43

吴恩达深度学习笔记（2）-什么是神经网络（Neural Network）

什么是神经网络？(WhatisaNeuralNetwork)我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢？在这个视频中，会讲解一些直观的基础知识。首先，让我们从一个房价预测的例子开始讲起。假设你有一个数据集，它包含了六栋房子的信息。所以，你知道房屋的面积是多少平方英尺或者平方米，并且知道房屋价格。这时，你想要拟合一个根据房屋面积预
极客Array·2018-11-17 17:15

吴恩达深度学习笔记（deeplearning.ai）之卷积神经网络（CNN）（上）

转自：http://www.cnblogs.com/szxspark/p/8439066.html1.Padding在卷积操作中，过滤器（又称核）的大小通常为奇数，如3x3，5x5。这样的好处有两点：在特征图（二维卷积）中就会存在一个中心像素点。有一个中心像素点会十分方便，便于指出过滤器的位置。在没有padding的情况下，经过卷积操作，输出的数据维度会减少。以二维卷积为例，输入大小n×nn×n，
SongEsther·2018-09-22 14:50

吴恩达深度学习笔记（一）week3 浅层神经网络

浅层神经网络笔记前言：这一周的课程思路也和上周的课程思路一样，首先是讲单样本的神经网络，接着是多样本的神经网络，本周课程所讲的神经网络模型是单隐层的神经网络。此外课程还讲了关于激活函数和随机初始化的相关内容。前向传播-单样本神经网络的输出第一层的传播过程如下：第二层的传播过程如下：对其向量化:x(3,1)x(3,1):3个特征，一个样本，为一个列向量。W[1](4，3)W[1](4，3)：根据输入
lwmiracle·2018-06-04 10:54

吴恩达深度学习笔记六：序列模型

周末出去耍了一下，回来又玩了两天游戏，耽误了好多时间啊，关键是连输20多局。哎，以后还是少玩游戏，多去做些有趣的事情吧，免得费时费力还不开心。1、循环神经网络（RNN：RecurrentNeuralNetwork）序列模型（sequencemodel）：处理语言和音视频等前后相互关联的数据。和CNN卷积模型处理相对独立的输入和输出不同，序列模型处理的是具有较强相关性的连续序列。序列模型的常用场景如
Dod_Jdi·2018-03-26 23:57

吴恩达深度学习笔记六：序列模型

周末出去耍了一下，回来又玩了两天游戏，耽误了好多时间啊，关键是连输20多局。哎，以后还是少玩游戏，多去做些有趣的事情吧，免得费时费力还不开心。1、循环神经网络（RNN：RecurrentNeuralNetwork）序列模型（sequencemodel）：处理语言和音视频等前后相互关联的数据。和CNN卷积模型处理相对独立的输入和输出不同，序列模型处理的是具有较强相关性的连续序列。序列模型的常用场景如
Dod_Jdi·2018-03-26 23:57

吴恩达深度学习笔记五：卷积神经网络 人脸识别和风格迁移部分

1、人脸识别人脸验证（FaceVerification）：输入图片和模板图片是否为同一人，一对一问题。人脸识别（FaceRecognition）：输入图片，检测是否为多个模板图片中的一个，一对多问题。一般来说，人脸验证由于范围较小难度较小，而人脸识别需要进行一对多的比对难度较大准确率也较低。One-ShotLearning：由于人脸数据库的容量K并不固定，如果使用以前的分类方法，在全连接层后面进行
Dod_Jdi·2018-03-23 22:50

吴恩达深度学习笔记五：卷积神经网络 人脸识别和风格迁移部分

1、人脸识别人脸验证（FaceVerification）：输入图片和模板图片是否为同一人，一对一问题。人脸识别（FaceRecognition）：输入图片，检测是否为多个模板图片中的一个，一对多问题。一般来说，人脸验证由于范围较小难度较小，而人脸识别需要进行一对多的比对难度较大准确率也较低。One-ShotLearning：由于人脸数据库的容量K并不固定，如果使用以前的分类方法，在全连接层后面进行
Dod_Jdi·2018-03-23 22:50

吴恩达深度学习笔记四：卷积神经网络 基础和目标检测部分

1、卷积神经网络（CNN：Convolutionalneuralnetwork）：卷积运算：矩阵对应位元素相乘然后相加，主要作用是特征提取和减少参数。深度学习中使用的是“互相关”卷积，即不进行偏转的卷积。滤波器（fliter）:也叫“核（kernel）”，使用具有不同参数的滤波器可以检测图片中垂直、水平边缘等特征。两个重要的特征，可以有效解决计算机视觉等存在的参数过多速度慢和过拟合等问题：参数共享
Dod_Jdi·2018-03-20 09:51

吴恩达深度学习笔记四：卷积神经网络 基础和目标检测部分

1、卷积神经网络（CNN：Convolutionalneuralnetwork）：卷积运算：矩阵对应位元素相乘然后相加，主要作用是特征提取和减少参数。深度学习中使用的是“互相关”卷积，即不进行偏转的卷积。滤波器（fliter）:也叫“核（kernel）”，使用具有不同参数的滤波器可以检测图片中垂直、水平边缘等特征。两个重要的特征，可以有效解决计算机视觉等存在的参数过多速度慢和过拟合等问题：参数共享
Dod_Jdi·2018-03-20 09:51

吴恩达深度学习笔记三：结构化机器学习项目

1、正交化正交化：每次调整对某一性能进行针对性调试和优化，更快地发现影响效应，从而进行综合性的优化。一个好的模型最好能够同时在训练集，验证集，测试集和实际应用中表现良好，如果：情况解决办法在训练集上表现不好尝试更大的神经网络或者使用更好的优化算法（如Adam）在验证集上表现不好尝试获取更多的训练数据或者加入正则化在测试集上表现不好同验证集优化或者使用更有代表性的验证集（如加大数量）在实际应用上表现
Dod_Jdi·2018-03-16 22:13

吴恩达深度学习笔记二：超参数调试、正则化以及优化

第一周深度学习的实用层面1.数据集划分训练集：用以对算法进行训练，更新参数。验证集：用以训练过程检验模型和数据的拟合程度，可省略测试集：训练完成后评估模型所用的数据集划分：1、无验证集时，训练集：测试集=7：32、训练集：验证集：测试集=6：2：22.bias-variance，偏差和方差偏差bias：描述模型对训练集的拟合程度。偏差过大可能是“欠拟合”，可以选择更为复杂的模型。方差varianc
Dod_Jdi·2018-03-12 22:22

吴恩达深度学习笔记一：神经网络和深度学习

1.梯度下降中的一些计算第一个框：logistic回归方程的代价函数的导数dj/dz可认为是a-y第二个框：前一级变量的导数为后一级变量导数乘以其系数。另外求dZ和dA不需要进行”/m”操作#dA/dA_pre=(dA/dZ*dZ/dA_pre)=(dA/dZ*w),为了表示方便去掉了"dA/",故乘法不变dA_pre=np.dot(W.T,dZ)或者说在起前面的变量通过其系数来“放大”对最终结果
Dod_Jdi·2018-03-01 16:02

吴恩达深度学习笔记之卷积神经网络(特殊应用)

4.1人脸识别Verification(1)Inputimage，name/ID(2)OutputwhethertheinputimageisthatoftheclaimedpersonRecognition(1)Hasadatabaseofkpersons(2)Getaninputimage(3)OutputIDiftheimageisanyofthekpersons人脸识别之所以难事因为要解决
物理小乾乾·2017-12-20 17:47

吴恩达深度学习笔记之卷积神经网络(目标检测)

3.1目标定位定位分类问题意味着我们不仅要用算法判断出图片中是否有该物体，还要标记出它的位置，例如图片有一辆汽车，我们需要用边框把汽车圈起来。图像分类问题已不陌生，例如输入一张图片到多层卷积神经网络，它会输出一个特征向量，并反馈给softmax来预测图片类型。比如某张图片包括以下几类，人，汽车，摩托车，背景。如果在该张图片中没有检测到对象，则输出结果就会是背景，这些分类就是softmax函数可能输
物理小乾乾·2017-12-19 22:50

吴恩达深度学习笔记之卷积神经网络（实例探究）

2.1为什么要进行实力探究(whylookcasestudies)这周我们来看看卷积神经网络的实例分析。为什么要看这些案例分析呢？上周我们讲了基本构建，比如卷积层，池化层以及全连接层这些组件，事实上，过去几年，计算机视觉中的大量研究都集中在如何把这些基本构建组合起来，形成有效的卷积神经网络，找感觉最好的方法之一是看一些案例。实际上，在计算机视觉中表现良好的神经网络框架往往也适用于其他任务。也就是说
物理小乾乾·2017-12-18 21:11

吴恩达深度学习笔记之卷积神经网络(卷积网络)

1.1计算机视觉（computervision）应用计算机视觉存在一个挑战：就是数据的输入可能会非常大，例如，过去一般的操作是64*64的小图片，实际上它的数据量是64*64*3，因为每张图片还有3个颜色通道，如果计算一下，可以得知数据量是12288，所以我们的特征向量X维度是12288，这其实不算大，但是如果操作更大的图片，比如一张1000*1000的图片，则其特征向量维度X为1000*1000
物理小乾乾·2017-12-18 16:14
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他