limu深度学习笔记

深度学习笔记之三——tensorflow实现wide&deep模型

wide&deep模型原理十分简单，说白了就是wide类模型与deep类模型的组合（借鉴googlepaper，但是选用模型不同）。提出两个问题：1、什么是wide类、deep类？wide类模型一般指的是复杂度不高的线性模型，以LR最为常见。deep类模型一般指的是复杂度比较高、拟合数据能力强的神经网络，boosting、bagging类模型应该也是可以的。2、为什么要将他们组合起来？换句话说，为
落在地上的乐乐·2020-06-25 10:54

使用阿里云ECS进行深度学习笔记

学生一枚，尝试一下用阿里云的GPU服务器跑深度学习。基本过程参照这篇博客https://blog.csdn.net/Lo_Bamboo/article/details/78601328记录一下其中遇到的问题1.创建完实例查看一下配置查看显卡信息，驱动和cuda版本：nvidia-smi2.下载Anaconda可以在本机下载后ftp传上去，虽然是清华的源，我下的时候还是卡了的，时间就是金钱啊。3.创
Poke_Huang·2020-06-25 09:17

吴恩达深度学习笔记-卷积神经网络

04.卷积神经网络第一周卷积神经网络1.1计算机视觉1.2边缘检测示例垂直边缘检测vertical1.3更多边缘检测内容边缘过渡水平边缘检测horizontal1.4padding问题：卷积后图片缩小；边缘信息丢失过滤器（卷积核）一般都为奇数（原因：1、可以对称填充；2、有中心点）输出行=n+2*p-f+1Valid卷积：不填充；Same卷积：填充要使输出行与输入行相等，即n+2*p-f+1=n那
小墨青·2020-06-25 07:42

卷积层详述

本系列文章为深度学习笔记，方便自己回看。卷积计算概述对于图像识别来说，卷积神经网络的效果要好于全连接神经网络。我在首次接触卷积时，隐约记得在大一高数课程中曾经提及，但具体已经无法名状。
Zeus_dad·2020-06-25 05:21

深度学习笔记（四）--LeNet-5网络

类LeNet-5卷积运算网络实例假设，有一张大小为32×32×3的输入图片，这是一张RGB模式的图片，你想做手写体数字识别。32×32×3的RGB图片中含有某个数字，比如7，你想识别它是从0-9这10个数字中的哪一个，我们构建一个神经网络来实现这个功能。LeNet-5是多年前YannLeCun创建的，此例子采用的模型并不是LeNet-5，但是受它启发，许多参数选择都与LeNet-5相似。输入是32
小熊猫3·2020-06-25 04:04

深度学习笔记（六）--VGG16网络

内容来自吴恩达老师视频哦，网易云课堂有哦VGG-16VGG，也叫作VGG-16网络。值得注意的一点是，VGG-16网络没有那么多超参数，这是一种只需要专注于构建卷积层的简单网络。首先用3×3，步幅为1的过滤器构建卷积层，padding参数为same卷积中的参数。然后用一个2×2，步幅为2的过滤器构建最大池化层。因此VGG网络的一大优点是它确实简化了神经网络结构，下面我们具体讲讲这种网络结构。假设要
小熊猫3·2020-06-25 04:04

从零开始的深度学习笔记（四）手把手教你用pytorch制作一个属于自己的数据集

写在前面在使用CNN训练了MNIST数据集之后，不知道大家会不会有一种想要制作一个属于自己的数据集，并且用来训练的冲动呢？其实想要使用pytorch制作一个简单的数据集一点也不难，下面我们就一起来看看具体的实现方法吧。在制作一个自己的数据之前，我们需要分析一下MNIST数据集，然后依葫芦画瓢，制作一个属于自己的数据集。首先，我们需要知道，MNIST数据集里面首先有图片，其次，每张图片都有对应的标签
白鹿如昔·2020-06-25 01:35

深度学习笔记（0）——机器学习基本概念

本篇博客仅针对毫无机器学习理论背景的人，其他人可以直接跳过。机器学习(machinelearning)是最近非常火的一个领域，关于其一些基本定义百度百科、维基百科或者网上随便都可以找到很多资料，所以这里不做过多解释。就我个人理解，通常任何问题我们都可以用一个数学模型来解释：y=f(x)在统计学习方法里面通常使用的是P(y|x)，为了方便理解，不妨不严谨地把P看作是一种特殊的f()我们解决一个问题有
迷川浩浩_ZJU·2020-06-25 00:32

动手学深度学习笔记3过拟合、欠拟合

一、欠拟合与过拟合误差：训练误差（trainingerror）：指模型在训练数据集上表现出的误差泛化误差（generalizationerror）：指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。机器学习模型应关注降低泛化误差。Q：如何计算误差？A：引入损失函数（MSE、交叉熵损失）。验证集：从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。因为
programer_cao·2020-06-24 20:08

吴恩达深度学习笔记(89)-迁移学习（Transfer Learning）

迁移学习（TransferLearning）如果你要做一个计算机视觉的应用，相比于从头训练权重，或者说从随机初始化权重开始，如果你下载别人已经训练好网络结构的权重，你通常能够进展的相当快，用这个作为预训练，然后转换到你感兴趣的任务上。计算机视觉的研究社区非常喜欢把许多数据集上传到网上，如果你听说过，比如ImageNet，或者MS_COCO，或者Pascal类型的数据集，这些都是不同数据集的名字，它
极客Array·2020-06-24 19:06

NLP中的深度学习笔记

序章1.NLP对人类语言进行自动分析和表示的计算技术。2.与自然语言相关的任务：子结构解析、词性标注、机器翻译、对话系统3.深度学习架构和算法为计算机视觉和传统模式识别领域带来了巨大进展->NLP4.之前解决NLP问题的的机器学习方法基于浅层模型(SVM、logistic回归)，在非常高维和稀疏的特征（one-hotencoding）（独热编码）上训练得到。5.近年由于基于稠密向量表征的神经网络对
袁何苏·2020-06-24 19:43

【连载】深度学习笔记6：神经网络优化算法之从SGD到Adam

从前面的学习中，带大家一起学会了如何手动搭建神经网络，以及神经网络的正则化等实用层面的内容。这些都使得我们能够更深入的理解神经网络的机制，而并不是初次接触深度学习就上手框架，虽然对外宣称神经网络是个黑箱机制，但是作为学习者我们极度有必要搞清楚算法在每个环节到底都干了些什么。今天笔者需要讲的是深度学习的一个大的主题——优化算法。采用何种方式对损失函数进行迭代优化，这是机器学习的一大主题之一，当一个机
Game_Tom·2020-06-24 12:39

【连载】深度学习笔记8：利用Tensorflow搭建神经网络

在笔记7中，和大家一起入门了Tensorflow的基本语法，并举了一些实际的例子进行了说明，终于告别了使用numpy手动搭建的日子。所以我们将继续往下走，看看如何利用Tensorflow搭建神经网络模型。尽管对于初学者而言使用Tensorflow看起来并不那么习惯，需要各种步骤，但简单来说，Tensorflow搭建模型实际就是两个过程：创建计算图和执行计算图。在deeplearningai课程中，
Game_Tom·2020-06-24 12:39

深度学习笔记5：正则化与dropout

在笔记4中，详细阐述了机器学习中利用正则化防止过拟合的基本方法，对L1和L2范数进行了通俗的解释。为了防止深度神经网络出现过拟合，除了给损失函数加上L2正则化项之外，还有一个很著名的方法——dropout.废话少说，咱们单刀直入正题。究竟啥是dropout?dropout是指在神经网络训练的过程中，对所有神经元按照一定的概率进行消除的处理方式。在训练深度神经网络时，dropout能够在很大程度上简
Game_Tom·2020-06-24 12:39

【连载】深度学习笔记7：Tensorflow入门

从前面的学习笔记中，笔者和大家一起使用了numpy一步一步从感知机开始到两层网络以及最后实现了深度神经网络的算法搭建。而后我们又讨论了改善深度神经网络的基本方法，包括神经网络的正则化、参数优化和调参等问题。这一切工作我们都是基于numpy完成的，没有调用任何深度学习框架。在学习深度学习的时候，一开始不让大家直接上手框架可谓良苦用心，旨在让大家能够跟笔者一样，一步一步通过numpy搭建神经网络的过程
Game_Tom·2020-06-24 12:39

【深度学习笔记】正则化（Regularization）

本文主要是对吴恩达《深度学习工程师》在线课程关于正则化部分的笔记整理，并进行了一定的扩展。一、何为正则化在《深度学习》【1】一书中，正则化的定义是“对学习算法的修改——旨在减少泛化误差而不是训练误差”。我们知道正则化的目的是减少过拟合，对应定义中的泛化误差。那是不是减少过拟合的方法都可以叫做正则化呢？这个问题我暂时还无法解答。通过查阅相关资料我发现，通常在机器学习中大家所说的正则化是对目标函数添加
云若祯初·2020-06-24 12:24

Momentum、RMSprop、Adam

吴恩达深度学习笔记要说Momentum、RMSprop、Adam这三个优化器就要先讲讲指数加权平均指数加权平均上图是一年中365天的温度变化指数加权平均的等式是：Vt=βVt-1+(1-β)θtθt代表第
lx127372·2020-06-24 10:40

【Deep Learning 】深度模型中的优化问题（一）SGD

以下节选自个人深度学习笔记。内容整合来源于网络与个人理解。先来看一下学习步长：口学习步长的设置是个难题：若学习步长过大，则目标函数可能不降低；但若学习步长过小，则训练过程可能非常缓慢。
Lindsay.Lu丶·2020-06-24 07:49

深度学习笔记5：池化层的实现

池化层的推导池化层的输入一般来源于上一个卷积层，主要作用是提供了很强的鲁棒性（例如max-pooling是取一小块区域中的最大值，此时若此区域中的其他值略有变化，或者图像稍有平移，pooling后的结果仍不变），并且减少了参数的数量，防止过拟合现象的发生。池化层一般没有参数，所以反向传播的时候，只需对输入参数求导，不需要进行权值更新。池化层的前向计算前向计算过程中，我们对卷积层输出map的每个不重
kanei_ri·2020-06-24 02:45

手撕神经网络：从零开始实现一个简单的神经网络（python）

之前有写过基于TF的全连接神经网络的实现，可以参考深度学习笔记——全连接神经网络样例程序及详细注释。但是这里将不借助任何深度学习平台来实现一个全连接神经网
kuweicai·2020-06-24 01:43

深度学习笔记——分类模型（三）VGG16

#-*-coding:utf-8-*-importdatetimefromkeras.modelsimportModelfromkeras.layersimport*fromkeras.preprocessing.imageimportImageDataGeneratordefVGG16(input_shape=(224,224,3),classes=1000):img_input=Input(s
wind_700·2020-06-24 01:35

【深度学习笔记1】——行人重识别之必备知识与深度学习入门小经验

【深度学习笔记1】——行人重识别之必备知识与深度学习入门小经验一.行人重识别基础知识1.gallery和probe：2.singleshot和multishot：3.rank-n：4.precision
何小天555·2020-06-23 14:28

【深度学习笔记2】——行人重识别之局部特征与深度学习小经验

【深度学习笔记2】——行人重识别之局部特征与深度学习小经验一.表征学习和基于特征学习的区别1.表征学习：2.基于局部特征学习：二.论文解读（LearningDiscriminativeFeatureswithMultipleGranularitiesforPersonRe-Identification
何小天555·2020-06-23 14:28

吴恩达深度学习笔记02——改善深层神经网络1深度学习的实用层面

一、数据划分：训练/验证/测试集应用深度学习是一个典型的迭代过程。对于一个需要解决的问题的样本数据，在建立模型的过程中，数据会被划分为以下几个部分：训练集（trainset）：用训练集对算法或模型进行训练过程；验证集（developmentset）：利用验证集（又称为简单交叉验证集，hold-outcrossvalidationset）进行交叉验证，选择出最好的模型；测试集（testset）：最后
阿尔基亚·2020-06-23 08:34

深度学习笔记+图像处理+RCNN发展流程

深度学习笔记深度学习（六十九）darknet实现实验CompressingDeepNeuralNetworkswithPruning,TrainedQuantizationandHuffma深度学习（六十八
SoftGit·2020-06-23 07:49

机器学习笔记的github镜像下载（github个人star数量排名175）

其中机器学习笔记10000+star，深度学习笔记7200+star。
风度78·2020-06-23 07:34

吴恩达深度学习笔记(38)-优化算法(Optimization algorithms)

Mini-batch梯度下降（Mini-batchgradientdescent）本周将学习优化算法，这能让你的神经网络运行得更快。机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，你需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助你快速训练模型。其中一个难点在于，深度学习没有在大数据领域发挥最大的效果，我们可以利用一个巨大的数据集来训练神经网络，而在巨大的数据集基础上进
极客Array·2020-06-23 05:48

吴恩达深度学习笔记(65)-误差分析Carrying out error analysis

进行误差分析（Carryingouterroranalysis）你希望让学习算法能够胜任人类能做的任务，但你的学习算法还没有达到人类的表现，那么人工检查一下你的算法犯的错误也许可以让你了解接下来应该做什么。这个过程称为错误分析，我们从一个例子开始讲吧。假设你正在调试猫分类器，然后你取得了90%准确率，相当于10%错误，在你的开发集上做到这样，这离你希望的目标还有很远。也许你的队员看了一下算法分类出
极客Array·2020-06-23 04:34

人工智能-深度学习笔记3 神经网络的前向传播和反向传播计算

在上两篇的学习笔记中，学习了数据集的表示和处理、激活函数的选取、代价函数的设计技巧和梯度下降的过程，那么神经网络在下降的计算过程是怎样的呢？下面将以目前流行的计算图的方式，展示一个神经网络的计算，是如何按照前向或反向传播过程组织起来的。1、计算图（ComputationGraph）的计算尝试计算函数J，J是由三个变量a,b,c组成的函数，这个函数是3(a+bc)。计算这个函数走三个步骤，首先计算b
clyfk·2020-06-22 22:25

2.3）深度学习笔记：超参数调试、Batch正则化和程序框架

目录1）TuningProcess2）Usinganappropriatescaletopickhyperparameters3）（Hyperparameterstuninginpractice:Pandasvs.Caviar）4）Normalizingactivationsinanetwork（重点）5）FittingBatchNormintoaneuralnetwork6）WhydoesBat
10点43·2020-06-22 21:30

3.2）深度学习笔记：机器学习策略（2）

目录1）Carryingouterroranalysis2）CleaningupIncorrectlylabeleddata3）Buildyourfirstsystemquicklytheniterate4）Trainingandtestingondifferentdistributios5）BiasandVariancewithmismatcheddatadistributions6）Addre
10点43·2020-06-22 20:53

吴恩达深度学习笔记 course2 week3作业

TensorFlowTutorialWelcometothisweek'sprogrammingassignment.Untilnow,you'vealwaysusednumpytobuildneuralnetworks.Nowwewillstepyouthroughadeeplearningframeworkthatwillallowyoutobuildneuralnetworksmoreeas
banghu8816·2020-06-22 17:30

吴恩达深度学习笔记（十） —— 神经风格迁移

主要内容：一.神经风格迁移简介二.计算contentcost三.计算stylecost一.神经风格迁移简介1.神经风格迁移（NeuralStyleTransfer），简称为NST，就是以一张图为内容基础，以另一张图为风格基础，生成一张新的图：2.NST使用一张已经训练好的神经网络VGGnetwork作为算法的基础。可知神经网络的浅层学习一些比较低级的特征诸如边界和纹理的等，深层学些一些复杂抽象的特
alince20008·2020-06-22 13:05

吴恩达深度学习笔记（二）—— 深层神经网络的训练过程

主要内容：一.初始化参数二.前向传播三.计算代价函数四.反向传播五.更新参数（梯度下降）一.初始化参数1.由于将参数W初始化为0会导致神经网络失效，因而需要对W进行随机初始化。一般的做法是用np.random.np()生成一个高斯分布的数，然后再乘上一个很小的数比如0.01，以限制它的范围。所以可知W的初始值是一个很小的数（绝对值小），那为什么不能取绝对值较大的数呢？根据sigmoid或者tanh
alince20008·2020-06-22 13:33

吴恩达深度学习笔记（一） —— 神经网络简介

相关博客：吴恩达机器学习笔记（四）——BP神经网络（里面出现的内容，下面将不再重复）主要内容：一.单个样本向量化二.多个样本向量化三.激活函数及其导数四.随机初始化五.深层神经网络的前向与反向传播六.参数和超参数一.单个样本向量化如下神经网络，对于第一层的神经元，每个神经元的输出，即a的计算如下：但是这种每个神经元的输出都单独计算的方式显得很繁琐，至少在写代码的时候就很容易出错。为了简化表示和提高
alince20008·2020-06-22 13:33

机器学习资源分享

吴恩达老师的机器学习和深度学习课程笔记打印版黄海广博士的github：fengdu78(HuangHaiguang)·GitHub机器学习笔记：GitHub-fengdu78/Coursera-ML-AndrewNg-Notes:吴恩达老...深度学习笔记
Wilder_ting·2020-06-22 08:53

吴恩达深度学习笔记12-Course4-Week3【目标检测】

目标检测（Objectdetection）一、目标定位（ObjectLocalization）图像识别的三个层次：图像分类：判断图像中是否包含某一类物体，并且假定每张图像只有一个目标。目标定位：既要图像分类，还要输出这个目标位置。目标检测：检测出图像包含的所有感兴趣的目标，并定位。目标定位：需要修改输出层的结构，和数据集的标签。输出层不仅要输出各类别的概率，还要输出目标的位置坐标。损失函数和标签：
Wang_Jiankun·2020-06-22 08:23

吴恩达深度学习笔记1-Course1-Week1【深度学习概论】

2018.5.7吴恩达深度学习视频教程网址网易云课堂：https://mooc.study.163.com/smartSpec/detail/1001319001.htmCoursera：https://www.coursera.org/learn/neural-networks-deep-learningPS：网易云上不提供测验和作业，Cousera上有。深度学习概论：本篇主要关于深度学习的一些
Wang_Jiankun·2020-06-22 08:52

深度学习笔记（三）循环神经网络RNN

前情回顾：深度学习笔记（一）感知器、梯度下降、反向传播深度学习笔记（二）卷积神经网络RNN和LSTM之前我们知道图片有空间性的特征，于是就有了对应的解决方案：CNN。
雪球行动唐晓阳·2020-06-22 06:23

吴恩达深度学习笔记——深度卷积网络：实例探究

第二周深度卷积网络：实例探究（Deepconvolutionalmodels:casestudies）2.2经典网络（Classicnetworks）这节课，我们来学习几个经典的神经网络结构，分别是LeNet-5、AlexNet和VGGNet，开始吧。LeNet-5的网络结构2.3残差网络（ResidualNetworks(ResNets)）非常非常深的神经网络是很难训练的，因为存在梯度消失和梯度
SCS199411·2020-06-22 04:45

吴恩达深度学习笔记——超参数调试、Batch正则化和程序框架

第三周超参数调试、Batch正则化和程序框架（Hyperparametertuning）3.1调试处理（Tuningprocess）结果证实一些超参数比其它的更为重要，α\alphaα无疑是最重要的，接下来是我用橙色圈住的那些，然后是我用紫色圈住的那些，但这不是严格且快速的标准。在早一代的机器学习算法中，如果你有两个超参数，这里我会称之为超参1，超参2，常见的做法是在网格中取样点，像这样，然后系统
SCS199411·2020-06-22 04:14

吴恩达深度学习笔记——改善深层神经网络：超参数调试、正则化以及优化

第二门课改善深层神经网络：超参数调试、正则化以及优化1.1训练，验证，测试集（Train/Dev/Testsets）应用深度学习是一个典型的迭代过程，需要多次循环往复，才能为应用程序找到一个称心的神经网络，因此循环该过程的效率是决定该项目进展速度的一个关键因素，而创造高质量的训练数据集，验证集和测试集也有助于提高循环效率。在机器学习发展的小数据量时代，常见做法是将所有数据三七分，就是人们常说的70
SCS199411·2020-06-22 04:13

吴恩达深度学习笔记——优化算法

第二周：优化算法(Optimizationalgorithms)2.1Mini-batch梯度下降（Mini-batchgradientdescent）假设有500万个样本，batch_size=1000，也就是每次训练1000个样本，总共有5000个mini_batch。5000次迭代遍历一遍数据集中的所有样本，也是一个epoch。2.2理解mini-batch梯度下降法（Understandi
SCS199411·2020-06-22 04:13

吴恩达深度学习笔记(38)-优化算法(Optimization algorithms)

Mini-batch梯度下降（Mini-batchgradientdescent）本周将学习优化算法，这能让你的神经网络运行得更快。机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，你需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助你快速训练模型。其中一个难点在于，深度学习没有在大数据领域发挥最大的效果，我们可以利用一个巨大的数据集来训练神经网络，而在巨大的数据集基础上进
极客Array·2020-06-21 21:56

吴恩达深度学习笔记(30)-正则化的解释

正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
极客Array·2020-06-21 21:56

吴恩达深度学习笔记(51)-归一化网络的激活函数（重要！）

归一化网络的激活函数（Normalizingactivationsinanetwork）在深度学习兴起后，最重要的一个思想是它的一种算法，叫做Batch归一化，由Sergeyloffe和ChristianSzegedy两位研究者创造。Batch归一化会使你的参数搜索问题变得很容易，使神经网络对超参数的选择更加稳定，超参数的范围会更加庞大，工作效果也很好，也会使你的训练更加容易，甚至是深层网络。让我
极客Array·2020-06-21 21:56

Python深度学习笔记（一）简要框架和数学基础

Python深度学习笔记（一）简要框架和数学基础最近看了《Python深度学习》这本书，学到不少东西，在这里以笔记的形式分享给大家。简要框架首先，我们需要明白人工智能，机器学习和深度学习的概念和区别。
Devin00123·2020-06-21 19:23

深度学习笔记在线版发布!

吴恩达老师的深度学习课程（deeplearning.ai），可以说是深度学习入门的最热门课程，我和志愿者编写了这门课的笔记，并在github开源，为满足手机阅读的需要，我将笔记做成了在线版，可以在手机上打开公众号收藏就能学习。（黄海广）课程说明课程地址：https://www.deeplearning.ai国内由网易云课堂进行了翻译，并免费提供给广大爱好者：https://mooc.study.1
湾区人工智能·2020-06-21 17:19

深度学习笔记-----基于TensorFlow2.2.0代码练习（第一课）

写在正文之前：这篇紧接着上一篇的博文https://blog.csdn.net/zdswyh123/article/details/106178597主要写的是TensorFlow2.0的代码练习，跟随着KGPTalkie的【TensorFlow2.0】实战进阶教程进行学习，并将其中一些不适用的代码错误进行修改。本文跟随视频油管非常火的【TensorFlow2.0】实战进阶教程（中英字幕+代码实战
zdswyh123·2020-06-21 15:57

吴恩达深度学习笔记(40)-指数加权平均数优化算法

指数加权平均数（Exponentiallyweightedaverages）我想向你展示几个优化算法，它们比梯度下降法快，要理解这些算法，你需要用到指数加权平均，在统计中也叫做指数加权移动平均，我们首先讲这个，然后再来讲更复杂的优化算法。虽然现在恩达老师生活在美国，实际上恩达老师生于英国伦敦。比如这儿有去年伦敦的每日温度，所以1月1号，温度是40华氏度，相当于4摄氏度。世界上大部分地区使用摄氏度，
极客Array·2020-06-21 15:34
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他