《深度学习笔记》

动手学深度学习笔记day6

前向传播前向传播（forwardpropagation或forwardpass）指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。反向传播反向传播（backwardpropagation或backpropagation）指的是计算神经网络参数梯度的方法。简言之，该方法根据微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络。该算法存储了计算某些参数梯度时所需的任何中间变量（偏导
努力学习的廖同学·2023-01-17 22:34

动手学深度学习笔记day8

层和块块由类（class）表示。它的任何子类都必须定义一个将其输入转换为输出的前向传播函数，并且必须存储任何必需的参数。每个块必须提供的基本功能：将输入数据作为其前向传播函数的参数。通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。例如，我们上面模型中的第一个全连接的层接收一个20维的输入，但是返回一个维度为256的输出。计算其输出关于输入的梯度，可通过其反向传播函数进行访问。通
努力学习的廖同学·2023-01-17 22:34

动手学深度学习笔记day11

图像增广图像增广在对训练图像进行一系列的随机变化之后，生成相似但不同的训练样本，从而扩大了训练集的规模。此外，应用图像增广的原因是，随机改变训练样本可以减少模型对某些属性的依赖，从而提高模型的泛化能力。常用的图像增广方法使用下面这个图像作为示例。定义辅助函数apply。此函数在输入图像img上多次运行图像增广方法aug并显示所有结果。%matplotlibinlineimporttorchimpo
努力学习的廖同学·2023-01-17 22:34

动手学深度学习笔记day2

动手学深度学习笔记day2数据预处理读取数据集1、创建一个人工数据集，并存储在CSV（逗号分隔值）文件…/data/house_tiny.csv中。
努力学习的廖同学·2023-01-17 22:04

动手学深度学习笔记day7

实战：预测房价预测价格的对数与真实标签价格的对数之间出现以下均方根误差：1、调用库函数importhashlibimportosimporttarfileimportzipfileimportrequests#如果你没有安装pandas，请取消下一行的注释#!pipinstallpandas%matplotlibinlineimportnumpyasnpimportpandasaspdimport
努力学习的廖同学·2023-01-17 22:04

目标检测基础：好文推荐

☆☆☆☆☆重度好文推荐☆☆☆☆☆深度学习笔记（六）--VGG16网络https://blog.csdn.net/qq_29893385/article/details/81207082目标检测之R-CNN
DLANDML·2023-01-17 13:36

神经网络与深度学习笔记（五）validation_data 的作用

**为何要用validation_data而不是test_data来防止过度拟合？为何要用validation_data而不是test_data来设置更好的超参数？**如果我们设置超参数是基于test_data的话，可能我们最终就会得到过度拟合于test_data的超参数，但是网络性能并不能够泛化到其他数据集合。我们用validation_data来克服这个问题，一旦获得了理想的超参数，就用tes
dsjdjsa·2023-01-16 11:37

深度学习笔记5：Softmax 回归 + 损失函数 + 图片分类数据集

Softmax回归回归vs分类回归估计一个连续值分类预测一个离散类别应用：Kaggle上的分类问题将人类蛋白质显微镜图片分成28类将恶意软件分成9个类别将恶意的Wikipedia评论分成7类从回归到多类分类回归单连续数值输出自然区间ℝ跟真实值的区别作为损失分类通常多个输出输出i是预测为第i类的置信度（置信度=可信度）从回归到多类分类——均方损失对类别进行一位有效编码使用均方损失训练最大值最为预测从
燏羡·2023-01-16 09:02

深度学习笔记 —— Softmax回归 + 损失函数 + 图片分类数据集

优点：梯度永远是常数，会带来稳定性上的好处。缺点：零点处不可导，此处梯度剧烈变化，这种不平滑性导致在预测值与真实值相差比较小的时候变得不太稳定。也可以自己提出损失函数。因此，分析损失函数时，可从其梯度函数的图像入手，分析当预测值与真实值相差较大或者较小时，进行更新会是怎样的情况。importtorchimporttorchvisionfromtorch.utilsimportdatafromtor
Whisper_yl·2023-01-16 09:26

深度学习笔记---在计算图思想下实现简单神经网络的各个计算层

#1.导入在上篇博客中，例子z=(x+y)^2的计算层就是两个节点。二层神经网络利用计算图的思想可以按照如下简单表示上图中的黑色框均表示计算层，Affine表示加权和层，ReLU表示ReLU激活函数层，SoftmaxWithLoss表示Softmax激活函数和Loss损失函数的组合层。#2.用Python实现各个计算层1.Affine层的实现求加权和的过程就是X*W+B。（X表示数据矩阵，W表示权
武松111·2023-01-16 08:22

深度学习笔记---误差反向传播法版 对MNIST数据集的二层神经网络的学习实现

#1.神经网络的学习前提和步骤前提神经网络存在合适的权重和偏置。步骤一（挑选mini-batch）从训练数据中随机选出一部分数据，这部分数据称为mini-batch。我们的目标是减少mini-batch这部分数据的损失函数的值。步骤二（计算梯度）为了减小mini-batch这部分数据的损失函数的值，需要求出有关各个权重参数的梯度。步骤三（更新参数）将权重参数沿梯度方向进行微小更新。步骤四（重复）重
武松111·2023-01-16 08:22

深度学习笔记（十）—— 梯度检验[Gradient Checks]

  这是深度学习笔记第十篇，完整的笔记目录可以点击这里查看。    
zeeq_·2023-01-16 06:34

神经网络与深度学习笔记——梯度消失问题

神经网络与深度学习笔记系列一共有五个专题，分别是第一章使用神经网络识别手写数字——梯度下降算法是什么。主要介绍了神经网络的基础例如感知器激活函数等概念，最主要介绍了梯度下降算法。
刘爱然·2023-01-16 06:04

深度学习笔记——梯度消失和梯度爆炸及解决方法

梯度消失：反向传播时随着网络加深梯度逐渐消失，最后导致参数不更新。原因：如果使用sigmoid作为激活函数，反向传播时输出对某一层参数的梯度是后面层的参数和后面层的激活函数的导数相乘（而sigmoid函数的梯度是sigmoid(1-sigmoid)),又因为sigmoid函数在（0，1）之间，所以随着网络加深，梯度越来越小接近于零，实际上sigmoid函数的梯度小于0.25。解决方法：换用激活函数
phily123·2023-01-16 06:30

深度学习笔记第一门课第四周：深层神经网络

本文是吴恩达老师的深度学习课程[1]笔记部分。作者：黄海广[2]主要编写人员：黄海广、林兴木（第四所有底稿，第五课第一二周，第三周前三节）、祝彦森:（第三课所有底稿）、贺志尧（第五课第三周底稿）、王翔、胡瀚文、余笑、郑浩、李怀松、朱越鹏、陈伟贺、曹越、路皓翔、邱牧宸、唐天泽、张浩、陈志豪、游忍、泽霖、沈伟臣、贾红顺、时超、陈哲、赵一帆、胡潇杨、段希、于冲、张鑫倩参与编辑人员：黄海广、陈康凯、石晴路
湾区人工智能·2023-01-16 06:58

我有一个计划001之数据挖掘面试（更新ing）

2.吴恩达的深度学习的基础知识过一遍深度学习笔记，公式手推3.李航《统计学习》方法挑面经中的重点手推公式，有时间全都看4.牛客网的面经将下载的面经都打印，然后针对每个题学习知识点
weixin_34410662·2023-01-15 11:55

深度学习笔记---激活函数介绍（从感知机到神经网络）

#1.导入感知机的数学式可以如下表示：上述h(x)函数会将输入信号的总和转换为输出信号。这就是一种激活函数。激活函数的作用在于决定如何来激活输入信号的总和。上述激活函数h(x)被称为阶跃函数，输出的切换是很剧烈的很突然的。如果将激活函数从阶跃函数换成其他平滑变化的函数，就进入神经网络范畴了。#2.sigmoid函数简介及其实现神经网络中经常使用的一个激活函数就是如下所示的sigmoid函数。神经网
武松111·2023-01-14 20:44

吴恩达深度学习笔记（一）week4 深层神经网络

深层神经网络1.逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边：神经网络的层数是这么定义的：从左到右，由0开始定义，比如上边右图，x1、x2、x3、严格上来说逻辑回归也是一个一层的神经网络，而上边右图一个深得多的模型，浅与深仅仅是指一种程度。有一个隐藏层的神经网络，就是一个两层神经网络。记住当我们算神经网络的层数时，我们不算输入层，我们只算隐藏层和输出层。上图是一个四层的神经网络，有
uponwyz·2023-01-14 07:34

吴恩达深度学习笔记4-Course1-Week4【深层神经网络】

深层神经网络（DNN）:一、深层神经网络4层的神经网络：二、前向与反向传播前向(forwardpropagation):反向(backwardpropagation):notation:n[l]：第l层的unit个数W[l]：(n[l],n[l−1])b[l]：(n[l],1)dW[l]：(n[l],n[l−1])db[l]：(n[l],1)singleexample:x：(n[0],1)z[l]
Wang_Jiankun·2023-01-14 07:01

吴恩达深度学习1笔记week4——深层神经网络 Deep L-layer Neural Network

吴恩达深度学习笔记week4——深层神经网络DeepL-layerNeuralNetwork4.1深层神经网络DeepL-layerNeuralNetwork4.2深层网络中的前向传播ForwardPropagationinaDeepNetwork4.3
Saulty·2023-01-14 07:30

深度学习笔记 8 特征尺寸、感受野、Map计算

目录1.FeatureMap尺寸计算2.感受野计算3.感受野大小对提取特征的影响4.Map计算4.1IOU计算4.2TPTNFPFN4.3Precision和Recall4.4目标检测常用评价指标总结1.FeatureMap尺寸计算注意在pytorch中stride、padding、dilation、kernelsize可以为int型或者tuple型；dilation默认为1，也是可为tuple，
李同学_道阻且行·2023-01-13 20:38

吴恩达深度学习笔记 course3 week2 机器学习 策略(2)

1.Carryingouterroranalysis例:当我们在训练一个模型的时候,我们的准确率是90%,bayesoptimizedbias是0%,这个时候错误率达到了10%,那么我们如何分析是哪错了,并且快速改正,如果我们分析发现误将狗识别为猫,那我们是否又应该加入一些狗的图片,增强模型对负样本的训练?这个时候就引入了误差分析分析过程:这里吴恩达老师是取出100张被错误标记的图片,观察其中把狗
weixin_30888707·2023-01-12 11:22

【学习周报】深度学习笔记第四周

学习目标：深度学习吴恩达lesson2-week3：超参数调试、Batch正则化和程序框架（Hyperparametertuning）深度学习吴恩达lesson3-week1：机器学习（ML）策略（1）深度学习吴恩达lesson3-week2：机器学习（ML）策略（2）学习内容：目录学习目标：学习内容：学习时间：学习产出：lesson2-week33.1参数的统计与选择3.2参数合适的取值范围3.
不要卷我啊·2023-01-12 11:18

吴恩达深度学习笔记（三）week2机器学习策略

进行误差分析以一个简单的例子为例，在做一个猫图片的分类器时，若产生了5%5%的误差，其中有些图片误把狗分类为猫，是不是应该马上决定设计一个针对狗的识别系统？答案是否定的，若错误分类里面只有少数的是狗则不需要，所以有必要对误差进行分析。常用的误差分析是用一个表格做统计，如下图所示，统计每项可能引起系统误差的比例。清楚标记错误的数据吴恩达：人工干预，对误差进行分析，加入人对数据的理解在构建实际机器学习
lwmiracle·2023-01-12 11:16

吴恩达深度学习笔记course3 week2 测验

第1个问题Tohelpyoupracticestrategiesformachinelearning,inthisweekwe’llpresentanotherscenarioandaskhowyouwouldact.Wethinkthis“simulator”ofworkinginamachinelearningprojectwillgiveataskofwhatleadingamachinel
banghu8816·2023-01-12 11:13

吴恩达深度学习笔记9-Course3-Week2【机器学习策略（ML Strategy）2】

机器学习策略（MLStrategy）2一、误差分析（ErrorAnalysis）1、进行误差分析（Carryingouterroranalysis）当训练完模型后，可以得到该模型的误差。接着我们要不断的对模型进行优化，减少误差。误差分析就是为了指导模型往能最大化减少误差的方向调整。误差分析就是对由不同错误分类类型引起的错误占总错误的比例进行排序，优先优化占比高的错误类型。以识别猫为例，预测失败可能
Wang_Jiankun·2023-01-12 11:42

深度学习笔记 3 梯度消失和梯度爆炸

目录1.产生原因1.1概念1.2产生原因2.解决方案2.1预训练（适用梯度消失/爆炸）2.2度剪切：对梯度设定阈值（适用梯度爆炸）2.3权重正则化（适用梯度爆炸）2.4选择relu等梯度大部分落在常数上的激活函数（适用梯度消失/爆炸）2.5批归一化（适用梯度消失/爆炸）2.6残差结构（适用梯度消失）1.产生原因1.1概念梯度消失：梯度趋近于零，网络权重无法更新或更新的很微小，网络训练再久也不会有效
李同学_道阻且行·2023-01-11 06:15

水很深的深度学习笔记—————循环神经网络RNN篇

目录计算图RNN计算图的引入为了更方便表示网络现实生活存在很多序列化结构，需要建立更优秀的序列数据模型文本、语音、视频、时态数据RNNRNN一般结构x_t表示T时刻的输入，s_T表示记忆，O_t表示输出，UVW是RNN网络的连接权重，b_s和b_o是RNN的偏置，LSTM（长短时记忆网络）一个LSTM单元由输入门、输出门、遗忘门组成，三个门控制信息进出单元遗忘门对细胞状态信息遗忘程度的控制，输出当
data小孙·2023-01-11 06:44

吴恩达深度学习笔记（六）——超参数调试、Batch正则化和程序框架

一、调试处理给超参数取值：网格中取样点，随机取值，由粗糙到精细的策略。为超参数选择合适的范围：随机取值不是在有效范围内随即均匀取值，选择合适的步进值很重要。比如搜索学习率α，在0.0001到1之间，如果随机均匀取值，则在0.1到1之间应用了90%的资源，在0.0001到0.1之间只有10%的搜索资源。因此，不使用线性轴，而使用对数轴会更加合理。β越接近于1越敏感，需要密集取值。超参数调试实践：照看
子非鱼icon·2023-01-10 19:06

吴恩达深度学习笔记（第二周编程作业）

在吴恩达老师的深度学习中的assignment_2_2中实现logisticRegression需要将图片转化成训练集时需要将维度为（209，64，64，3）的图片矩阵转化成二维矩阵（64*64*3，209）的训练集时错误方法：直接使用reshape(64*64*3,209)正确方法：使用reshape(209,-1).T原因：错误方法不能变成我们需要的n*m的矩阵，我们需要保持每列是一个单独的样
ncisiad·2023-01-10 18:58

PyTorch深度学习笔记（六）Dataset类代码实战

课程学习笔记，课程链接#常用的一些工具，torch大工具箱中的常用工具区，然后是关于数据的data区fromtorch.utils.dataimportDatasetfromPILimportImage#使用该方法来读取图片importos#python中关于系统的库'''Dataset是一个抽象类，所有的数据集都需要去继承这个类所有的子类都应该重写__gititem__方法，该方法主要是获取每个
小于同学饿了·2023-01-10 12:30

【深度学习】点云深度学习笔记（目标检测）

Second环境的配置参考参考：second.pytorch环境配置及训练运行折腾史_华青水上的博客-CSDN博客遇到的错误1、执行pythoncreate_data.pykitti_data_prep--root_path=data/KITTI_DATASET_ROOT遇到了错误NvvmSupportError:libNVVMcannotbefound.Docondainstallcudatoo
秦乐乐·2023-01-10 09:48

深度学习笔记：安装并使用pytorch的准备工作

查看电脑显卡1.右击此电脑–设备管理器–显示设备器查看电脑驱动信息打开cmd依次输入以下代码，就可以看到显卡驱动的信息了。如图cdC:\ProgramFiles\NVIDIACorporation\NVSMInvidia-smi如上图所示，当前驱动显卡版本为391.25输入nvidia-smi-L命令查看显卡型号：查询显卡驱动与CUDA对应表驱动与CUDA对应表根据这个表中的对应关系安装，当没有版
weixin_45617528·2023-01-09 13:11

PyTorch深度学习笔记（十八）网络模型的保存与读取

课程学习笔记，课程链接在搭建自己的神经网络模型之后，需要将模型进行保存，同时也需要读取或加载现有的神经网络模型。加载代码#File:model_load.pyimporttorch​#方式1->保存方式1，加载模型importtorchvisionfromtorchimportnn​model=torch.load("vgg16_method1.pth")print(model)​#方式2，加载模
小于同学饿了·2023-01-09 13:40

深度学习笔记--基于Pytorch搭建VGG16网络

目录1--VGG16网络2--代码实现3--参考1--VGG16网络具体原理参考VGG网络的原论文：VGG原论文VGG16网络结构如下图所示：VGG16网络的实现流程如下图所示：2--代码实现fromtorchimportnnimporttorchclassVgg16_net(nn.Module):def__init__(self):super(Vgg16_net,self).__init__()
憨豆的小泰迪·2023-01-09 13:35

深度学习笔记

Tensorflow中一般使用四维tensor表示一个mini_batch的图片，四个维度分别是批大小，像素行数，像素列数，通道数[batch,height,weight,channels],如tensor中的元素可以是任意内置类型，常用的为float32.Tensorflow状态操作：VariableAssigeAssignAdd神经网络相关操作：SoftMaxSigmoidReLUConvti
sky_zcan·2023-01-09 11:32

【深度学习笔记】超分辨率方向相关论文汇总【偶尔更新】

说明：除了超分领域的论文外，同时也会附加一些backbone网络或者buildingblock、去噪（Denoise）、去雾（Dehaze）、去雨（Derain）去模糊（Deblur）、修复（Restoration）等对超分领域有启发的相关领域论文！我自己是一枚科研小白，熬肝整理，希望能给大家一些帮助，如果各路大神有比较好的见解、相关资料等等，欢迎在评论区补充，多多交流！标题来源&时间方向源码状态
月满星沉·2023-01-09 08:45

吴恩达深度学习笔记 最全最详细！这一篇足够了！

为了方便学习深度学习课程，转载一个吴恩达老师的一个深度学习笔记，转载的网站是下面这个https://blog.csdn.net/red_stone1/article/details/80207815从去年
是小李呀~·2023-01-09 00:46

吴恩达深度学习工程师系列课程笔记（Deep Learning Specialization - deeplearning.ai）

深度学习笔记导航前言传送门完结感想前言选择吴恩达的深度学习视频作为入门是明智的选择，我对比过包括动手学深度学习在内的一些入门资料，感觉还是吴恩达的最为通俗易懂，虽然他在RNN那部分讲的一般，但是即使是这样
亦梦亦醒乐逍遥·2023-01-09 00:42

动手学深度学习笔记day3

线性回归线性模型线性假设是指目标（房屋价格）可以表示为特征（面积和房龄）的加权和，或其中，x,w∈损失函数回归问题中最常用的损失函数是平方误差函数。当样本i的预测值为y^(i)，其相应的真实标签为y(i)时，平方误差可以定义为以下公式：为了度量模型在整个数据集上的质量，需计算在训练集n个样本上的损失均值（也等价于求和）。在训练模型时，希望寻找一组参数（w∗,b∗），这组参数能最小化在所有训练样本上
努力学习的廖同学·2023-01-08 16:59

(六) 深度学习笔记 ｜pytorch官方demo(LeNet-5)上

一、前言前面有写过关于lenet5的博客，若对lenet5可以自行查看https://blog.csdn.net/weixin_45579930/article/details/112277024二、定义神经网络首先我们定义一个类，这个类继承nn.module父类在这个类中定义两个方法：一个是初始化函数实现搭建网络过程中网络层结构一个是在forward函数中定义正向传播的过程，按照forward进
Viviana-0·2023-01-08 15:05

深度学习笔记（二） 浅层神经网络详细实现（含代码）

简单的引入简单的神经网络示意图如下：其中的每个节点都做着和logistic回归类似的工作，只不过仅输出层计算成本每一层其实就是把前一层输入的特征向量进行预测，并把这些每个节点的预测值作为新的特征向量来传给下一层。简单来说就是把原本可以”具体”反应数据的最原始的特征向量抽象化，而每个节点都有自己的参数最后通过不断迭代，得到满意的参数正向传播首先对于单个样本，在隐藏层：当隐藏层节点数很多时，这样就显得
Vonct·2023-01-08 09:15

时序数据深度学习笔记——DNN（一）

一、深度学习当数据有多个季节周期，很可能会导致残差不是正态分布并且相关，因此无法使用SARIMAX模型，此时便可以通过深度学习利用两个季节的信息来做出预测。对于时间序列预测，一般可以创建三种类型深度学习模型:单步模型、多步模型和多输出模型。单步模式是三种模式中最简单的一种，其输入可以是任意长度，输出是一个单一的值，代表着对未来一个变量的预测。1、线性模型线性模型是深度学习中可以实现的最简单的架构，
HughYue1990·2023-01-07 18:32

DL|深度学习笔记

把自己在学习深度学习过程中搜索的各种问题记到这里。X=torch.normal(0,1,size=(2,1))意思是从均值为0，标准差为1的正态分布中抽取随机数，2行1列，“size=”可以省略不写param-=lr*param.grad/batch_size这就是梯度下降。（-=已存入内存）全连接层：是每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来Fashion-MNIST下
difizuhvovs·2023-01-07 13:12

深度学习笔记-使用tensorflow实现数字识别

使用tensorflow实现数字识别1.由于数据集为灰度图，这里实现的仅是进行简单的扁平化处理2.实验所用数据集为tensorflow自带的数据集，只需有网即可自动下载3.完整代码以及注释importmatplotlib.pyplotaspltimporttensorflowastfimportosimportnumpyasnpmnist=tf.keras.datasets.mnist(x_tra
噜啦啦噜啦啦噜啦噜啦嘞噜啦噜啦·2023-01-07 10:34

深度学习笔记018：数据增广与模型微调+Efficientnet微调+unexpected EOF, expected 309663195 more byte

数据增广数据增强可看成是一种正则项，只在训练的时候作用，在测试的时候就不进行相应的增强了数据增强可看成是一种正则项，只在训练的时候作用，在测试的时候就不进行相应的增强了数据增强可看成是一种正则项，只在训练的时候作用，在测试的时候就不进行相应的增强了数据增强的方法模型微调“微调我认为是计算机视觉深度学习中最重要的一个技术”“微调我认为是计算机视觉深度学习中最重要的一个技术”“微调我认为是计算机视觉深
FakeOccupational·2023-01-07 09:35

【深度学习笔记（二）】之Softmax分类器

本文章由公号【开发小鸽】发布！欢迎关注！！！老规矩–妹妹镇楼：一.Softmax分类器用SVM损失函数得出的只是一个个的分数，还要通过对比分数来分类。那么，如果直接输出结果为分类的概率，岂不是更好？这里，给出了softmax分类器，直接输出分类的概率。二．Sigmoid函数由于概率是在【0，1】之间，这时就需要引入sigmoid函数Sigmoid函数输入从负无穷到正无穷，输出在【0，1】之间。可以
开发小鸽·2023-01-07 09:17

吴恩达深度学习1笔记week3——浅层神经网络 One hidden layer Neural Network

吴恩达深度学习笔记week3——浅层神经网络OnehiddenlayerNeuralNetwork3.1神经网络概览NeuralNetworksOverview!
Saulty·2023-01-07 07:01

深度学习笔记：神经网络（2）

对于神经网络上一篇文章，可见：https://blog.csdn.net/Raine_Yang/article/details/128473486?spm=1001.2014.3001.5501神经网络各层信号传递的实现：对于全连接网络，连接权重的个数为（前一层神经元总数*后一次神经元总数），偏置量（即图中的1）连接权重个数为后一次神经元个数对于上图，a1的值即为：如果要计算第一层加权和，可以使用
Raine_Yang·2023-01-07 06:54

动手深度学习笔记（十三）3.6. softmax回归的从零开始实现

动手深度学习笔记（十三）3.6.softmax回归的从零开始实现3.线性神经网络3.6.softmax回归的从零开始实现3.6.1.初始化模型参数3.6.2.定义softmax操作3.6.3.定义模型3.6.4
落花逐流水·2023-01-06 11:50
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他