梯度

实验记录：模型训练时loss为INF(无穷大)

2.数值不稳定性：在某些情况下，由于数值不稳定性，梯度下降算法可能会产生非常大的梯度，从而导致损失值变得非常大。3.学习率过高：如果学习率设置得过高，梯度更新可能会变得非常大
爱编程的小金毛球球·2023-12-18 08:50

【深入pytorch】transforms.functional 梯度流动问题

实验环境：torch.__version__Out[3]:'1.12.1+cu113'首先测试一下：importtorchfromtorchvision.transformsimportfunctionalasFfromtorch.autogradimportFunctionimg=torch.randn(1,3,224,224)startpoints=torch.FloatTensor([[0.
prinTao·2023-12-18 08:19

变分自编码器（VAE）初识

它基于反向传播算法与最优化方法（如梯度下降法），AE（Auto-Encoder）的架构可以如下所示;记XXX为整个数据集的集合，xix_{i}xi是数据集中的一个样本。自编码
碧蓝的天空丶·2023-12-18 08:38

Pytorch：模型的权值初始化与损失函数

目录前期回顾一、权值初始化1.1梯度消失与梯度爆炸1.2Xavier初始化1.3Kaiming初始化1.4十种权重初始化方法二、损失函数2.1损失函数初步介绍2.2交叉熵损失CrossEntropyLossnn.CrossEntropyLoss2.3
碧蓝的天空丶·2023-12-18 08:37

权重衰减(Weight Decay)

一、权重衰减在深度学习中，模型的训练过程通常使用梯度下降法（或其变种）来最小化损失函数。梯度下降法的目标是找到损失函数的局部最小值，使得模型的预测能力最好。
奉系坤阀·2023-12-18 08:37

【机器学习】梯度下降法：从底层手写实现线性回归

【机器学习】Building-Linear-Regression-from-Scratch线性回归LinearRegression0.数据的导入与相关预处理0.工具函数1.批量梯度下降法BatchGradientDescent2
zhushatong·2023-12-18 08:22

MobileNet V2 图像分类

InvertedResiduals的解释2.3升维3.MobileNetV2网络搭建4.迁移学习分类CIFAR10数据集5.网络在CIFAR10上的表现1.MobileNetV1的不足residual残差模块的使用对网络的梯度更新很有帮助
听风吹等浪起·2023-12-18 07:53

为什么梯度是上升方向，梯度下降要取负？

方向导数简单说明方向导数，毕竟梯度与方向导数是有关系的。  
明天,今天,此时·2023-12-18 07:05

DL Homework 11

由于好多同学问我要代码，但这两天光顾着考四六级了，所以只能今天熬夜先给赶出来，第一题先搁置，晚点补上，先写第二题习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果LSTM（长短期记忆）网络通过引入门控机制
熬夜患者·2023-12-18 07:28

GBDT算法原理以及实例理解

转载自：GBDT算法原理以及实例理解（含Python代码简单实现版）-CSDN博客一、算法简介：GBDT的全称是GradientBoostingDecisionTree，梯度提升树，在传统机器学习算法中
DJ.马·2023-12-18 06:10

xgboost机器学习算法通俗理解

本算法是GBDT的一种可以通过两个生活中的例子来了解xgboost其思想：XGBoost（eXtremeGradientBoosting）是一种基于梯度提升决策树（GradientBoostingDecisionTree
DJ.马·2023-12-18 06:39

梯度下降实战（优化）

批量梯度下降(BGD)导入包importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.metricsimportmean_squared_error#
阿龙的代码在报错·2023-12-18 01:17

BGD 实战

梯度下降方法2.1、三种梯度下降不同梯度下降分三类：批量梯度下降BGD（BatchGradientDescent）、小批量梯度下降MBGD（Mini-BatchGradientDescent）、随机梯度下降
阿龙的代码在报错·2023-12-18 01:16

机器学习--归一化处理

归一化归一化的目的归一化的一个目的是，使得梯度下降在不同维度θ\thetaθ参数（不同数量级）上，可以步调一致协同的进行梯度下降。
阿龙的代码在报错·2023-12-18 01:40

深度学习基础篇之Batch_Size

整个数据集训练的话，损失肯定是最稳定的，但是数据太大时内存显存大小无法满足要求，计算得到的梯度差别较大，无法找到一个全局的学习率满足所有的梯度的变化3.如何选取batch_size？
qq_45692660·2023-12-18 00:59

深度学习基础篇之标准化与归一化

加快网络的收敛，避免出现梯度弥散2.归一化与标准化的区别？同：都是一种线性变化，都是按照比例在进行缩放与偏移不同：归一化是将数据归一化到[-1,1]或者[0,1]的分布，由变量的极值决定其缩放。
qq_45692660·2023-12-18 00:59

为什么每次optimizer.zero_grad()

2计算梯度（反向传播）：损失函数对网络参数的梯度（即导数）是通过一个称为反向传播的过程计算出来的。这个过程从损失函数开始，向后通过网络传播，直到达到输入层，计算每个参数对损失的贡献。
Code_LiShi·2023-12-17 21:03

癌症诊断机器学习之梯度提升算法（Gradient Boosting)

前言梯度提升机是一个强大的机器学习技术家族，在广泛的实际应用中显示了相当大的成功。它们可以根据应用程序的特定需求进行高度定制，就像学习不同的损失函数一样。
90066456ace6·2023-12-17 15:24

强化学习（三）-策略梯度优化policy Gradient

直接优化策略梯度而不是优化Q函数来指导agent做决策1基本概率策略policy:π(a∣s)\pi(a|s)π(a∣s)状态价值函数Vπ(st)=EA[Qπ(st,A)]V_\pi(s_t)=E_A[
晚点吧·2023-12-17 08:36

53从 0 到 1 实现卷积神经网络--实现卷积神经网络

实现卷积神经网络梯度检验前面两个实验实现交叉熵损失函数、激活函数、线性层时，都是直接对其函数进行求导，在数学上称之为解析梯度Analyticgradient，而在数学上梯度的真正定义是:image.png
Jachin111·2023-12-17 07:57

Pytorch当中的.detach()操作是什么意思

当我们在PyTorch中进行张量运算时，操作会构建一个计算图来跟踪计算历史，这个计算图用于自动求导和反向传播来计算梯度。
BugMaker2002·2023-12-17 07:18

pytorch transpose 转置和梯度的传播

今天写代码的时候遇到一个需要进行转置的矩阵，由于涉及到梯度反传，所以有疑问转置之后的矩阵在转置之前的梯度是否存在，经过验证，转置不影响梯度的传播importtorchx=torch.ones(2,2,requires_grad
江_小_白·2023-12-17 07:18

成都市STEM教育方案的设计实施评选活动观摩反思

而川大附小的方案则是4个子项目的有机结合，达成了分段分层，梯度体系。实现了项目之间的递进和拓展。而
Echo_c7ad·2023-12-17 07:48

浅谈统编小学语文教科书普通单元中语文要素的梯度落实

许昌市毓秀路路小学张晓凯老师课例《红楼春趣》许昌市光明路小学李丛梅浅谈统编小学语文教科书普通单元中语文要素的梯度落实。下期预告。
果园里的耕作者·2023-12-17 03:43

GEE机器学习——利用梯度决策树Gradient Tree Boost 方法（GBDT/GBRT）进行土地分类和精度测试

GradientTreeBoost方法的具体介绍梯度提升树（GradientTreeBoost）是一种集成学习方法，通过串行训练多个决策树来解决回归和分类问题。
此星光明·2023-12-16 18:45

【ITK库学习】使用itk库进行图像滤波ImageFilter：保留边缘平滑滤波

目录1、itkGradientAnisotropicDiffusionImageFilter梯度各向异性扩散2、itkCurvatureAnisotropicDiffusionImageFilter曲率各向异性扩散
leafpipi·2023-12-16 16:09

机器学习笔记 - 了解学习率对神经网络性能的影响

一、简述深度学习神经网络使用随机梯度下降优化算法进行训练。学习率是一个超参数，它控制每次更新模型权重时响应估计误差而改变模型的程度。
坐望云起·2023-12-16 14:33

工信部印发《中小企业数字化水平评测指标（2022年版）》，助力企业高质量发展

评测结果将作为《优质中小企业梯度培育管理暂行办法》“专精特新中小企业认定标准”第5个评价指标“数字化水平”的评价依据。《评测指标》根据行业特点，分为制造业数字化水平评测表、生产性
CServer_01·2023-12-16 14:24

前（反）向传播，梯度消失和爆炸，batch normalization

反向传播是一种在神经网络中计算参数梯度的方法，它是深度学习中的基础算法。
hadiii·2023-12-16 11:50

张量，梯度，链式法则的基本概念

张量的基本概念张量是一种多维数组，支持在GPU上进行计算，是计算图中的节点，并且支持自动微分。张量的广播机制在进行运算时，如果两个张量在某个维度上的形状不匹配，那么系统会自动地在这个维度上扩展形状较小的张量，使得两个张量在这个维度上具有相同的形状。广播机制的例子a=torch.arange(3).reshape((3,1))b=torch.arange(2).reshape((1,2))print
hadiii·2023-12-16 11:20

图像各类评价指标合集--（针对LLIE任务）

2.1均值2.2标准差（StandardDeviation，SD）2.3信息熵（InformationEntropy，IE）2.4熵增强（Extendedmaximumentropy，EME）2.5平均梯度
Vaeeeeeee·2023-12-16 09:48

【深度学习】机器学习概述（二）优化算法之梯度下降法（批量BGD、随机SGD、小批量）

文章目录一、基本概念二、机器学习的三要素1.模型a.线性模型b.非线性模型2.学习准则a.损失函数b.风险最小化准则3.优化机器学习问题转化成为一个最优化问题a.参数与超参数b.梯度下降法梯度下降法的迭代公式具体的参数更新公式学习率的选择
QomolangmaH·2023-12-16 08:10

CSPNet: A New Backbone that can Enhance Learning Capability of CNN（2019）

Abstract1Introduction2Relatedworkformerwork3Method3.1CrossStagePartialNetwork3.2ExactFusionModel4Experiments5Conclusion原文链接源代码-梯度信息重用
怎么全是重名·2023-12-16 08:33

Java代写：MIE250 Gradient-based Polynomial Minimizer代做留学生Java语言

代写一个Java程序，可以自动计算给定数据的梯度最小值。
zangjixie·2023-12-16 03:58

十三 动手学深度学习v2计算机视觉 ——语义分割

文章目录分割图像分割语义分割实例分割分割图像分割指的是使用边界、色彩梯度等特征对图像进行划分，但只能是进行划分，算法并不对划分出的部分有语义上的理解；而随着计算能力提高以及卷积神经网络的发展，能够理解分割后图像语义的算法逐渐出现
王二小、·2023-12-15 23:13

斯坦福机器学习 Lecture12 （反向传播算法详细推导过程，如何提高神经网络性能（主要是激活函数的选择，还有输入数据归一化，权重矩阵初始化方法， 小批次梯度下降法，动量算法 ））

反向传播算法详细推导过程如图，是反向传播算法中的一些基本公式。我们的目的就是更新权重矩阵利用部分公式，如下：计算之后，lossfunction针对w3矩阵的导数如下：如何提高神经网络性能通常使用简单的神经网络并不会得到好结果，我们需要提升它1.选用合适的激活函数（尝试不同的激活函数）如图，是sigmoid和ReLU激活函数如图tanh激活函数sigmoid优点：用于分类(值域在(0,1))缺点：位
shimly123456·2023-12-15 22:36

4.PyTorch——优化器

下面就以最基本的优化方法——随机梯度下降法（SGD）举例说明。这里需重点掌握：优化方法的基本使用方法
沉住气CD·2023-12-15 20:27

深度学习 Day11——T11优化器对比实验

.导入数据4.查看数据5.加载数据6.再次检查数据7.配置数据集8.可视化数据9.构建CNN网络模型10.编译模型11.训练模型12.模型评估三、知识点详解1.加载预训练的VGG16模型2优化器2.1梯度下降法
LittleRuby·2023-12-15 20:56

子类继承 nn.Sequential 和继承 nn.Module 的异同点

但它们在使用方式和设计理念上有一些区别下面是它们的异同点：同：都可以用于定义神经网络模型，并通过重写forward()方法来定义模型的前向传播过程都是PyTorch中的模型类，可以利用自动求导机制进行反向传播和梯度更新异
Kelly_Ai_Bai·2023-12-15 20:25

机器学习算法应用场景与评价指标

常用的算法包括逻辑回归、支持向量机、朴素贝叶斯、随机森林、梯度提升机等。2.多元分类问题当你的
数据科学知识库·2023-12-15 18:18

算法……到底是干啥的？（摘自牛客网）

平常就是看论文技术分享接项目给方案跑模型部署到终端清洗数据打比赛写论文写专利面试一般问对应岗位方向前沿的算法paper2.面试问项目问论文，问深度学习和机器学习相关八股，比如transfomer、Bert、gpt、过拟合欠拟合、数据不平衡、梯度消失梯度爆炸
芒果香菠菠·2023-12-15 17:36

pytorch之优化器、学习率函数学习

大多数常用的方法都已经支持，并且接口足够通用，因此将来也可以轻松集成更复杂的方法1、如何使用优化器要使用，torch.optim您必须构造一个优化器对象，该对象将保存当前状态并根据计算的梯度更新参数。
qq_41627642·2023-12-15 17:33

使用 PyTorch FSDP 微调 Llama 2 70B

完全分片数据并行(FullyShardedDataParallelism，FSDP)是一种训练范式，在该范式中优化器状态、梯度和模型参数都会被跨设备分片
Python算法实战·2023-12-15 13:46

使用 PyTorch FSDP 微调 Llama 2 70B

完全分片数据并行(FullyShardedDataParallelism，FSDP)是一种训练范式，在该范式中优化器状态、梯度和模型参数都会被跨设备
Hugging Face·2023-12-15 12:35

机器学习笔记：linear scaling learning rate （学习率 和batch size的关系）

batchsize训练的模型与小batchsize训练的模型相比，验证准确率会减小——>提出了linearscalinglearningrate在mini-batchSGD训练时，增大batchsize不会改变梯度的期望
UQI-LIUWJ·2023-12-15 12:59

亿赛通电子文档安全管理系统 SQL注入漏洞复现

防止内部员工泄密和外部人员非法窃取企业核心重要数据资产，对电子文档进行全生命周期防护，系统具有透明加密、主动加密、智能加密等多种加密方式，用户可根据部门涉密程度的不同（如核心部门和普通部门），部署力度轻重不一的梯度式文档加密防护
OidBoy_G·2023-12-15 06:21

LSTM和GRU的介绍以及Pytorch源码解析

上次上一篇文章介绍了RNN序列模型，但是RNN模型存在比较严重的梯度爆炸和梯度消失问题。本文介绍的LSTM模型解决的RNN的大部分缺陷。
有梦的人心态要好·2023-12-15 05:36

权威认证！景联文科技入选杭州市2023年第二批省级“专精特新”中小企业认定名单

根据工业和信息化部《优质中小企业梯度培育管理暂行办法》（工信部企业〔2022〕63号）和《浙江省经济和信息化厅关于印发浙江省优质中小企业梯度培育管理实施细则（暂行）的通知》（浙经信企业〔2022〕197
景联文科技·2023-12-15 02:47

12-07 周四 Pytorch 使用Visdom 进行可视化

简介 在完成了龙良曲的Pytroch视频课程之后，楼主对于pytroch有了进一步的理解，比如，比之前更加深刻的了解了BP神经网络的反向传播算法，梯度、损失、优化器这些名词更加熟悉。
思影影思·2023-12-15 01:15

【深度学习】重要概念

反向传播：指的是计算神经网络参数梯度的方法。简言之，该方法
盛世隐者·2023-12-14 22:59
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他