Optimizer

深度学习中的LR_Scheduler

写一个例子，以防后面每次用到都忘记classLR_Scheduler(object):def__init__(self,optimizer,warmup_epochs,warmup_lr,num_epochs
xjtuwfj·2022-12-07 07:57

Pytorch 常见报错 RuntimeError: Trying to backward through the graph a second time

butthebuffershavealreadybeenfreed.model=RNN()hn=torch.zeros(1,seq_len,hidden_num)epochs=250clip_value=100loss=nn.CrossEntropyLoss()optimizer
IT说·2022-12-06 23:14

mysql各版本的默认的存储引擎_Mysql常见的几种存储引擎

有一下几部分组成ConnectionPool:连接池组件ManagementServices&Utilities:管理服务和工具组件SQLInterface:SQL接口组件Parser:查询分析器组件Optimizer
里斯本看灯塔·2022-12-06 22:59

[mxnet]核心接口（一）

mxnet的核心接口接口功效Context指定运行设备NDArraypython与C++交互数据对象DataIter为训练提供batch数据Symbol定义网络LRScheduler定义学习率衰减策略Optimizer
panbaoran913·2022-12-06 22:17

单目标优化：蜣螂优化算法（Dung beetle optimizer，DBO）求解CEC2017（2017 IEEE Conference on Evolutionary Computation）

蜣螂优化算法（Dungbeetleoptimizer，DBO）由JiankaiXue和BoShen于2022年提出，该算法主要受蜣螂的滚球、跳舞、觅食、偷窃和繁殖行为的启发所得。
IT猿手·2022-12-06 19:08

单目标应用：求解多旅行商问题（Multiple Traveling Salesman Problem, MTSP）的蜣螂优化算法（Dung beetle optimizer，DBO）

蜣螂优化算法（Dungbeetleoptimizer，DBO）由JiankaiXue和BoShen于2022年提出，该算法主要受蜣螂的滚球、跳舞、觅食、偷窃和繁殖行为的启发所得。
IT猿手·2022-12-06 19:08

单目标优化：蜣螂优化算法（Dung beetle optimizer，DBO）

蜣螂优化算法（Dungbeetleoptimizer，DBO）由JiankaiXue和BoShen于2022年提出，该算法主要受蜣螂的滚球、跳舞、觅食、偷窃和繁殖行为的启发所得。
IT猿手·2022-12-06 18:38

智能优化算法（源码）—蜣螂优化算法（Dung beetle optimizer，DBO）

文章目录启发数学模型滚球跳舞繁殖觅食偷窃伪代码2022年11月27日，东华大学沈波教授团队，继麻雀搜索算法之后，又提出了一种全新的群体智能优化算法——蜣螂优化（Dungbeetleoptimizer，DBO
松间沙路hba·2022-12-06 18:05

pytorch里optimizer作用、自动求导autograd，from_numpy、numpy()等函数声明变量时候的浅拷贝、显卡内存 out of memory

1、其中optimizer的作用，其主要起到的作用就是进行权重的更新，如下：net=models.resnet50(pretrained=False)learning_rate=0.01#权重更新如果使用自带的
yangdeshun888·2022-12-06 15:03

安装apex发现失败，检查cuda，报错‘nvcc‘不是内部或外部命令，也不是可运行的程序：安装cuda和cudnn

使用Pytorch实现：fromapeximportampmodel,optimizer=amp.initialize(model,optimizer,opt_level
Sjmanman·2022-12-06 10:36

Matlab群体智能优化算法之大鲹鱼优化算法(GTO)

GiantTrevallyOptimizer:ANovelMetaheuristicAlgorithmforGlobalOptimizationandChallenging一、灵感来源二、算法的初始化三
勉为其难免免·2022-12-06 08:44

Apollo规划模块：EM planner算法原理解析（EM论文研读）

：三、算法流程1、多车道策略的EM规划器框架2、车道级EM规划器框架3、SL和ST投影（E-step）3、M-StepDPPath4、M-StepSplineQPpath5、M-StepDPSpeedOptimizer6
执着且专注·2022-12-05 23:52

Baidu Apollo代码解析之EM Planner中的QP Path Optimizer 3

大家好，我已经把CSDN上的博客迁移到了知乎上，欢迎大家在知乎关注我的专栏慢慢悠悠小马车（https://zhuanlan.zhihu.com/duangduangduang）。希望大家可以多多交流，互相学习。本节主要分析optimization中的kernel，即要优化的目标，其实就是costfunction，整体以的形式呈现，由很多部分组成。在EMPlanner的论文中，主要有4部分，如下式。
linxigjs·2022-12-05 23:19

Apollo 6.0 QP（二次规划）算法解析

这篇文章主要详细地解读一下Apollo6.0中的piecewisejerkpathoptimizer这个task。
肥嘟嘟的左卫门·2022-12-05 23:16

Pytorch学习笔记（二）---- 神经网络搭建

记录如何用Pytorch搭建LeNet-5，大体步骤包括：网络的搭建->前向传播->定义Loss和Optimizer->训练#-*-coding:utf-8-*-#Allcodesandcommentsfrom
weixin_30731287·2022-12-05 18:50

【error】最全tensorflow没有‘global_variables_initializer‘、‘Session‘、‘concrib’，2.0版本排错问题

_api.v2.train’hasnoattribute‘AdamOptimizer’RuntimeError:T
qq_43520842·2022-12-05 16:06

【pytorch】torch.optim

步骤构建一个optimizer对象。这个对象能够保持当前参数状态并基于计算得到的梯度进行参数更新。给它一个包含了需要优化的参数（必须都是Variable对象）的iterable。
陌上骑驴Yiping_Chen·2022-12-04 23:32

python中module ‘keras.optimizers‘ has no attribute ‘Adam‘错误

版本问题从optimizers.py文件中可以看出，应该把keras.optimizers.Adam改成keras.optimizers.adam_v2.Adam
qq_821852343·2022-12-04 23:59

Pytorch基础知识

model.parameters()与model.state_dict()的区别pytorch中优化器optimizer.param_groups
木非木子非子·2022-12-04 22:15

完美解决一切python报错Cannot find reference ‘xxx‘ in ‘xxxxx‘，详细步骤

python报错Cannotfindreference‘xxx’in‘xxxxx’，详细步骤今天开始正式开始学习代码，结果，好家伙，一上来就报错Cannotfindreference‘adam’in‘optimizers.py
猫头丁·2022-12-04 21:05

Pytorch学习笔记（三）

目录nn_loss.pynn_loss_network.pynn_optimizer.pynn_loss.py#损失函数和反向传播#计算实际输出与目标之间的差距；为我们更新输出提供一定的依据（反向传播）
Hygge0+·2022-12-04 16:00

神经网络训练过程中保存参数与加载参数

模型参数的保存：#模型参数保存，model是网络模型，optimizer是优化器state={'model':model.state_dict(),'optimizer':optimizer.state_dict
北山杉林·2022-12-04 15:59

pytorch入门 之 自动求导机制（autograd）

记得每一次迭代后都要将梯度清零optimizer.zero_grad()1、反向传播波计算z.backward(retain_graph=True)#如果不清空,b.grad梯度会累加起来w.gradb.grad2
Being me·2022-12-04 02:08

tensorflow训练神经网络时出现loss一直为nan的情况

注意：keras中调整学习率时，在model.compile中设置：optimizer=tf.keras.optimizers.Adam(lr=0)，实现将学习率
xiaoxixi！·2022-12-03 15:36

高光谱图像分类论文复现--HybridSNNet

Exploring3D-2DCNNFeatureHierarchyforHyperspectralImageClassification复现效果：IndianPinestrain_size=0.11024个训练样本optimizer
一条小白鱼·2022-12-03 15:34

tensorflow中的常用函数与API 2

tensorflow中的常用函数与API21.学习率策略指数衰减TensorFlowAPI：tf.keras.optimizers.schedules.ExponentialDecay指数衰减学习率=初始学习率
如魔·2022-12-03 13:34

importError: cannot import name ‘SGD‘ from ‘keras.optimizers‘

problem:ImportError:cannotimportname'SGD'from'keras.optimizers'(/home/tux/conda/envs/huh/lib/python3.9
狗庄欺人太甚·2022-12-03 12:58

module ‘tensorflow.compat.v2.__internal__‘ has no attribute ‘register_clear_session_function‘ 解决方法

fromkeras.modelsimportSequentialfromkeras.layers.coreimportDense,Dropout,Activationfromkeras.optimizersimportSGD
SkyeCat·2022-12-03 08:20

【PyTorch】8 语言翻译Torchtext实战——英语和德语翻译、Attention模型、 Pytorch 1.8 安装

torchtext语言翻译1.数据处理2.DataLoader3.定义nn.Module和Optimizer4.训练4.1Pytorch1.8安装4.2训练网络5.测试模型6.全部代码小结这是官方文本篇的一个教程
Yang SiCheng·2022-12-03 07:33

pytorch使用笔记|torch.optim模块简介（内含optimizer和lr_schedular）

本文介绍一下这个包下面的一些常见内容，如optimizer和lr_scheduler的构造和使用。optimizeroptimizer用于根据已得到的梯度来更新网络参数。
yanghaoplus·2022-12-03 04:57

【Pytorch学习笔记】Optimizer梯度下降_参数组创建示例

文章目录一、代码示例分步1.引入库2.生成随机矩阵3.一个参数组4.两个参数组二、完整示例代码如下总结提示：以下是本篇文章正文内容，下面案例可供参考一、代码示例分步1.引入库代码如下（示例）：#coding:utf-8importtorchimporttorch.optimasoptim2.生成随机矩阵代码如下（示例）：w1=torch.randn(2,2)w1.requires_grad=Tru
秋天的波·2022-12-03 04:48

python—搭建多层感知机MLP

搭建多层感知机MLP###fromkeras.modelsimportSequentialfromkears.layers.coreimportDense,Dropout,Activationfromkears.optimizersimportSGD
Y_ni·2022-12-03 01:19

loss.data[0] 报错invalid index of a 0-dim tensor. Use `tensor.item()` in Python or `tensor.item＜T＞()`

刚开始学pytorch源码foreinrange(1000):out=logistic_regression(Variable(x))loss=criterion(out,Variable(y))optimizer.zero_grad
will599·2022-12-02 23:25

pytorch loss.backward() 报错RuntimeError: select(): index 0 out of range for tensor of size [0, 1]解决方法

基本代码结构如下G=Generator(3,3,32,norm='bn').apply(weights_init)D=MS_Discriminator(input_nc=6).apply(weights_init)optimizer_G
qq_45475106·2022-12-02 23:21

常见优化器方法梳理

optimzer是在机器学习算法中的核心部分，针对常见的optimizer的具体实现原理和公式进行深入了解后，可以对使用模型训练过程中的问题分析有明显的帮助。
zhang371312·2022-12-02 17:17

优化器optimizer，BGD、SGD、MBGD、NAG、AdaGrad、Adadelta、RMSProp、Adam

优化器根据优化点不一样可分为三类：基本的梯度下降法包括：批量梯度下降法BGD、随机梯度下降法SGD、小批量梯度下降法MBGD（SGD）动量优化法包括：标准动量优化法Momentum，牛顿加速度动量优化法NAG自适应学习率优化法包括：AdaGrad、Adadelta、RMSProp、Adam算法可以理解为下山过程中，选择什么方向（梯度），以速度快慢（动量），什么大小的步幅下山（学习率），才会最快达到
zhaosuyuan·2022-12-02 17:17

【深度学习】常用优化器总结

【深度学习】常用优化器总结-Flix-博客园在训练模型时，我们可以基于梯度使用不同的优化器（optimizer，或者称为“优化算法”）来最小化损失函数。这篇文章对常用的优化器进行了总结。
浮云向晚·2022-12-02 17:46

每日一问06——常用的优化器（Optimizer）有哪些？该如何选择？

每日一问06Question：常用的优化器（Optimizer）有哪些？该如何选择？优化器如何选择？对于稀疏数据，尽量选用学习率可自适应的算法，比用手动调节，而且最好采用默认参数。
白羊by·2022-12-02 17:46

Repoptimizer论文理解与代码分析

论文链接：Re-parameterizingYourOptimizersratherthanArchitecturesIntroductionRepopt提出将模型结构的先验信息直接用于修改梯度数值，其称为梯度重参数化
小小小绿叶·2022-12-02 16:15

Keras实现简单的Convolution1D

fromkeras.modelsimportSequentialfromkeras.layersimportConvolution1D,Activation,Dense,Flattenfromkerasimportoptimizersimportnumpyasnpimportpandasaspd
狼图腾1023·2022-12-02 11:51

Keras实现Convolution1D的函数形式

fromkeras.layersimportConvolution1D,Dense,Flatten,Activation,Inputfromkeras.modelsimportModelfromkerasimportoptimizersimportnumpyasnpimportpandasaspd
狼图腾1023·2022-12-02 11:51

【OpenCV+OPENVINO使用】opencv+openvino 使用自己的模型推理实战(基于C++）

OpenCV+OPENVINO使用】openvino安装教程IR模型，这个需要openvino的模型转换，获得model.bin文件和model.xml文件，可以利用openvino的GitHub中model-optimizer
幻世至上·2022-12-02 10:16

Pytorch中optimizer类初始化传入参数分析（分析源码）

今天在跟随沐神的课看见了以前没见过SGD参数传入方式（才学没多久，见识浅陋）：trainer=torch.optim.SGD([{'params':params_1x},{'params':net.fc.parameters(),'lr':learning_rate*10}],lr=learning_rate,weight_decay=0.001)传入了一个列表中包含了两个字典，作用是为了做到在最
小廖磨洋工·2022-12-02 06:27

解决“No module named ‘tensorflow.keras...”

原因缺少这个包2.解决首先找到tensorflow下面的keras所在位置找到自己所要导入的包，查看位置然后你就根据路径改一下代码：fromtensorflow.contrib.keras.api.keras.optimizersimport
云游四海 Jin·2022-12-02 01:12

tf.control_dependencies() and tf.while_loop()

opt=tf.train.Optimizer().minize(loss)withtf.control_dependencies([opt]):updated_weight=tf.identity(weight
DragonBallSuper·2022-12-01 19:40

pytorch.optimizer 优化算法

/details/69942970https://zhuanlan.zhihu.com/p/32626442https://zhuanlan.zhihu.com/p/32230623文章目录1.优化器optimizer1.1step
东东就是我·2022-12-01 18:09

tensorflow.python.framework.errors_impl.InvalidArgumentError: assertion failed

项目场景：tensorflow，使用sparse_categorical_crossentropy损失函数报错原因问题描述：fromkerasimportoptimizersoptimizer=optimizers.rmsprop_v2
晨风入晚林·2022-12-01 17:25

【pytorch加载模型错误】Unexpected key(s) in state_dict: “epoch“, “arch“, “state_dict“, “optimizer“, “args“

model.load_state_dict({k.replace('module.',''):vfork,vinstate_dict.items()})方案2.训练好的模型文件好像字典键值有很多个，如optimizer
AI界扛把子·2022-12-01 16:49

pytorch：model.zero_grad()和optimizer.zero_grad()、net.parameters()、requires_grad

当optimizer=optim.Optimizer(net.parameters())时，二者等效。其中Optimizer可以是Adam、SGD等优化器。
开心邮递员·2022-12-01 15:50

pytorch冻结网络参数，requires_grad与optimizer顺序的关系

问题说明：pytorch迁移学习时，需要对某些层冻结参数，不参与方向传播，具体实现是将要冻结的参数的requires_grad属性置为false，然后在优化器初始化时将参数组进行筛选，只加入requires_grad为True的参数，代码示例如下：cnn=CNN()#构建网络forn,pincnn.named_parameters():print(n,p.requires_grad)ifn=="c
村民的菜篮子·2022-12-01 14:18
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他