optimizer

迁移学习--冻结模型

blog.csdn.net/qq_34351621/article/details/79967463如果载入的这些参数中，有些参数不要求被更新，即固定不变，不参与训练，需要手动设置这些参数的梯度属性为Fasle，并且在optimizer
酱紫，·2022-12-13 01:03

[源码解析] 深度学习分布式训练框架 horovod (21) --- 之如何恢复训练

horovod(21)—之如何恢复训练文章目录[源码解析]深度学习分布式训练框架horovod(21)---之如何恢复训练0x00摘要0x01总论0x02Sampler2.1PyTorchDistributedOptimizer2.1.1
罗西的思考·2022-12-12 18:53

机器学习的Tricks:随机权值平均（Stochastic Weight Averaging，SWA）

很有可能得到一个更低损失的全局化的通用解此trick不牺牲inferencelatencyhttps://arxiv.org/pdf/1803.05407.pdftorch中lrscheduler设置如下：optimizer
zhaosuyuan·2022-12-12 15:46

随机权值平均优化器SWA(Stochastic Weight Averaging)简介

SWAisasimpleprocedurethatimprovesgeneralizationindeeplearningoverStochasticGradientDescent(SGD)atnoadditionalcost,andcanbeusedasadrop-inreplacementforanyotheroptimizerinPyTorch.SWAhasawiderangeofappli
Gallant Hu·2022-12-12 15:43

Apollo Planning决策规划算法代码详细解析 (16):SPEED_HEURISTIC_OPTIMIZER 速度动态规划中

一、概述SPEED_HEURISTIC_OPTIMIZER是lanefollow场景下，所调用的第12个task，属于task中的optimizer类别，它的作用主要是：apollo中使用动态规划的思路来进行速度规划
自动驾驶Player·2022-12-12 15:01

DHU DeepLearning & Practice_在使用预训练模型提取特征时遇到的问题

文章目录使用的库列表问题1：cannotimportname'VGG16'from'keras.applications'问题2：module'keras.optimizers'hasnoattribute'SGD
鱼犬·2022-12-12 13:09

【Pytorch神经网络】训练过程

文章目录单次训练过程循环训练单次训练过程network=Network()train_loader=torch.utils.data.DataLoader(train_set,batch_size=100)optimizer
CodeSlogan·2022-12-12 12:20

pytorch的model.parameters

pytorch的model.parameters()的参数指模型中可训练的参数，激活函数、maxpool等是没有训练参数的，如果需固定一些参数不需要，给对应optimizer添加参数的时候需要注意。
dandingkaer2·2022-12-12 09:44

多分类问题（softmax函数）pytorch

步骤：#1.preparedataset#2.designmodelusingClass#3.Constructlossandoptimizer#4.Trainingcycle+Test1.preparedataset
编程被我拿捏住了·2022-12-12 09:05

深度学习框架OneFlow是如何和ONNX交互的？

如果你对ONNX不是很了解介意先阅读我之前写的这几篇介绍ONNX文章：ONNX初探ONNX再探onnx2pytorch和onnx-simplifier新版介绍以及大老师的：onnxsimplifier和optimizer
just_sort·2022-12-12 07:06

Tensorrt使用入门（环境搭建与C++ API调用）

isanSDKforoptimizingtraineddeeplearningmodelstoenablehigh-performanceinference.TensorRTcontainsadeeplearninginferenceoptimizerfortraineddee
圣颖君·2022-12-12 04:45

PyTorch深度学习实践 第五讲---实现线性回归

包括预处理）：preparedataset模型设计：designmodelusingClass#目的是为了前向传播forward，即计算yhat(预测值)构造损失函数和优化器：Constructlossandoptimizer
Vinsada·2022-12-11 22:48

PyTorch中Warm Up学习率不使用就不要定义否则影响学习率一直为0

踩坑描述：如果定义了warmUp学习率的衰减方式如下，ifargs.decay_type=="cosine":scheduler=WarmupCosineSchedule(optimizer,warmup_steps
xtphysics·2022-12-11 16:26

实现权重衰减和学习率预热

1.实现L2正则化接口，对模型中的所有参数进行L2正则处理防止过拟合，包括权重w和偏置boptimizer_param=list(model.named_parameters())#named_parameters
Obolicaca·2022-12-11 16:53

【深度学习】（三）用pytorch实现线性回归

目录用pytorch实现线性回归1、实现流程：1、准备数据集2、设计使用类的模型3、构造loss、optimizer4、循环训练2、用pytorch实现线性回归模板3、练习用pytorch实现线性回归回顾线性模型
Queen_sy·2022-12-11 15:18

【人工智能】神经网络八股

使用八股搭建神经网络目录使用八股搭建神经网络六步法搭建网络(1)tf.keras.models.Sequential(2)model.compileOptimizer可选loss可选Metrics可选(
萌狼蓝天·2022-12-11 14:30

【Tensorflow学习三】神经网络搭建八股“六步法”编写手写数字识别训练模型

神经网络搭建八股“六步法”编写手写数字识别训练模型Sequential用法model.compile(optimizer=优化器,loss=损失函数,metrics=["准确率"])model.fitmodel.summery
Chen的博客·2022-12-11 14:57

pytorch中的Optimizer的灵活运用

以下针对不同的应用场景需要对optimizer的使用进行总结。1.多个神经网络联合训练应用场景（1）Autoencoder网络分为encoder与decoder两部分组成，中间加入了AWGN噪声。首
special_hang·2022-12-11 11:22

【深度学习】Pytorch下直接更新Optimizer的学习率

【深度学习】Pytorch下直接更新Optimizer的学习率一般而言我们更新优化器的学习率可以通过Scheduler，但其实也可直接针对Optimizer对象修改学习率首先我们定义一个优化器importtorch.optimizerasoptimoptimizer
卡瓦博格-·2022-12-11 11:20

pytorch中optimizer为不同参数设置不同的学习率

在pytorch中已经实现了一些常见的优化器，例如Adam、SGD、Adagrad、RMsprop等，但是有些任务中我们需要设定不同的学习策略，例如给模型的不同参数设置不同的学习率。classLinear(nn.Module):def__init__(self):super().__init__()self.w1=nn.Parameter(torch.randn(3,4))self.b1=nn.P
咕 嘟·2022-12-11 11:47

keras的model.compile()的参数

model.compile(optimizer,loss=None,metrics=None,loss_weights=None,sample_weight_mode=None,weighted_metrics
xiaotian127·2022-12-11 02:59

tensorflow2.0 损失函数

在tensorflow2.0中，使用模块model.compile时，需要选择损失函数，例如：model.compile(optimizer=‘Adam’,loss=‘sparse_categorical_crossentropy
sinat_38819901·2022-12-11 02:57

Keras Model模型方法

Model模型方法compilecompile(self,optimizer,loss,metrics=None,loss_weights=None,sample_weight_mode=None,weighted_metrics
qq_41007606·2022-12-11 01:55

tensorflow中model.compile()

model.compile()用来配置模型的优化器、损失函数，评估指标等里面的具体参数有：compile(optimizer='rmsprop',loss=None,metrics=None,loss_weights
X1996_·2022-12-11 01:51

keras中model.compile参数汇总

model.compile(loss=,optimizer=,metrics=)1.loss="="等于号后面可以加上函数，也可以使用函数代号，两种方式都可以，注意，如果是自定义的损失函数，需要特殊处理才能使用代号
chaojishuai123·2022-12-11 01:51

model.compile中metrics的参数accuracy

知乎大佬链接model.compile(optimizer=tf.keras.optimizers.Adam(0.01),loss=tf.keras.losses.SparseCategoricalCrossentropy
甲壳虫奇袭电脑城·2022-12-11 01:20

model.compile()：配置模型(优化器, 损失函数, 准确率)

model.compile()语法：形式1model.compile(optimizer=tf.keras.optimizers.优化器(参数)，loss=tf.keras.losses.损失函数(参数
方如一·2022-12-11 01:50

model.compile()函数

model.compile()函数model.compile(optimizer=Adam(lr=1e-4),loss=’binary_crossentropy’,metrics=[‘accuracy’
&~&·2022-12-11 01:50

model.compile()函数配置(优化器, 损失函数, 准确率)

2.model.compile()语法形式1：model.compile(optimizer=tf.keras.opti
Kola_Abner·2022-12-11 01:19

torch 保存模型

保存state={'net':model.state_dict(),'optimizer':optimizer.state_dict(),'epoch':epoch}torch.save(state,'
我想静静，·2022-12-10 23:57

MindSpore-AttributeError: module ‘mindspore‘ has no attribute ‘value_and_grad‘

ms.value_and_grad和ops.value_and_grad都没有请问如下代码该怎么替换#Getgradientfunctiongrad_fn=ms.value_and_grad(forward_fn,None,optimizer.parameters
小乐快乐·2022-12-10 23:55

EGO Planner代码解析bspline_optimizer部分(3)

1、intBsplineOptimizer::earlyExit(void*func_data,constdouble*x,constdouble*g,constdoublefx,constdoublexnorm
X uuuer.·2022-12-10 18:19

Paddle平台中搭建CNN模型，在训练模型中采用tensor类型

网络组建完毕之后，开始进行模型训练print(train_parameters['class_dim'])print(train_parameters['label_dict'])model=CNN()optimizer
代码又崩了？！·2022-12-10 11:53

Keras 手写数字辨识

Keras手写数字辨识库文件：fromkerasimportlayersfromkerasimportInputfromkerasimportModelfromkerasimportoptimizersimportnumpyasnpimportmatplotlib.pyplotasplt
一夜星尘·2022-12-10 08:08

2D_Detection-超参

超参date:2021-10-0411:02:51.000000000+09:00categories:[算法篇]tags:[CV,综述]mathjax:true前言详细介绍learningrate策略optimizerpostive
sunny0660·2022-12-09 18:06

深度学习（三）：优化器

Optimizers是在网络训练时，对网络权重进行更新，使得模型最优化loss，现阶段主流的深度学习优化器是基于梯度的优化方法，代表有：SGD，Momentum，AdaGr
大家都要开心·2022-12-09 16:07

Apollo planning之PiecewiseJerkPathOptimizer

目录1分段加加速度路径优化概览1.1输入，输出代码1.2论文摘要2优化过程的详细数学理论2.1SmoothDrivingGuideLineGeneration2.2PathPlanninginaFrenetFrame2.3PathBoundaryDecisionandComputation2.4PathOptimization2.5VariableBoundaryEstimationforKine
无意2121·2022-12-09 15:32

Apollo_路径优化

您提到的更改是在路径规划方面，以使用piecewise_jerk_path_optimizer（即QP）
牛仔很忙^·2022-12-09 15:01

apollo学习之---planning理论到实践（5-1）---路径规划理论学习

文章目录1、参考资料2、算法解析1、参考资料PiecewiseJerkPathOptimizer动态规划及其在Apollo项目Planning模块的应用BaiduApollo代码解析之EMPlanner
ss_helloworld·2022-12-09 15:01

Apollo Planning决策规划算法代码详细解析 (10)：PiecewiseJerkPathOptimizer

PiecewiseJerkPathOptimizer是lanefollow场景下，所调用的第5个task，属于task中的optimizer类别它的作用主要是：1、根据之前decider决策的referenceline
自动驾驶Player·2022-12-09 15:30

决策规划算法四：Piecewise Jerk Path Optimizer

一，问题分析路径规划的本质目的：规划出一条安全（无碰撞），舒适（平滑），符合车辆运动学的轨迹。如下图所示，决策算法开辟凸空间后，路径规划算法用数值优化的方法搜索出一条最优路径，即将问题转化为二次规划的问题，采用二次规划的求解器进行求解。二次规划问题的求解顺序：1，确定优化变量2，确定目标函数3，确定约束条件4，将目标函数和约束条件变形为二次规划的标准形式5,用二次规划求解器进行求解，获得优化变量的
肥嘟嘟的左卫门·2022-12-09 15:29

自动驾驶算法详解(1) : Apollo路径规划 Piecewise Jerk Path Optimizer的python实现

本文作为ApolloPlanning决策规划代码详细解析系列文章的补充，将使用Python代码以及anaconda环境，来实现Apollo决策规划Planning模块里的PiecewiseJerkPathOptimizer
自动驾驶Player·2022-12-09 15:59

如何定位慢查询SQL以及优化

本人也在学习阶段如若发现问题，请告知非常感谢‍♂️本文来自专栏：MySQL❤️支持我：点赞收藏关注如何定位慢查询SQL以及优化慢查询日志记录慢SQLexplain查看分析SQL执行计划profile分析执行耗时OptimizerTrace
才疏学浅的木子·2022-12-09 11:24

timm库使用

一、timm库简介PyTorchImageModels，简称timm，是一个巨大的PyTorch代码集合，整合了常用的models、layers、utilities、optimizers、schedulers
粟悟饭&龟波功·2022-12-09 03:55

Pytorch Image Models (timm)

计算机视觉模型库–PytorchImageModels(timm)帮助文档"timm"是由RossWightman创建的深度学习库，是一个关于SOTA的计算机视觉模型、层、实用工具、optimizers
大饼博士_cqqian·2022-12-09 03:24

PyTorch Image Models（timm）库基础

timm是由RossWightman创建的深度学习库，是一个关于SOTA的计算机视觉模型、层、实用工具、optimizers,schedulers,data-loaders,augmentations，
官同鹏·2022-12-09 03:24

【vision transformer】DETR原理及代码详解（四）

Createmodelandcriterion#构建模型和标准STEP2:Createtrainandvaldataloader#构建训练和测试数据集STEP3:Definelr_scheduler#定义学习策略STEP4:Defineoptimizer
LeapMay·2022-12-09 00:31

机器学习模型中step与epoch，batch_size之间的关系

最近在调试模型的时候，发现在使用keras.optimizer.adam时，模型在添加了新的一层2D卷积层后难以收敛，在不调整初始权重矩阵的情况下，想通过衰减学习率来使lossfunction的收敛性更好
Cy_coding·2022-12-08 22:45

蜣螂优化算法Dung beetle optimizer附matlab代码

✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，matlab项目合作可私信。个人主页：Matlab科研工作室个人信条：格物致知。更多Matlab仿真内容点击智能优化算法神经网络预测雷达通信无线传感器信号处理图像处理路径规划元胞自动机无人机电力系统⛄内容介绍在本文中，一种新的基于种群的技术称为粪甲虫优化器提出了一种基于球滚、跳舞、觅食、偷窃和繁殖行为的DBO算法。新提议的DBO该算
matlab科研助手·2022-12-08 13:25

深度学习optimizer：SGD，Momentum，AdaGrad，RMSProp，Adam源代码自编写及pytorch.optimizer介绍

随着深度学习的兴起，其算法的核心：梯度下降算法正不断发展，本文将简要介绍几种主流的optimizer：SGD（StochasticGradientDescent），Momentum，AdaGrad（AdaptiveGradientAlgorithm
Rekoj_G·2022-12-08 08:51
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他