Optimizer

pytorch-optimizer--优化算法

函数1.zero_grad()将梯度清零。由于PyTorch不会自动清零梯度，所以在每一次更新前会进行此操作。2.state_dict()获取模型当前的参数，以一个有序字典形式返回。这个有序字典中，key是各层参数名，value就是参数。3.load_state_dict(state_dict)将state_dict中的参数加载到当前网络，常用于finetune。4.add_param_group
我有甜甜·2023-01-27 09:29

PyTorch深度学习——重建线性模型

目录一、建立线性模型过程PreparedatasetDesignmodelConstructlossandoptimizerTrainingcycle二、代码运行测试一、建立线性模型过程Preparedataset
小T_·2023-01-27 07:00

深度学习入门 之 Tensorflow学习笔记（一）

1、optimizer优化器“优化器是引导神经网络更新参数
敲不好代码的小透明·2023-01-25 14:01

刘二大人 Softmax Classifier with Pytorcn代码实现

SoftmaxClassifier代码实现SoftmaxClassifier步骤PreparedatasetDesignmodelusingClassConstructlossandoptimizerTrainingcycle
carbage诶·2023-01-25 13:51

CentOS 8使用Cockpit管理Linux——存储

3.调整分区大小4.挂载、卸载逻辑卷（分区）5.激活与取消激活分区6.删除逻辑卷（分区）7.配置精简卷（thinvolumes）8.添加物理卷四、管理RAID设备五、管理VDO（VirtualDataOptimizer
witton·2023-01-25 08:05

PyTorch中在反向传播前为什么要手动将梯度清零？

optimizer.zero_grad()##梯度清零preds=model(inputs)##inferenceloss=criterion(preds,targets)##求解lossloss.backward
橘子味的苹果·2023-01-24 15:13

optimizer.zero_grad()的意义

optimizer.zero_grad()意思是把梯度置零，也就是把loss关于weight的导数变成0.在学习pytorch的时候注意到，对于每个batch大都执行了这样的操作：optimizer.zero_grad
CV-杨帆·2023-01-24 15:35

机器学习：优化算法Optimizer比较和总结(SGD/BGD/MBGD/Momentum/Adadelta/Adam/RMSprop）

在花书深度学习第8章OptimizationforTrainingDeepModels中对机器学习中的优化器有如下定义:findingtheparametersθ\thetaθofaneuralnetworkthatsignificantlyreduceacostfunctionJ(θ)J\left(\theta\right)J(θ),whichtypicallyincludesaperforma
陶将·2023-01-21 19:07

AutoML框架-Auto-sklearn学习笔记01-原理及基本使用方法（参数、函数解析）

自动调超参：Bayesianoptimizer，贝叶斯优化。自动模型集成:
我是菜狗子·2023-01-21 15:50

【李宏毅2022 机器学习春】hw2_Classification（strong baseline）

concat_nframes=19batch_size=2048num_epoch=50learning_rate=0.0005scheduler=lr_scheduler.CosineAnnealingLR(optimizer
I"ll carry you·2023-01-20 17:16

灰狼优化算法（GWO）的实现（Python附源码）

一、灰狼优化算法的实现思路灰狼优化算法（GreyWolfOptimizer，简称GWO）是由SeyedaliMirjalili等人于2014年提出的一种群智能优化算法，这一算法主要由自然界中的灰狼群体的捕食行为启发而来
七层楼的疯子·2023-01-20 07:06

Keras loss函数

'''Createdon2018-4-16'''defcompile(self,optimizer,#优化器loss,#损失函数,可以为已经定义好的loss函数名称，也可以为自己写的loss函数metrics
姚贤贤·2023-01-19 20:01

keras如何使用自定义的loss及评价函数进行训练及预测

#模型编译时加入自定义loss及评估函数model.compile(optimizer=Adam(lr=1e-4),loss=[binary_focal_loss()],metri
AI剑客·2023-01-19 20:00

keras自定义loss函数

defrmse(y_true,y_pred):returnK.sqrt(K.mean(K.square(y_pred-y_true),axis=-1))......model.compile(loss=rmse,optimizer
Better-1·2023-01-19 20:59

keras中的常用Loss使用

model.compile(optimizer="sgd",loss="mean_squared_error")fromkerasimportlosses#note:mean_squared_error
teonus·2023-01-19 20:59

keras自定义loss

loss是model.compile编译时所需的参数之一，可以用损失函数名或者TensorFlow符号函数：#损失函数名model.compile(loss='mean_squared_error',optimizer
方如一·2023-01-19 20:54

python和pytorch关系_PyTorch线性回归和逻辑回归实战示例

线性回归实战使用PyTorch定义线性回归模型一般分以下几步：1.设计网络架构2.构建损失函数(loss)和优化器(optimizer)3.训练(包括前馈(forward)、反向传播(backward)
weixin_39820244·2023-01-18 17:39

Code for VeLO 2: Training Versatile Learned Optimizers by Scaling Up

CodeforVeLO2:TrainingVersatileLearnedOptimizersbyScalingUp上一篇文章已经介绍了怎么训练一个MLP网络，这篇文章将介绍一下怎么用VeLO训练resnets
文三路张同学·2023-01-18 10:50

李沐《动手学习深度学习》train_epoch_ch3问题

yintrain_iter:#Computegradientsandupdateparametersy_hat=net(X)l=loss(y_hat,y)ifisinstance(updater,torch.optim.Optimizer
FibonacciCode·2023-01-18 10:13

PyTorch： torch.optim 的6种优化器及优化算法介绍

importtorchimporttorch.nn.functionalasFimporttorch.utils.dataasDataimportmatplotlib.pyplotaspltimportnumpyasnp1.结合PyTorch中的optimizer
三世·2023-01-18 09:00

深度学习训练时冻结部分参数的方法

解决方案mmdetection这个库里面优化器的初始化的位置在：mmdet/apis/train.py，如果使用的是其他代码库的话，需要找到对应的optimizer的初始化的位置。
shaojie_45·2023-01-18 03:51

【学习笔记】【Pytorch】13.优化器

【学习笔记】【Pytorch】13.优化器一、优化器二、例子一、优化器参考：优化器(Optimizer)torch.optim二、例子使用SGD优化器，观察每一轮epoch后损失的变化。
Mr庞.·2023-01-17 22:07

梯度下降优化器（1）

梯度下降优化器（1）神经网络权重参数随机初始化批量梯度下降随机梯度下降参考书目：《零基础学机器学习》#编译神经网络，指定优化器、损失函数，以及评估指标ann.compile(optimizer='adam
psy99·2023-01-17 16:43

mpf11_Learning rate_Activation_Loss_Optimizer_Quadratic Program_NewtonTaylor_L-BFGS_Nesterov_Hessian

DeeplearningrepresentstheverycuttingedgeofArtificialIntelligence(AI).Unlikemachinelearning,deeplearningtakesadifferentapproachinmakingpredictionsbyusinganeuralnetwork.Anartificialneuralnetworkismodele
LIQING LIN·2023-01-17 11:27

【PyTorch深度学习实践】学习笔记 第五节 线性回归

首先回忆一下深度学习熟悉的配方，老四样：1、preparedataset2、designmodelusingClass#目的是为了前向传播forward，即计算y_pred(预测值)3、Constructlossandoptimizer
咯吱咯吱咕嘟咕嘟·2023-01-17 10:19

Pytorch实现线性回归

目录向前计算requires_grad和grad_fn梯度计算手动实现线性回归Pytorch完成模型常用的APInn.Mudule优化器类optimizer损失函数线性回归完整代码在GPU上运行代码向前计算对于
WXiujie123456·2023-01-17 07:46

Tensorflow 2.1 报错整合

文章目录Tensorflow2.1报错整合RuntimeError:`loss`passedtoOptimizer.compute_gradientsshouldbeafunctionwheneagerexecutionisenabled.RuntimeError
清风冷吟·2023-01-16 15:15

有关openvino下载、转换模型以及跑dome

模型转换Tensorflow->Openvino进入C:\Intel\openvino_2021.2.185\deployment_tools\model_optimizer使用mo工具执行pythonmo.py
luxuanjiangg·2023-01-16 13:27

机器学习实战第二版---第五节：神经网络

：1.在做输出层的选择上：创建模型后必须compile（）方法来指定损失函数和要使用的优化器交叉熵MLP.compile(loss=‘sparse_categorical_crossentropy’,optimizer
菜椒爱菜鸟·2023-01-16 11:08

PyTorch学习笔记一：用PyTorch实现线性回归

实现线性回归模型使用pytorch框架实现线性回归一共分为四步一、Preparedataset（准备数据集）二、DesignmodelusingClass（使用类设计模型）三、ConstructLossandOptimizer
思无邪xjq·2023-01-16 11:21

pytorch backward 求梯度 累计 样式

因为这样，所以才需要optimizer.zero_grad()。
培之·2023-01-16 09:56

pytorch模型调参、训练相关内容

调用方法如下：#选择一种优化器optimizer=torch.optim.Adam(...)
Gu_NN·2023-01-15 15:32

【Pytorch教程】：GPU 加速运算

Pytorch教程目录TorchandNumpy变量(Variable)激励函数关系拟合（回归）区分类型(分类)快速搭建法批训练加速神经网络训练Optimizer优化器卷积神经网络CNN卷积神经网络（RNN
_APTX4869·2023-01-15 13:26

【pytorch: can't optimize a non-leaf Tensor】

fromtorchimportoptimweights=torch.rand(2,1,128,416)weights.requires_grad=Trueweights=weights.cuda()optimizer
npkhgl·2023-01-15 12:42

【Optimizer】ValueError: can‘t optimize a non-leaf Tensor

Pytorch优化模型参数时，碰到一个报错，如下：从报错类型来看，不能优化非叶子节点的参数。把model的参数打出来看看，如下图：forname,parameterinmodel.named_parameters():print('%-40s%-20s%s'%(name,parameter.requires_grad,parameter.is_leaf))发现的确有两个参数为非叶子节点，同时其re
NLP_wendi·2023-01-15 12:40

tensorflow serving 采用Docker部署流程

部署拉取镜像3.测试Postman访问Linuxcurl访问4.维护1.模型准备模型准备importtensorflowastffromtensorflow.kerasimportmodels,layers,optimizers
zero猴戏·2023-01-15 11:07

20211207原创教程-神经网络模型调参

在下面的参数中可以设置验证集比例(validation_split)：model=get_new_model(input_shape)model.compile(optimizer='adam',loss
Alexandra0119·2023-01-15 09:12

循环神经网络：用RNN训练数据集IMDB得到语句与偏好的关系

importtensorflowastfimportnumpyasnpfromtensorflowimportkerasfromtensorflow.kerasimportdatasets,layers,optimizers
sunyuan123·2023-01-15 08:18

IMDB电影评论分类

importosimportkerasimportnumpyasnpfromkerasimportmodels,layersfromkerasimportoptimizersfromkeras.datasetsimportimdb
xiongyuqing·2023-01-15 08:17

（已解决）在‘optimizers.py’中找不到引用‘Adam’

train文件报错显示：解决方法：在报错语句的“keras”前加上“tensorflow.”解决过程：1、在train文件中找到报错语句2、将光标移到“Adam”上3、点击上图中显示为蓝色字体的“在模块optimizers.py
ItsWendy·2023-01-14 22:05

Python3中.pyi文件介绍

optim模块中的.pyi文件：每种实现优化算法的.py文件，都有一个对应的.pyi文件，每个.pyi文件中的内容都相似，仅有类的__init__函数，如SGD优化算法的sgd.pyi内容如下：from.optimizerimport_params_t
fengbingchun·2023-01-14 22:35

pytorch DataParallel 多GPU使用

device_ids=[0,1,2,3]model=model.cuda(device_ids[0])model=nn.DataParallel(model,device_ids=device_ids)optimizer
genous110·2023-01-14 03:53

InternalEror :Dst tensor is not initialized

出现这个错误：InternalEror:Dsttensorisnotinitialized，一般是GPU的内存耗尽，需要在程序中加入一些语句出现错误的程序：train_op=optimizer.minimize
Zhang_xi_xi_94·2023-01-13 14:18

利用tensorflow.keras创建四层神经网络并绘制loss和accuracy曲线，打印和生成神经网络模型图

importtensorflowastffromtensorflowimportkerasfromtensorflow.keras.modelsimportSequential#引入引入网络模型fromtensorflow.keras.layersimportDense,Dropout#引入全连接层，输出层，激活器fromtensorflow.keras.optimizersimportSGD
如若是说·2023-01-13 10:35

元数据解决分表不可 mysql_一文让你搞懂MySQL底层原理。-内部结构、索引、锁、集群...

ConnectionPool](授权、线程复用、连接限制、内存检测等)=>[SQLInterface](DML、DDL、Views等)[Parser](QueryTranslation、Objectprivilege)[Optimizer
日读课·2023-01-13 09:08

pytorch学习之：使用 warm up 方法构造优化调度器优化神经网络参数

调整训练的learningrateclassScheduledOptim:'''Asimplewrapperclassforlearningratescheduling'''def__init__(self,optimizer
暖仔会飞·2023-01-13 06:54

BCELoss() RuntimeError: the derivative for ‘target‘ is not implemented

foriter,(feas,labels)inenumerate(train_dataloader,1):optimizer.zero_grad()#1.正向outputs=model(feas)#2.
Big_Huang·2023-01-13 06:18

pytorch中梯度修剪，防止梯度爆炸的方法

defclip_gradient(optimizer,grad_clip):forgroupinoptimizer.param_groups:forparamingroup['params']:ifparam.gradisnotNone
煮饭不用锅·2023-01-13 06:15

解决问题：pytorch奇怪错误，网络完全不训练，参数不更新，没有梯度

遇到奇怪的问题的时候总是会特别绝望，比如，网络参数完全不更新不知道怎么解决，所以就查看了一下参数的梯度，结果发现完全没有梯度[x.gradforxinoptimizer.param_groups[0][
Zaгathustra·2023-01-12 21:31

刘二大人 Multiple Dimension with Pytorch代码实现

MultipleDimension代码实现MultipleDimension步骤PreparedatasetDesignmodelusingClassConstructlossandoptimizerTrainingcycle
carbage诶·2023-01-12 20:52
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他