LearningRate

神经网络优化之学习率

基本概念在训练神经网络时，需要设置学习率（learningrate）控制参数更新的速度。学习率决定了参数每次更新的幅度，如果幅度过大，那么可能导致参数在极优值的两侧来回移动。
阿兵-AI医疗·2023-01-02 07:53

深度学习调参tricks总结

寻找合适的学习率(learningrate)学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经验来准确地确定
小殊小殊·2023-01-01 09:06

深度学习调参 tricks 总结

寻找合适的学习率(learningrate)学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经验来准确地确定
机器学习算法那些事·2023-01-01 09:26

深度学习调参 tricks 总结！

寻找合适的学习率(learningrate)学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经验来准确地确定
机器学习算法那些事·2023-01-01 09:55

学习率与batchsize的关系（batchsize越大，lr越大）

batchsize越大，学习率也要越大如何理解深度学习分布式训练中的largebatchsize与learningrate的关系？
xys430381_1·2022-12-30 22:00

batch size,学习率（learning rate）,and training time

batchsize,学习率（learningrate）,andtrainingtime1.batchsize和leaningrate的关系现在深度学习中的绝大多数算法采用梯度下降法来进行训练，并且通过选择学习率来控制下降的步长
gyibo_·2022-12-30 22:29

如何理解深度学习分布式训练中的large batch size与learning rate的关系？

在深度学习进行分布式训练时，常常采用同步数据并行的方式，也就是采用大的batchsize进行训练，但largebatch一般较于小的baseline的batchsize性能更差，请问如何理解调试learningrate
taoqick·2022-12-30 22:58

【小样本基础】异质图上的元学习模型：调参记录

BatchSize参数爆炸，占用cpu资源过多时，可以适当调小batchsizeloss震荡，可以增大batchsize将batchsize从5增加到50之后，明显平滑learningRate训练过程中
vector<>·2022-12-28 15:38

XGBoost学习（五）：参数调优

模型详解XGBoost学习（四）：实战XGBoost学习（五）：参数调优XGBoost学习（六）：输出特征重要性以及筛选特征完整代码及其数据Xgboost参数调优的一般方法调参步骤：1，选择较高的学习速率（learningrate
安然烟火·2022-12-28 15:07

类神经网络训练（二）

当我们给训练设置同样的LearningRate会出现下面的情况：1LearningRate=，步幅大，反复横跳；（左下图）2LearningRate=,步幅小，起初训练正常，
秀得水乱流·2022-12-26 22:21

FCN代码及效果展示

测试平台GPU：NVIDIARTX3070CPU:IntelI5-10400FRAM:16GBOS:Windows11Dataset:VOC2012Classnum:21(20+1)Batchsize:4LearningRate
Le0v1n·2022-12-26 07:00

神经网络不收敛的原因

1.Learningrate不合适，如果太大，会造成不收敛，如果太小，会造成收敛速度非常慢；2.Batchsize太大，陷入到局部最优；3.网络太简单，一般情况下，网络的层数和节点数量越大，拟合能力就越强
weixin_30594001·2022-12-25 12:13

常用lr_scheduler总结

0前言学习率(learningrate)是网络训练中最重要的超参数之一，学习率可以控制模型的训练速度，甚至影响模型的收敛性。因此一个好的学习率设置是非常重要的。
leo0308·2022-12-24 18:50

学习率是什么，怎么调整

学习率的定义：Wikipedia给出LearningRate的定义如下Inmachinelearningandstatistics,thelearningrateisatuningparameterinanoptimizationalgorithmthatdeterminesthestepsizeateachiterationwhilemovingtowardaminimumofalossfunc
青椒炒代码·2022-12-20 11:05

6.Tensorflow 学习率设置

i+1}xi+1公式为xi+1=xi−lr∂f(xi)∂xix_{i+1}=x_i-lr\frac{\partialf(x_i)}{\partialx_i}xi+1=xi−lr∂xi∂f(xi)lr为learningrate
猪先生1994·2022-12-20 11:05

深度学习超参数调正

（1）学习率学习率（learningrate或作lr）是指在优化算法中更新网络权重的幅度大小。学习率可以是恒定的、逐渐降低的，基于动量的或者是
Cv_Terry·2022-12-19 17:04

深度学习之 TensorFlow模型优化和调优实例

模型的优化通常包括网络结构本身和训练参数两个层级，网络结构主要包括层数、节点、权重以及激活函数等，训练参数包括epoch、batchsize、learningrate,costfunctions,normalizat
shichaog·2022-12-19 09:56

吴恩达深度学习笔记7-Course2-Week3【超参数调试、Batch 正则化和程序框架】

超参数调试、Batch正则化和程序框架一、超参数调试（hyperparametertuning）推荐的超参数重要性排序：1、学习率(learningrate):α2、隐藏神经单元(hiddenunits
Wang_Jiankun·2022-12-19 09:53

Tensorflow笔记——详解深度学习learning_rate以及如何调整学习率

学习率(Learningrate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值，学习率越低，损失函数的变化速度就越慢。
·城府、·2022-12-17 15:01

深度学习超参数——momentum、learning rate和weight decay

文章目录前言一、momentum二、权重衰减（weightdecay）1.背景2.L2正则化与权重衰减系数3.公式推导4.正则项（权重衰减）作用三、学习率（learningrate）前言利用深度学习网络训练模型时
破茧蛰伏的日子·2022-12-17 14:28

Tensorflow 负loss，解决

还有很多帖子说是learningrate有问题，降到了0.0000000001还是不行。其实，是小错误了，产生了意想不到的问题。
auto_star·2022-12-16 18:20

深度学习——动态调整学习率方案

例一：【StepLR】废话不多说，我们直接看代码：以optimizer中设定的lr为基础（lr=0.2），每隔10步，learningrate乘上0.3importtorchimportt
波尔德·2022-12-15 13:49

python机器学习2--鸢尾花分类--感知器实现与鸢尾花分类

1：感知器类实现感知器类的实现过程中，有以下几个概念：1：学习速率(Learningrate)学习速率(Learningrate)用来表示通过损失函数(Lostfunction)的梯度调整网络权重的超参数
时习之小童鞋·2022-12-15 08:29

如何理解向量化的梯度函数，矩阵化的theta西塔θ

ML-Exercise3）中，重写逻辑回归中梯度函数的实现，改为完全向量化（即没有“for”循环）向量化前的梯度函数（“for”循环模式）：defgradient_with_loop(theta,X,y,learningRate
梓沂·2022-12-14 13:02

pytorch 笔记：使用Tune 进行调参

自动进行调参，我们以pytorch笔记：搭建简易CNN_UQI-LIUWJ的博客-CSDN博客的代码为基础，进行output_channel和learningrate的调参1导入库fromfunctoolsimportpartialimportnumpyasnpimportosimporttorchimporttorch.nnasnnimporttorch.nn.functionalasFimpo
UQI-LIUWJ·2022-12-11 21:21

Week5:线性学习率热身——warm up

但是每一次更新参数利用多少误差，就需要通过一个参数来控制，这个参数就是学习率（Learningrate）,也称为步长。
Dear_Oria·2022-12-11 16:04

深度学习—梯度（一）

注意全局最大，全局最小，局部最大，局部最小，还要注意saddlepoint马鞍点learningrate的设置不能太大梯度这一章好像没什么新知识
楠树已成舟·2022-12-10 15:49

训练集准确率很高，验证集准确率低问题

训练集在训练过程中，loss稳步下降，准确率上升，最后能达到97%验证集准确率没有升高，一直维持在50%左右（二分类问题，随机概率）测试集准确率57%在网上搜索可能打的原因：1.learningrate
LS_learner·2022-12-09 19:45

2D_Detection-超参

2D_Detection-超参date:2021-10-0411:02:51.000000000+09:00categories:[算法篇]tags:[CV,综述]mathjax:true前言详细介绍learningrate
sunny0660·2022-12-09 18:06

机器学习笔记之学习率（learning rate）与过拟合（overfitting）

学习率（learningrate）学习率lr表征了参数每次更新的幅度，设置过大，参数不容易收敛。这个怎么理解呢，因为绝大多数的机器学习问题，不是一个凸优化的问题，很多时候找的解不是全
csdshelton·2022-12-09 16:04

深度学习中的学习率调整策略（1）

学习率(LearningRate,LR/lr)是深度学习中很重要的一个超参数了。其公式：也就是说它是在训练过程中更新网络权重的一个调整因子，为什么说其重要呢？
公众号学一点会一点·2022-12-09 16:33

深度学习（四）：学习率

但是每一次更新参数利用多少误差，就需要通过一个参数来控制，这个参数就是学习率（Learningrate）,也称为步长。
大家都要开心·2022-12-09 16:30

lr_scheduler.StepLR调整学习率机制

torch.optim.lrschedulertorch.optim.lr_schedulertorch.optim.lrscheduler类来进行调整；torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率（learningrate
big_matster·2022-12-09 07:30

基于Pytorch通过实例详细剖析CNN

、前言1）免责声明2）写点我自己的理解3）看本文之前需要了解的知识二、实例说明1）要解决什么问题2）CNN网络模型训练组数据3）CNN网络模型三、基于Pytorch的CNN网络模型代码四、深入剖析1）learningrate
使者大牙·2022-12-08 02:55

gradient descent和batch normalization，learning rate与更新参数，梯度下降的步长有关； batch size与更新参数，梯度下降的次数有关

p=3由TaylorSeries展开梯度下降做二次展开：使得loss最小，当学习率太大，则loss的泰勒展开的二次项之后的式子不能成立，当redcircle需要很小，半径与学习率成正比，所以理论上learningrate
Mrs.Je·2022-12-06 11:11

李宏毅机器学习 batch normalization

loss在w2方向上斜率较大，w1对结果影响较小，loss在w1方向上斜率较小如果进行featurescaling，使得x1和x2有相同的变化范围loss就是正圆形的好处：featurescaling之前，learningrate
lxmm1999·2022-12-06 11:10

深度学习 - 调参

关于归一化的好处请参考：为何需要归一化处理3.激活函数要视样本输入选择(多层神经网络一般使用relu)4.minibatch很重要，几百是比较合适的(很大数据量的情况下)5.学习速率(learningrate
KeeJee·2022-12-06 07:54

Python神经网络代码详细介绍

importnumpyimportscipy.special#想要使用S函数，必须导入这个包#完整的神经网络代码classneuralNetwork:def__init__(self,inputnodes,hiddennodes,outputnodes,learningrate
千和儿·2022-12-06 04:48

深度学习中学习率和batchsize对模型准确率的影响

1.前言目前深度学习模型多采用批量随机梯度下降算法进行优化，随机梯度下降算法的原理如下:n是批量大小(batchsize)，η是学习率(learningrate)。
初识-CV·2022-12-05 15:18

第三章 学习率（LR : learning rate）

机器学习入门之重要参数的理解第一章批数据训练（batch）第二章训练轮数（epoch）第三章学习率（LR:learningrate）第四章图像区块（patch）第五章滤波器（filter）目录机器学习入门之重要参数的理解前言一
Being me·2022-12-04 02:08

第二章、机器学习之训练轮数（epoch）

机器学习入门之重要参数的理解第一章批数据训练（batch）第二章训练轮数（epoch）第三章学习率（LR:learningrate）第四章图像区块（patch）第五章滤波器（filter）目录机器学习入门之重要参数的理解前言训练轮数
Being me·2022-12-04 02:04

神经网络，输出数据中含有nan，输出数据都相同，两种情况的处理日志。

1、使用深度学习训练网络时出现了大量的nan数据，各种调试无果后，最后将learningrate从0.1缩小了十倍变为0.01，重新训练，之后输出正常。
Idly_style·2022-12-03 15:43

【深度学习：CNN】Batch Normalization解析（2）-- caffe中batch_norm层代码详细注解

mrhiuser/article/details/52575951一：BN的解释：在训练深层神经网络的过程中,由于输入层的参数在不停的变化,因此,导致了当前层的分布在不停的变化,这就导致了在训练的过程中,要求learningrate
荪荪·2022-12-03 09:29

Pytorch学习笔记-①初学者对一些基本问题的答疑

【BatchSize&LearningRate】传送门【https://www.pianshen.c
紧到长不胖·2022-12-01 19:58

比赛-安检-过程文档

setfind_unused_parameters=True在configs/ppyoloe/ppyoloe_crn_s_300e_coco.yml添加下find_unused_parameters:true,如下epoch:300LearningRate
GeekPlusA·2022-12-01 16:25

激活函数，损失函数以及学习率

(二）损失函数1.损失函数、代价函数与目标函数2.常用的损失函数3.常用的代价函数(三)学习率1.什么是学习率(Learningrate)？
Belouga-·2022-11-29 09:40

《吴恩达机器学习》4 多变量线性回归

多变量线性回归前言一、多变量线性回归二、多元梯度下降法1、特征缩放（featurescaling）2、学习率（Learningrate）3、特征和多项式回归三、线性回归的正规方程解法与对比1、正规方程解法
JockerWong·2022-11-28 20:54

网格搜索法调参神经网络

网格搜索法调参神经网络通过包装Keras模型来使用scikit-learn，并学习怎么使用网格搜索（gridsearch）-怎样网格搜索通用神经网络参数，如学习速率（learningrate），丢弃率（
dxw-1997·2022-11-27 17:52

干货-成功darknet_yolov4 训练流程及细节

7、控制台输出信息解释8、数据集train.txt中的.jpg必须是绝对路径9、关于burn_in&learningrate1、环境编译2、VOC数据集下载3、修改训练.c
woyaofeiqi·2022-11-26 11:30

2021李宏毅机器学习（3）：类神经网络训练不起来怎么办

任务攻略的示意图2局部最小值(localminima)与鞍点(saddlepoint)3批次（batch）与动量（momentum）3.1批次（batch）3.2动量（momentum）4自动调整学习率(LearningRate
三耳01·2022-11-25 20:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他