decay

std::any 和auto应用对比

它的实现就用到了前面分析过的std::decay_t。它是从C++17才出现的。既然它可以动态的转换类型，那么就会有一种场景应用到它，那就是动态扩展类的功能属性。
fpcc·2023-07-16 09:05

Decay happens: the role of active forgetting in memory

衰退发生:主动遗忘在记忆中的作用OliverHardt,KarimNader,andLynnNadel(2013)类似衰退的遗忘是一个组织良好的神经元过程，随着时间的推移，系统地从海马体中移除记忆，这种过程可能更倾向于在睡眠时进行。这种类型的遗忘对于维护整个系统的功能是必不可少的。因为大多数在白天自动形成的记忆是不相关的，这种遗忘将确保这些不需要的和不需要的记忆大部分被删除。一个大脑范围内的良好调
YuikoAo·2023-07-13 21:10

Pytorch实现warm up和consine decay

在深度学习领域，模型训练过程中的不稳定性是一个常见的问题。为了解决这个问题，在Resnet这篇论文也提及了WarmUp的方法，通过逐渐增加学习率，引导模型在训练初期更稳定地收敛。同时在warmup之后结合consinedecay的方法让训练变得更有效。warmup和consinedecay的意义warmup来自于这篇文章：https://arxiv.org/pdf/1706.02677.pdfco
张可盐·2023-07-13 16:22

【pytorch系列】优化器optimizer的使用与常用优化器

1optimizer类实例1.1介绍属性【default】该实例的类型为dict，元素为初始化时候的学习率等，具体的keys为['lr','momentum','dampening','weight_decay
magic_ll·2023-06-20 20:19

深度学习之l2正则,weight decay,momentum,batchsize,lr超参数之间的关系

参考l2正则L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题。权重衰减（weightdecay）weightdecay（权值衰减）的使用既不是为了提高收敛精确度也不是为了提高收敛速度，其最终目的是防止过拟合。在损失函数中，weightdecay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weightdecay的作用是调节
专注于计算机视觉的AndyJiang·2023-06-14 02:41

C++23新特性个人总结

文章目录1关键字1.1consteval1.2auto1.2.1新增支持数组指针的引用类型1.2.2代替decay-copy语义1.3volatile1.4constexpr1.5char8_t1.6wchar_t2
哦咧哇岸居·2023-06-08 06:17

60.网络训练中的超参调整策略—学习率调整2

4、inverse_time_decayinverse_time_decay(learning_rate,global_step,decay_steps,decay_rate,staircase=False
大勇任卷舒·2023-06-06 23:30

Python-DQN代码阅读(7)

train_or_test=='train'):#计算训练初期和训练后期的epsilon值的差值delta_epsilon1=(epsilon_start-epsilon_end[0])/float(epsilon_decay_steps
天寒心亦热·2023-04-14 22:34

dqn系列梳理_莫烦python强化学习系列-DQN学习(代码)

DeepQNetworkoff-policyclassDeepQNetwork:def__init__(self,n_actions,n_features,learning_rate=0.01,reward_decay
weixin_39909212·2023-04-14 14:41

Python-DQN代码阅读-填充回放记忆（replay memory）

defpopulate_replay_mem(sess,env,state_processor,replay_memory_init_size,policy,epsilon_start,epsilon_end,epsilon_decay_steps
天寒心亦热·2023-04-14 05:32

Python-DQN代码阅读-初始化经验回放记忆(replay memory)

defpopulate_replay_mem(sess,env,state_processor,replay_memory_init_size,policy,epsilon_start,epsilon_end,epsilon_decay_steps
天寒心亦热·2023-04-14 05:02

AE篇-拿起来就用的AE表达式1

ae.jpg1弹性动画amp=.1;freq=5;decay=7;n=0;if(numKeys>0){n=nearestKey(time).index;if(key(n).time>time){n--;
redBlue_·2023-04-13 16:59

【C++知识树】Vector.h&Geometry3D----三维空间向量计算几何算法汇总【ZENO、Blender、game-physics-cookbook、UE5、Godot】

pragmaonce#include#include#include#include#includenamespacezeno{namespace_impl_vec{templateconstexprboolis_decay_same_v
EndlessDaydream·2023-04-13 11:07

Pytorch----torch.optim

torch.optim.Adam（）：classtorch.optim.Adam(params,lr=0.001,betas=(0.9,0.999),eps=1e-08,weight_decay=0)[
无意识积累中·2023-04-12 23:57

Tensorflow——tf.contrib.layers.optimize_loss

learning_rate,optimizer,gradient_noise_scale=None,gradient_multipliers=None,clip_gradients=None,learning_rate_decay_fn
SpareNoEfforts·2023-04-12 16:43

AttributeError:module ‘torch.optim‘ has no attribute ‘AdamW‘

torch.optim.AdamW(filter(lambdap:p.requires_grad,model.parameters()),betas=betas,lr=learning_rate,weight_decay
三个臭皮姜·2023-04-11 22:44

关于optimizer优化器与scheduler策略调整器

optimizer=torch.optim.SGD(model.parameters(),args.lr,momentum=args.momentum,nesterov=args.nesterov,weight_decay
YHbackkon·2023-04-09 15:48

Pytorch中的gradient_accumulate_steps、warmup、lr_decay、optimizer和scheduler等问题的解答

（一）gradient_accumulate_steps对于模型训练来说，batch_size越大，模型效果会越好。但是某些环境下，没有足够的GPU来支撑起大的batch_size，因此这时可以考虑使用gradient_accumulate_steps来达到类似的效果。具体地，原来训练过程中每个batch_size都会进行梯度更新，这时我们可以采取每训练（叠加）gradient_accumulat
沙漠之狐MSFollower·2023-04-09 15:08

pytorch optimizer, scheduler使用

network,args):optimizer=torch.optim.SGD(network.parameters(),lr=args.lr,momentum=args.momentum,weight_decay
GeneralJing·2023-04-09 15:38

神经网络中weight decay起到的做用是什么？momentum呢？normalization呢？

作者：陈永志链接：https://www.zhihu.com/question/24529483/answer/114711446来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。一、weightdecay（权值衰减）的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度，其最终目的是防止过拟合。在损失函数中，weightdecay是放在正则项（regulariz
夏天7788·2023-04-08 16:09

权重衰减/权重衰退——weight_decay

目录权重衰减/权重衰退——weight_decay一、什么是权重衰减/权重衰退——weight_decay？二、weightdecay的作用三、设置weightdecay的值为多少？
HHHTTY-·2023-04-08 16:35

深度学习中，使用regularization正则化(weight_decay)的好处，loss=nan

刚开始训练一个模型，自己就直接用了，而且感觉训练的数据量也挺大的，因此就没有使用正则化，可能用的少的原因，我也就不用了，后面，训练到一定程度，accuracy不上升，loss不下降，老是出现loss=nan，输出的结果也就直接不预测，比如训练二分类器，直接判断固定为某一类别（比如固定输出为正类），这就使得准确率为0.5，阿呀呀，怎么办，不工作哦？？？？后面想，训练崩了会不会是learning_ra
weixin_30512043·2023-04-08 16:32

权值衰减weight decay的理解

1.介绍权值衰减weightdecay即L2正则化，目的是通过在Loss函数后加一个正则化项，通过使权重减小的方式，一定减少模型过拟合的问题。L1正则化：即对权重矩阵的每个元素绝对值求和，λ∗∣∣W∣∣λ*||W||λ∗∣∣W∣∣L2正则化：即对权重矩阵的每个元素求平方和（先平方，后求和）:1/2∗λ∗∣∣W∣∣21/2*λ*||W||^21/2∗λ∗∣∣W∣∣2注意：正则化项不需要求平均数，因为
@BangBang·2023-04-08 16:15

手写 fully_connected全连接层

fully_connected用于生成全连接层，总体思路就是用_variable_with_weight_decay生成w×x+b中的w，并加上偏置biases。
猴子喜·2023-04-08 11:35

【深度学习技巧】迁移学习的基础内容

train_params=model.parameters()ifargs.optim=='sgd':#optimizer=optim.SGD(train_params,lr=args.lr,weight_decay
努力的袁·2023-04-04 15:37

ThreeJS-聚光等衰减（二十一）

聚光灯可以联系到现实中的手电筒衰减分为：距离衰减和边缘衰减.decay:Float（控制的是灯光自身的亮度）Theamountthelightdimsalongthedistanceofthelight.Defaultis2
不穿铠甲的穿山甲·2023-04-02 21:47

【深度学习】常见优化算法的NumPy和PyTorch实现

decay_rate：衰减率，仅在RMSprop和Adam算法中使用。t：迭代步骤数，仅在Adam算法中使用。m：动量梯度的暂存值，仅在Adam算
风度78·2023-04-02 21:46

权重衰减weight_decay参数从入门到精通

2.1什么数据扰动3.减小模型权重4.为Loss增加惩罚项4.1通过公式理解WeightDecay4.2通过图像理解WeightDecay为什么1范数不好5.WeightDecay的实现6.weight_decay
iioSnail·2023-03-31 17:11

C++11中std::is_same和std::decay

https://blog.csdn.net/czyt1988/article/details/52812797https://www.apiref.com/cpp-zh/cpp/types/decay.htmlis_same
wodownload2·2023-03-25 07:57

C++的std::is_same与std::decay

一、背景有一个模板函数，函数在处理int型和double型时需要进行特殊的处理，那么怎么在编译期知道传入的参数的数据类型是int型还是double型呢？#includetemplatevoidtypeCheck(Tdata){//checkdatatype//std::cout头文件中提供了C++STL的std::is_same模板。C++STL的std::is_same模板用于检查类型A是否与类
物随心转·2023-03-25 07:17

c++新标准有用的语法特性

文章目录代码片段1特性1：变量模板特性2：头文件变量定义代码片段2constexpr函数万能引用std::forwardmake_index_sequencestd::decay_t代码片段3可变参数模板
仟人斩·2023-03-25 07:13

【C++11】C++类型完全退化（拓展std::decay的功能）

C++11提供了一个模板类，来为我们移除类型中的一些特性，比如引用、常量、volatile，但是注意不包括指针特性，这个类就是std::decay，在头文件type_traits（类型萃取）中。
几罗星人·2023-03-25 07:08

2019牛客第九场A题 (The power of Fibonacci) 斐波那契循环节

#include#include#defineintlonglong#defineFOR(i,x,y)for(std::decay::typei=(x),_##i=(y);i;const
叔丁基锂_·2023-03-10 05:16

Pytorch学习笔记（8）：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）

目录一、正则化之weight_decay（L2正则）1.1正则化及相关概念1.2正则化策略（L1、L2）（1）L1正则化（2）L2正则化1.3L2正则项——weight_decay二、正则化之Dropout2.1Dropout
路人贾'ω'·2023-03-08 22:27

tensorflow vgg

importtensorflowastfslim=tf.contrib.slimdefvgg_arg_scope(weight_decay=0.0005):withslim.arg_scope([slim.conv2d
qq_41318075·2023-02-05 18:59

Pytorch学习笔记--常用函数torch.optim.SGD()总结3

1--torch.optim.SGD()函数拓展importtorchLEARNING_RATE=0.01#梯度下降学习率MOMENTUM=0.9#冲量大小WEIGHT_DECAY=0.0005#权重衰减系数
憨豆的小泰迪·2023-02-04 10:56

浅谈退化学习率（一）

定义退化学习率的方法：defexponential_decay(l
ross_mystery·2023-02-03 17:17

关于yolo配置文件以及训练时各参数的含义

batch/subdivisionsbatch=64subdivisions=16width=416###网络的输入宽、高、通道数height=416channels=3momentum=0.9###动量decay
diebiao6526·2023-02-02 13:17

template.py

Setthetemplateshereifargs.template.find('jpeg')>=0:args.data_train='DIV2K_jpeg'args.data_test='DIV2K_jpeg'args.epochs=200args.lr_decay
Amdur·2023-01-30 09:32

深度学习训练过程训练的是什么

先看一个常见的卷积网络层：layer{name:"conv1"type:"Convolution"bottom:"conv1a"top:"conv2a"param{lr_mult:1decay_mult
前进ing_嘟嘟·2023-01-30 05:11

Fermi黄金规则

衰变的黄金规则对于一个会衰变的粒子，衰变率(decay
蓝色樱花雨谭小英·2023-01-27 16:14

学习率衰减 Learning Rate Decay

Whyshouldlearningratedecay?以目前最主流的参数优化算法GradientDescent为例，为了让梯度下降的性能更优，我们需要将学习率设定在一个合适的范围。具体来说，学习率其实就是算法的步长，一步走多少决定了很多事情：步子大了，优化效率高，很可能一下越过最优解；相反，步子小了，优化效率低，很可能陷进一个局部最优解怎么都走不出来。所以学习率的调整在算法参数最优的过程中至关重要
Freeman_zxp·2023-01-25 10:41

模型调参（二）：learning rate decay（学习率衰减）【使用库调整学习率：等间隔、多间隔、指数衰减、余弦退火函数、根据指标、自定义】【手动调整学习率】

一、学习率衰减的概念和必要性解释①：如果在整个梯度下降过程中，保持learningrate不变，如果learningrate设置小了，会导致梯度下降过慢，如果设置大了，对于mini-batch来说最后就很难收敛，一直在最小值附近盘旋。所以动态改变learningrate很重要，在开始的时候，设置较大的learningrate，可以保证梯度下降的速度，慢慢减小，可以使最后的costfunction在
u013250861·2023-01-25 10:40

深度学习笔记（二十一）学习率衰减和局部最优问题

在1epoch内（1passthroughdata）：α=α01+decay_rate∗epoch_num\alpha=\frac{\alpha_0}{1+decay\_rate*epoch_\_num
Mr.zwX·2023-01-25 10:10

error: unrecognized arguments: 问题求大神解决

input_channelsINPUT_CHANNELS][–class_countCLASS_COUNT][–lrLR][–momentumMOMENTUM][–weight_decayWEIGHT_DECAY
一块沥青·2023-01-19 01:36

认真看代码ORB_SLAM3===1

1、从Cmake开始①realsense模块可以选装②C++11改C++17error:‘decay_t’isnotamemberof‘std’;‘slots_reference’thatdependonatemplateparameter③examples
Caleb tam·2023-01-16 16:31

ubuntu20.04 编译orb-slam3踩坑

ubuntu20.04opencv3.4.15eigen3.3.1pangolin编译过程遇到的错误1只展示部分：/usr/local/include/sigslot/signal.hpp:109:79:error:‘decay_t
神人掌观山河·2023-01-16 16:56

YOLO Hyperparameter Evolution

2,Adam=1E-3)lrf:0.15#finalOneCycleLRlearningrate(lr0*lrf)momentum:0.937#SGDmomentum/Adambeta1weight_decay
Banbakaban·2023-01-13 15:52

InternalEror :Dst tensor is not initialized

Dsttensorisnotinitialized，一般是GPU的内存耗尽，需要在程序中加入一些语句出现错误的程序：train_op=optimizer.minimize(loss_cross_entropy+l2_loss*weight_decay
Zhang_xi_xi_94·2023-01-13 14:18

神经网络九大学习率衰减提效策略

exponential_decay=learning_rate
CHH3213·2023-01-13 09:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他