sgd

《SWALP：Stochastic Weight Averaging in Low-Precision Training》

摘要：这种方式可以使得所有数字均量化至8-bit，同时表示为SWALP任意收敛于二次目标的最优解，在强凸条件下使噪声球渐近小于低精度SGD。
王甜甜真厉害·2022-12-12 15:40

pytorch ： Stochastic Weight Averaging理解和用法

SWAhasbeenproposedinAveragingWeightsLeadstoWiderOptimaandBetterGeneralization.SGD倾向于收敛到loss的平坦的区域，由于权重空间的维度比较高
手口一斤·2022-12-12 15:07

SWA(Stochastic Weight Averaging)实验

cifar10数据集上进行实验原理论文地址：https://arxiv.org/pdf/2012.12645.pdfSGD倾向于收敛到loss的平稳区域平稳区域的大部分都处于边界，由于权重空间的维度比较高，SGD
AI大魔王·2022-12-12 15:36

DHU DeepLearning & Practice_在使用预训练模型提取特征时遇到的问题

文章目录使用的库列表问题1：cannotimportname'VGG16'from'keras.applications'问题2：module'keras.optimizers'hasnoattribute'SGD
鱼犬·2022-12-12 13:09

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理5.总结SGD、Momentum、AdaGrad、Adam的优缺点参考1.编程实现图6-1，并观察特征
Stacey.933·2022-12-12 09:09

Lecture7：随机梯度下降算法问题及解决、dropout正则化、学习率的选择、迁移学习

目录1.随机梯度下降算法问题及解决1.1随机梯度下降算法SGD的问题1.2具有动量的梯度下降算法SGD+Momentum1.3Nesterov加速梯度法1.4AdaGrad1.5RMSProp1.6融合
Courage2022·2022-12-12 08:24

torch.optim.SGD参数学习率lr、动量momentum、权重衰减weight_decay的解析

torch.optim.SGD(net.parameters(),lr=lr,momentum=0.9,weight_decay=wd)第一个参数包括权重w，和偏置b等是神经网络中的参数，也是SGD优化的重点第二个参数
jjw_zyfx·2022-12-12 03:55

深度学习参数&&超参数以及batchsize、epoch、迭代

batchsize：批大小（批尺寸），在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本进行`训练。
许 豪·2022-12-11 23:03

PyTorch笔记 - 优化模型参数

参考：OPTIMIZINGMODELPARAMETERS梯度反向传播算法，更新参数SGD->Adamdataset->dataloader，train_dataloader训练，test_dataloader
SpikeKing·2022-12-11 21:23

Pytorch入门系列 10----优化器介绍

文章目录前言一、什么叫优化器二、优化器的种类介绍1、SGD（StochasticGradientDescent）**思想****数学表达****实际使用**2、Adam**思想****数学表达****实际使用
CV_Today·2022-12-11 18:53

深度学习 性能提升技巧--指数加权平均（EMA）Pytorch实现

什么是EMA（ExponentialMovingAverage）在采用SGD或者其他的一些优化算法(Adam,Momentum)训练神经网络时，通常会使用一个叫ExponentialMovingAverage
白又白胖又胖·2022-12-11 13:20

NNDL 作业11：优化算法比较

目录编程实现图6-1，并观察特征观察梯度方向编写代码实现算法，并可视化轨迹分析上图，说明原理（选做）1.为什么SGD会走“之字形”？其它算法为什么会比较平滑？
白小码i·2022-12-11 12:19

pytorch中optimizer为不同参数设置不同的学习率

在pytorch中已经实现了一些常见的优化器，例如Adam、SGD、Adagrad、RMsprop等，但是有些任务中我们需要设定不同的学习策略，例如给模型的不同参数设置不同的学习率。
咕 嘟·2022-12-11 11:47

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹5.总结SGD、Momentum、AdaGrad、Adam的优缺点1.编程实现图6-1，并观察特征importnumpyasnpfrommatplotlibimportpyplotaspltfrommpl_toolkits.mplot3dimportAxes3Ddeffunc
HBU_Hbdwhb·2022-12-11 01:44

深度学习系列之随机梯度下降（SGD）优化算法及可视化

补充在前：实际上在我使用LSTM为流量基线建模时候，发现有效的激活函数是elu、relu、linear、prelu、leaky_relu、softplus，对应的梯度算法是adam、mom、rmsprop、sgd
XOR酸菜鱼·2022-12-10 14:55

论文笔记之Stein变分梯度下降

Stein变分梯度下降(SVGD)可以理解是一种和随机梯度下降(SGD)一样的优化算法。在强化学习算法中，Soft-Q-Learning使用了SVGD去优化，而Soft-AC选择了SGD去做优化。
Ton10·2022-12-09 17:44

深度学习（三）：优化器

Optimizers是在网络训练时，对网络权重进行更新，使得模型最优化loss，现阶段主流的深度学习优化器是基于梯度的优化方法，代表有：SGD，Momentum，AdaGr
大家都要开心·2022-12-09 16:07

深度学习的学习率

学习率对于深度学习是一个重要的超参数，它控制着基于损失梯度调整神经网络权值的速度，大多数优化算法（SGD、RMSprop、Adam）对其都有所涉及。
大西瓜不甜·2022-12-09 16:32

（最优化理论与方法）第六章无约束优化算法-第二节：梯度类算法

文章目录一：梯度下降法（1）梯度下降法概述（2）梯度下降法求解步骤（3）Python实现（4）常见梯度下降算法A：全梯度下降算法（FGD）B：随机梯度下降算法（SGD）C：小批量梯度下降算法二：Barzilai-Borwein
快乐江湖·2022-12-09 13:34

全梯度下降算法、随机梯度下降算法、小批量梯度下降算法、随机平均梯度下降算法、梯度下降算法总结

一、常见梯度下降算法全梯度下降算法(Fullgradientdescent，FGD）随机梯度下降算法（Stochasticgradientdescent，SGD）随机平均梯度下降算法（Stochasticaveragegradientdescent
learning-striving·2022-12-09 12:06

1.3 反向传播

目录三、反向传播3.1反向传播计算过程[^1]3.2基于梯度下降的优化方法[^3]3.2.1SGD、学习率衰减及动量3.2.2Adagrad、Adadelta、RMSprop3.2.3Adam、Adamx
dfsj66011·2022-12-09 11:15

深度学习机器学习面试题——GAN

GAN为什么不好收敛为什么GAN中的优化器不常用SGD生成对抗网络在哪里用到的，起什么作用，损失函数是什么训练GAN的一些技巧说说GAN的训练过程Pix2pix和cycleGan的区别文章目录深度学习机器学习笔试面试题
冰露可乐·2022-12-09 09:14

分布式机器学习：同步并行SGD算法的实现与复杂度分析

1分布式机器学习概述大规模机器学习训练常面临计算量大、训练数据大（单机存不下）、模型规模大的问题，对此分布式机器学习是一个很好的解决方案。1）对于计算量大的问题，分布式多机并行运算可以基本解决。不过需要与传统HPC中的共享内存式的多线程并行运算（如OpenMP）以及CPU-GPU计算架构做区分，这两种单机的计算模式我们一般称为计算并行）。2）对于训练数据大的问题，需要将数据进行划分并分配到多个工作
JavaMonsterr·2022-12-09 08:11

从动力学角度看优化算法：SGD ≈ SVM？

©PaperWeekly原创·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络众所周知，在深度学习之前，机器学习是SVM（SupportVectorMachine，支持向量机）的天下，曾经的它可谓红遍机器学习的大江南北，迷倒万千研究人员，直至今日，“手撕SVM”仍然是大厂流行的面试题之一。然而，时过境迁，当深度学习流行起来之后，第一个革的就是SVM的命，现在只有在某些特别追求效率的场景以及大厂
PaperWeekly·2022-12-09 07:37

epoch ,steps_per_epoch and batchsize解读

在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；iteration：中文翻译为迭代，1个iteration等于使用batchsize个样本训练一次；一个迭代=一个正向通过
chengchaowei·2022-12-08 22:23

NNDL 作业11：优化算法比较

文章目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）5.总结SGD、Momentum、AdaGrad、Adam的优缺点（选做）6.Adam
凉堇·2022-12-08 22:14

机器学习实践入门（三）：优化算法和参数调节

本文参考自深蓝学院课程，所记录笔记，仅供自学记录使用优化算法和参数调节网络优化基础回顾等高线损失函数VS代价函数VS目标函数梯度和步长优化方案SGD家族学习率α\alphaα传统SGD算法的缺点SGD算法的改进方案
橘の月半喵·2022-12-08 18:34

【机器学习实战】使用SGD-随机梯度下降、随机森林对MNIST数据进行二分类（Jupyterbook）

1.数据集由美国高中生和人口调查局员工手写的70000个数字的图片。数据集获取#获取MNIST数据集fromsklearn.datasetsimportfetch_openmlmnist=fetch_openml('mnist_784',version=1,cache=True,as_frame=False)mnist查看X和Y找索引为36000的实例，并将其还原成数字（书中是还原成了5，但是我这
想做一只快乐的修狗·2022-12-08 11:27

CS231n Lecture 8: Training Neural Networks Part2

Optimization动量版SGDSGD仍然还有一些问题：当损失函数在一个方向快速改变，另一个方向很慢地改变时，梯度下降会变成非常慢地一个过程同时，SGD对于驻点和局部最小值的表现并不好，在那些地方会堵住
QingYuAn_Wayne·2022-12-08 11:56

CS231n lecture 3 损失函数和优化

MulticlassSVMloss多分类SVM损失函数正则项RegularizationSoftmaxClassifier优化Optimization随机梯度下降法StochasticGradientDescent(SGD
QingYuAn_Wayne·2022-12-08 11:26

【机器学习实战】使用SGD、随机森林对MNIST数据集实现多分类（jupyterbook）

1.获取数据集并重新划分数据集#获取MNIST数据集fromsklearn.datasetsimportfetch_openmlmnist=fetch_openml('mnist_784',version=1,cache=True,as_frame=False)#查看测试器和标签X,y=mnist['data'],mnist['target']X_train,X_test,y_train,y_te
想做一只快乐的修狗·2022-12-08 11:50

adam算法效果差原因_深度学习优化器-Adam两宗罪

从理论上看，一代更比一代完善，Adam/Nadam已经登峰造极了，为什么大家还是不忘初心SGD呢？举个栗子。很多年以前，摄影离普罗大众非常遥远。十年前，傻瓜相机开始风靡，游客几乎人手一个。
weixin_39536728·2022-12-08 10:20

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（1）为什么SGD会走“之字形”？其它算法为什么会比较平滑？
Persevere~~~·2022-12-08 10:11

优化函数SGD/AdaGrad/AdaDelta/Adam/Nadam

一、准备知识指数加权平均指数加权平均值又称指数加权移动平均值，局部平均值，移动平均值。加权平均这个概念都很熟悉，即根据各个元素所占权重计算平均值。指数加权平均中的指数表示各个元素所占权重呈指数分布。mini-batch梯度下降法在实际应用中，由于样本数量庞大，训练数据上百万是很常见的事。如果每执行一次梯度下降就遍历整个训练样本将会耗费大量的计算机资源。在所有样本中随机抽取一部分(mini-batc
小媛在努力·2022-12-08 09:40

优化器：SGD ＞ Momentum ＞ AdaGrad ＞ RMSProp ＞ Adam

目录SGD随机梯度下降momentumAdaGradRMSPropSGD随机梯度下降在这里SGD和min-batch是同一个意思，抽取m个小批量（独立同分布）样本，通过计算他们平梯度均值。
superjfhc·2022-12-08 08:05

优化方法：SGD，Momentum，AdaGrad，RMSProp，Adam

参考：https://blog.csdn.net/u010089444/article/details/767258431.SGDBatchGradientDescent在每一轮的训练过程中，BatchGradientDescent算法用整个训练集的数据计算costfuction的梯度，并用该梯度对模型参数进行更新：优点:costfuction若为凸函数，能够保证收敛到全局最优值；若为非凸函数，能
weixin_34133829·2022-12-08 08:04

Loss优化方法：SGD，Momentum，AdaGrad，RMSProp，Adam

1.SGDBatchGradientDescent在每一轮的训练过程中，BatchGradientDescent算法用整个训练集的数据计算costfuction的梯度，并用该梯度对模型参数进行更新：Θ=Θ−α⋅▽ΘJ(Θ)Θ=Θ−α⋅▽ΘJ(Θ)优点:costfuction若为凸函数，能够保证收敛到全局最优值；若为非凸函数，能够收敛到局部最优值缺点:由于每轮迭代都需要在整个数据集上计算一次，所以批
daisyyyyyyyy·2022-12-08 08:32

深度学习optimizer：SGD，Momentum，AdaGrad，RMSProp，Adam源代码自编写及pytorch.optimizer介绍

随着深度学习的兴起，其算法的核心：梯度下降算法正不断发展，本文将简要介绍几种主流的optimizer：SGD（StochasticGradientDescent），Momentum，AdaGrad（AdaptiveGradientAlgorithm
Rekoj_G·2022-12-08 08:51

SGD、Momentum、 AdaGrad、Adam

目录1.SGD1.1SGD的缺点2.Momentum3.AdaGrad4.Adam5使用哪种更新方法呢神经网络的学习的目的是找到使损失函数的值尽可能小的参数。
莱维贝贝、·2022-12-08 08:47

直观理解常用的优化器：SGD，AdaGrad, Adam

随机梯度下降是深度学习常用的优化算法，但是在模型优化的过程中，随机梯度下降也可能会失效，，本文主要讨论随机梯度下降及其改进算法。一、随机梯度下降1.1基本概念参考：辨析梯度下降1.2随机梯度下降算法失效的原因首先，深度学习的优化本身就是一个难解的问题，因为可能会存在很多的局部最优点，此外，还有山谷和鞍点两种特殊情况。山谷：狭长的山间小道，左右两边都是峭壁；鞍点：一个方向上两头翘，一个方向上两头垂，
草莓酱土司·2022-12-08 08:14

NNDL 作业11：优化算法比较

目录编程实现图6-1，并观察特征观察梯度方向编写代码实现算法，并可视化轨迹分析上图，说明原理（选做）总结SGD、Momentum、AdaGrad、Adam的优缺点（选做）增加RMSprop、Nesterov
沐一mu·2022-12-08 06:00

d2l学习笔记 SGD的从0开始和调库实现

线性回归问题定义数据集从0开始的实现生成人工数据集随机访问样本线性回归模型损失函数优化函数训练函数调库实现\quad这是我在学习d2l以及使用Pytorch进行机器学习课程学习的过程中整理的笔记以及一些思考，希望能对同样开始学习机器学习的你有所帮助，如有问题还请交流更正。环境是PyCharm2022.2.1Python3.8(conda)pipinstalld2l,torch,torchvisio
BreadSuperman·2022-12-07 22:25

【NNDL 作业】优化算法比较 增加 RMSprop、Nesterov

optimizers["SGD"]=SGD(lr=0.9)optimizers["Momentum"]=Momentum(lr=0.3)optimizers["Nesterov"]=Nesterov(lr
HBU_David·2022-12-07 20:45

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）5.总结SGD、Momentum、AdaGrad、Adam的优缺点6.Adam这么好，
cdd04·2022-12-07 17:09

epoch、iteration和batchsize的区别

在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch
zdaiot·2022-12-07 16:14

batch、epoch、iteration的区别

在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；Iteration是batch
duanyuchen·2022-12-07 15:34

关于 epoch、 iteration和batchsize的区别

在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使
吴春旭呀·2022-12-07 15:33

参数epoch、 iteration和batchsize的区别

在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）i
立志成为超分菜鸟·2022-12-07 15:30

深度学习优化算法，Adam优缺点分析

深度学习优化算法经历了SGD->SGDM->NAG->AdaGrad->AdaDelta->Adam->Nadam这样的发展历程。
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2022-12-07 15:30

算法实习准备之三：（优化方法）梯度下降/正则化(过拟合)/激活函数

算法实习准备之三机器学习算法复习（一）深度学习的优化深度学习优化的困难和挑战梯度爆炸梯度消失梯度下降的基本方法批梯度下降BGD随机梯度下降SGD动量法Momentum自适应学习率算法AdagradAdam
雾容·2022-12-07 12:14
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他