随机梯度下降SGD

NNDL 实验八 网络优化与正则化（2）批大小的调整

使用paddle.vision.models.LeNet快速构建LeNet网络使用paddle.io.DataLoader根据批大小对数据进行划分使用交叉熵损失函数标准的随机梯度下降优
HBU_David·2022-12-04 09:42

NNDL 作业11：优化算法比较

目录1.编程实现图6-1，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理（选做）1.为什么SGD会走“之字形”？其它算法为什么会比较平滑？
AI-2 刘子豪·2022-12-04 09:28

【原创】机器学习中的batch，iteration，step与epoch

【名词解释】机器学习中的batch，iteration，step与epochbatch，iteration，step与epoch为机器学习SGD算法中常见的几个超参，具体含义如下：batch：每次随机选取若干训练样本封装为一个
maze2023·2022-12-04 02:09

机器学习的epoch、iteration和batchsize什么意思

在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch
别出BUG求求了·2022-12-04 02:06

importError: cannot import name ‘SGD‘ from ‘keras.optimizers‘

problem:ImportError:cannotimportname'SGD'from'keras.optimizers'(/home/tux/conda/envs/huh/lib/python3.9
狗庄欺人太甚·2022-12-03 12:58

NNDL 作业11：优化算法比较

目录1.编程实现下式，并观察特征2.观察梯度方向3.编写代码实现算法，并可视化轨迹4.分析上图，说明原理1.为什么SGD会走“之字形”？其它算法为什么会比较平滑？
笼子里的薛定谔·2022-12-03 11:07

GCN的邻接矩阵归一化为什么能解决梯度消失和梯度爆炸

这可能会导致梯度消失或梯度爆炸，也会影响随机梯度下降算法（随机梯度下降算法通常被用于训练这类网络，且对每个输入特征的规模（或值的范围）都很敏感）1.1随机游走归一化简单起见，我们以随机游走归一化[1]为例
BinBalll·2022-12-03 11:57

人工智能面试总结-优化函数

展开说说梯度下降、批次梯度下降、随机梯度下降？说说Batch的影响？说说批量梯度下降与随机梯度下降区别？说说哪些方法对梯度引入动量进行改进？说说哪些方法对学习率引入动量进行改进？
啥都生·2022-12-03 09:37

【pytorch】Densenet121迁移学习训练可视化

一、前言由于要写相关的论文，仅仅只能做到训练和识别是远远不够的，必须有相关的训练过程的数据和图片来说明问题，所以我又又又写了篇关于迁移学习的文章，主要是更换了神经网络模型和增加了训练可视化这个模块,将SGD
Leonard2021·2022-12-03 08:35

pytorch使用笔记|torch.optim模块简介（内含optimizer和lr_schedular）

以常用的两个优化器SGD和Adam为例：o
yanghaoplus·2022-12-03 04:57

【Pytorch学习笔记】zero_grad梯度清零示例

文章目录前言一、分步示例代码1.引入库2.创建数据进行sgd梯度下降3.参数组，第一个参数(w1)的梯度4.执行zero_grad()之后，参数w1的梯度二、完整示例代码总结前言梯度清零示例，打印可视化
秋天的波·2022-12-03 04:49

深度学习：正则化-权重衰减-(1). 原理及实现

使用两者能够等效的随机梯度下降作为例子说明两者的不同。在使用一些自适应优化算法时最好使用解耦的权重衰减而不是L2L_2L2正则化。
Ten_yn·2022-12-02 23:21

深度学习——“学习”过程中的更新方法

前面通过使用参数的梯度，沿着梯度的方向更新参数，并重复这个过程，从而靠近最优参数，这个过程称为随机梯度下降法（SG
压垮草的骆驼·2022-12-02 23:45

学习率优化算法

优化算法设置学习率步长在深度学习神经网络模型中，通常使用标准的随机梯度下降算法更新参数，学习率代表参数更新幅度的大小，即步长。当学习率最优时，模型的有效容量最大，最终能达到的效果最好。
在下六斤·2022-12-02 19:30

深度学习总结

关于调参刷榜的时候，先用adam自动调节，最后几轮的时候用SGD算法，手动一点点调参。如果写自己的项目，需要自己写神经网络么？no！肯定是用现成的模型。
在下六斤·2022-12-02 19:00

PyTorch四种常用优化器测试

PyTorch四种常用优化器测试SGD、SGD（Momentum)、RMSprop、Adamimportosos.environ['KMP_DUPLICATE_LIB_OK']='TRUE'importtorchimporttorch.utils.dataasDataimporttorch.nn.functionalasFimportmatplotlib.pyplotasplt
想成为风筝·2022-12-02 17:17

优化器optimizer，BGD、SGD、MBGD、NAG、AdaGrad、Adadelta、RMSProp、Adam

优化器根据优化点不一样可分为三类：基本的梯度下降法包括：批量梯度下降法BGD、随机梯度下降法SGD、小批量梯度下降法MBGD（SGD）动量优化法包括：标准动量优化法Momentum，牛顿加速度动量优化法
zhaosuyuan·2022-12-02 17:17

CV复习：常用优化器总结

梯度下降法(GradientDescent)梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD,GradientDescent)，随机梯度下降法(SGD,StochasticGradientDescent
pomelo33·2022-12-02 17:46

每日一问06——常用的优化器（Optimizer）有哪些？该如何选择？

SGD通常训练时间最长，但是在好的初始化和学习率调度方案下，结果往往更可靠，但是SGD容易困在鞍点，这个缺点也不能忽略。
白羊by·2022-12-02 17:46

torch笔记十 | 4种经典优化器效果的比较

学自莫凡PYTHON1.实验结果在同一神经网络中，分别使用4种经典的优化器：SGD、Momentum、RMSprop和Adam实现数据的拟合。训练过程中的误差loss的变化曲线如下图所示。
Hygge MrYang·2022-12-02 17:16

优化器（SGD、SGDM、Adagrad、RMSProp、Adam等）

1.1SGDSGD全称StochasticGradientDescent，随机梯度下降，1847年提出。每次选择一个mini-batch，而不是全部样本，使用梯度下降来更新模型参数。
blue_sky_wait_me·2022-12-02 17:14

8.优化器

文章一、优化器1.SGD(Stochasticgradientdescent)2.Momentum3.NAG(Nesterovacceleratedgradient)4.Adagrad5.RMSprop6
booze-J·2022-12-02 17:14

常用的优化器合集

目录一、优化器二、各优化器1、梯度下降法1.1梯度下降（GD）1.2、随机梯度下降（SGD）1.3、小批量梯度下降法（MBGD）1.4传统梯度优化的不足(BGD,SGD,MBGD)2、动量优化法2.1、
小wu学cv·2022-12-02 17:44

层标准化详解（Layer Normalization）

对于前向神经网络应用BatchNorm，使用简单SGD优化器，训练速度也能有较大提升。
十里清风·2022-12-02 13:45

机器学习中最优化算法总结（理论+实践）

时，相信很多人把优化算法直接填上Adam，然后发现准确率不错，但是如果想真正研究机器学习，光会用是远远不够的，下面介绍目前机器学习中主流的优化算法：文章目录0、引言1、梯度下降1.1传统梯度下降1.2随机梯度下降
努力改掉拖延症的小白·2022-12-02 07:37

Pytorch中optimizer类初始化传入参数分析（分析源码）

今天在跟随沐神的课看见了以前没见过SGD参数传入方式（才学没多久，见识浅陋）：trainer=torch.optim.SGD([{'params':params_1x},{'params':net.fc.parameters
小廖磨洋工·2022-12-02 06:27

Pytorch框架学习个人笔记3---梯度下降

文章目录前言一、算法原理回顾二、代码实现2.1代码示例2.2结果展示三、算法改进（SGD）3.1改进原因3.2SGD3.3改进后的代码实现总结前言这一讲是关于梯度下降算法及其改进的讲解，在NLP课程的往期博客中
疯_feng·2022-12-02 05:42

深度学习之环境配置 jupyter notebook

多层感知机卷积神经网络：LeNet,AlexNet,VGG,Inception,ResNet循环神经网络：RNN,GRU,LSTM,seq2seq注意力机制：Attention,Transformer优化算法：SGD
彭祥.·2022-12-01 19:40

pytorch：model.zero_grad()和optimizer.zero_grad()、net.parameters()、requires_grad

其中Optimizer可以是Adam、SGD等优化器。
开心邮递员·2022-12-01 15:50

torch.optim 中的优化器

优化器主要是在模型训练阶段对模型可学习参数进行更新,常用优化器有SGD，RMSprop，Adam等。优化器初始化时传入传入模型的可学习参数，以及其他超参数如lr，momentum等。
在西湖雾雨中起舞·2022-12-01 14:05

纽约大学深度学习PyTorch课程笔记（自用）Week5

纽约大学深度学习PyTorch课程笔记Week5Week55.1优化工具15.1.1梯度下降5.1.2随机梯度下降小批次处理5.1.3动量直观实用指南为什么动量有用？
cosθ·2022-12-01 08:14

纽约大学深度学习PyTorch课程笔记（自用）Week2

纽约大学深度学习PyTorch课程笔记Week22.Week22.1梯度下降和反向传播算法导论2.1.1梯度下降优化算法参数化模型梯度下降2.1.2在传统神经网络中随机梯度下降和反向传播算法的优势随机梯度下降的优势传统神经网络通过非线性函数进行反向传播通过加权和进行反向传播
cosθ·2022-12-01 08:14

Pytorch：optim.zero_grad()、pred=model(input)、loss=criterion(pred,tgt)、loss.backward()、optim.step()的作用

loss.backward()；optimizer.step()model=MyModel()criterion=nn.CrossEntropyLoss()optimizer=torch.optim.SGD
u013250861·2022-12-01 08:42

加载数据集（b站刘二大人）

参考：自用，在意请联系删除Pytorch深度学习——加载数据集（b站刘二大人）P8讲加载数据集_努力学习的朱朱的博客-CSDN博客1.①全部的数据都用（Batch）②随机梯度下降：只用一个样本只用一个样本可以得到比较好的随机性
非常可爱的刘妹妹·2022-12-01 08:08

吴恩达机器学习课程笔记+代码实现(26)17.大规模机器学习(Large Scale Machine Learning)

17.大规模机器学习(LargeScaleMachineLearning)文章目录17.大规模机器学习(LargeScaleMachineLearning)17.1大型数据集的学习17.2随机梯度下降法
geekxiaoz·2022-12-01 07:07

【Machine Learning, Coursera】机器学习Week10 大规模机器学习笔记

ML:LargeScaleMachineLearning本节内容：适用于大规模数据的梯度下降方法及如何确保算法收敛机器学习概念：批量梯度下降(BatchGradientDescent)随机梯度下降(StochasticGradientDescent
Aki-Z·2022-12-01 07:03

吴恩达机器学习笔记60-大规模机器学习（Large Scale Machine Learning）

一、随机梯度下降算法之前了解的梯度下降是指批量梯度下降；如果我们一定需要一个大规模的训练集，我们可以尝试使用随机梯度下降法（SGD）来代替批量梯度下降法。
weixin_34122810·2022-12-01 07:33

机器学习笔记8——大规模机器学习(Large scale machine learning)

概要：大规模机器学习用于处理大数据集一、随机梯度下降法1.1产生由于梯度下降法（批量梯度下降法，每次都需要考虑所有的样本）在计算规模很大的数据时比较慢，所以产生了随机梯度下降法1.2定义首先随机打乱所有数
余生最年轻·2022-12-01 07:57

吴恩达机器学习笔记week17——大规模机器学习 Large scale machine learning

吴恩达机器学习笔记week17——大规模机器学习Largescalemachinelearning17-1.学习大数据集Learningwithlargedatasets17-2.随机梯度下降Stochaticgradientdescent
Saulty·2022-12-01 07:22

【机器学习】课程笔记16_大规模机器学习(Large Scale Machine Learning)

大规模机器学习大型数据集的学习（LaerningwithLargeDatasets）随机梯度下降（StochasticGradientDescent）小批量梯度下降（Mini-BatchGradientDescent
雀栎·2022-12-01 07:49

神经网络调参技巧：warmup策略

有一些论文对warmup进行了讨论，使用SGD训练神经网络时，在初始使用较大学习率而后期改为较小学习率在各种任务场景下都是一种广为使用的做法，在实践中效果好且最近也有若干文章尝试对其进行了理论解释。
炼丹笔记·2022-12-01 00:58

训练时的Batchsize和Epoch之间的区别是什么？

阅读这篇文章后，你会知道：·随机梯度下降是一种迭代学习算法，它使用训练数据集来更新模型。·批量大小是梯度下降的超参数，在模型的内部参数更新之前控制训练样本的数量。
小镇大爱·2022-11-30 21:02

epoch和iteration的区别

在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使用
冷落清秋节·2022-11-30 21:02

在机器学习中epoch, iteration, batch_size的含义区别

batch_size(批大小)指的是在SGD(随机梯度下降法)中选择的一个批次的大小iterations(迭代)指的是训练跑完一个batch_size样本epoch(迭代次数)1个epoch等于使用训练集中的全部样本训练一次
ACMSunny·2022-11-30 21:31

深度学习基础概念-Batch、Iteration、Epoch理解

在模型训练时，我们选择优化算法，如梯度下降法（全批量梯度下降法BGD、小批量梯度下降法mini-Batch、随机梯度下降法SGD），对模型参数进行调整训练。
Just Jump·2022-11-30 21:31

深度学习Day03

SGD五大算法大的gradient会被小的牵制
非畅6 1·2022-11-30 19:59

神经网络和深度学习-加载数据集DataLoader

DataLoaderDataloader的概念dataloader的主要目标是拿出Mini-Batch这一组数据来进行训练在处理多维特征输入这一文章中，使用diabetes这一数据集，在训练时我们使用的是所有的输入x，在梯度计算采用的是随机梯度下降
Ricardo_PING_·2022-11-30 19:59

Pytorch学习笔记【8】---经典MNIST

经典MNIST1.网络结构2.代码3.API分析torch.utils.data.DataLoader()torch.nn.init.kaiming_normal_()optimizer=optim.SGD
AndSonder·2022-11-30 17:55

零基础入门深度学习笔记-第一课（入门介绍及房价回归案列）

波士顿房价线性回归预测模型模型构建数据处理封装成loaddata函数模型设计训练配置训练过程梯度下降法计算梯度使用Numpy进行梯度计算计算梯度总代码确定损失函数更小的点封装train函数训练扩展到全部参数随机梯度下降法飞浆高层
系统随机·2022-11-30 15:08

pytorch softmax回归【从零实现+简洁实现】

文章目录一、前言二、实现1.加载并测试数据集2.从零实现2.简洁实现一、前言从零实现构造数据集迭代器实现模型初始化超参数定义softmax操作定义损失函数【交叉熵CrossEntropyLoss】定义优化算法SGD
什么都干的派森·2022-11-30 14:42
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他