随机梯度下降

PyTorch 深度学习实践 第5讲（用PyTorch实现线性回归 ）

本实例是批量数据处理，小伙伴们不要被optimizer=torch.optim.SGD(model.parameters(),lr=0.01)误导了，以为见了SGD就是随机梯度下降。
LuLu-jianfeng·2022-09-17 09:06

《PyTorch深度学习实践》学习笔记：加载数据集

.定义模型3.优化器和损失函数4.训练模型5.测试模型总结前言在前面的内容中，在训练的时候我们使用的都是全部的数据进行训练，这种在时间上比较好，但是性能上会遇到一些问题，比如鞍点；此外，我们还知道一种随机梯度下降
lizhuangabby·2022-09-17 09:05

优化算法 - Adam算法

在本节讨论之前，我们先详细回顾以下这些技术：随机梯度下降：在解决优化问题时比梯度下降更有效小批量随机梯度下降：在一个小批量中使用更大的观测值集，可以通过向量化提供额外效率。
未来影子·2022-09-17 07:38

Pytoch随笔（光速入门篇）

文章目录Pytorch梯度线性回归原始版高级API版优化器梯度下降算法(batchgradientdescentBGD)随机梯度下降法(StochasticgradientdescentSGD)小批量梯度下降
Huterox·2022-09-15 13:47

几种梯度下降的方法

(梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（BatchGradientDescent）、随机梯度下降（StochasticGradientDescent）以及小批量梯度下降
瑶翰来了·2022-09-13 18:39

深度学习--优化器

文章目录前言1随机梯度下降法2Momentum3AdaGrad4RMSProp5Adam前言优化器是引导神经网络更新参数的工具，深度学习在计算出损失函数之后，需要利用优化器来进行反向传播，完成网络参数的更新
于追梦丶·2022-09-13 17:29

梯度下降法算法比较和进一步优化

梯度下降法算法比较和进一步优化常见的梯度下降算法有：全梯度下降算法(Fullgradientdescent）,随机梯度下降算法（Stochasticgradientdescent）,小批量梯度下降算法（
程序猿_凡白·2022-09-13 17:28

如何优化模型？

对于基于梯度的优化算法，随机梯度下降法因为没迭代一次都更新一次参数，所以它走得弯路会相对较多，因为部分样本有可能是噪声数据。
黄小猿·2022-09-13 17:58

深度学习系列笔记02线性回归与softmax回归

文章目录1线性回归2基础优化方法2.1梯度下降2.2小批量随机梯度下降2.3总结：3线性回归从零开始实行3.1生成数据集函数笔记：3.2读取数据集函数笔记：3.3初始化模型参数3.4定义模型3.5定义损失函数
三木今天学习了嘛·2022-09-11 07:55

PySpark数据分析基础：pyspark.mllib.regression机器学习回归核心类详解(二)+代码详解

目录前言一、RidgeRegressionModel岭回归函数语法：参数说明：方法二、RidgeRegressionWithSGD随机梯度下降岭回归实例运用编辑点关注，防走丢，如有纰漏之处，请留言指教，
fanstuck·2022-09-08 07:27

猿创征文｜深度学习基于前馈神经网络完成鸢尾花分类

在本实验中，我们使用的损失函数为交叉熵损失；优化器为随机梯度下降法；评价指标为准确率。
猿童学·2022-09-08 07:27

Pytorch优化器全总结（一）SGD、ASGD、Rprop、Adagrad

目录写在前面一、torch.optim.SGD随机梯度下降SGD代码SGD算法解析1.MBGD（Mini-batchGradientDescent）小批量梯度下降法2.Momentum动量3.NAG(Nesterovacceleratedgradient
小殊小殊·2022-09-06 14:33

深度学习中的优化器原理总结（经典+前沿）

目录前言一、梯度下降的思想与批梯度下降法1.随机梯度下降法2.标准梯度下降法3.批梯度下降法二、经典的五类优化器1.SGD2.SGDM（SGDwithmomentum）3.Adagrad4.RMSProp5
深度不学习\doge·2022-09-06 07:49

PyTorch入门——张量&神经网络

PyTorch入门——张量&神经网络张量直接创建依据数值创建依据概率分布创建张量张量的操作神经网络随机梯度下降算法（SGD）缺点引入动量进行改进Nesterov动量改进PyTorch优化器损失函数防止过拟合张量直接创建
清上尘·2022-09-06 07:45

3.14 正向传播、反向传播和计算图

前面几节里我们使用了小批量随机梯度下降的优化算法来训练模型。
咕噜呱啦·2022-09-03 07:12

英伟达首席科学家：深度学习硬件的过去、现在和未来

20世纪80年代甚至更早就提出了大多数深度学习算法如深度神经网络、卷积神经网络、反向传播算法和随机梯度下降等。第二是数据集。训练神经网络
OneFlow深度学习框架·2022-08-27 07:22

非凸函数上，随机梯度下降能否收敛？能，但有条件，且比凸函数收敛更难

那么随机梯度下降能否收敛于非凸函数？针对这一问题，众多网友进行了一番讨论。
PaperWeekly·2022-08-26 07:13

为什么Adam 不是默认的优化算法?

尽管训练结果优越，但Adam和其他自适应优化方法与随机梯度下降(SGD)相比，有时的效果并不好。这些方法在训练数据上表现良好，但在测试数据却差很多。
·2022-08-25 11:41

李宏毅机器学习笔记p5-p8：误差和梯度下降

文章目录前言误差Error偏差Bias偏差过大方差Variance方差过大选择平衡偏差和方差的模型N-折交叉验证梯度下降调整学习率1.固定学习率2.自适应学习率——Adagrad随机梯度下降特征缩放梯度下降的理论基础总结前言这篇开始涉及到了我未涉及的领域
鸿鹄一夏·2022-08-25 07:32

优达学城《DeepLearning》2-1：卷积神经网络

本次遇到的深度学习核心概念：SGD优化器：GD就是梯度下降（GradientDescent），SGD就是随机梯度下降。
⊙月·2022-08-25 07:29

《机器学习》李宏毅P5-8

v.s.方差模型选择交叉验证N-折交叉验证（N-foldCrossValidation）梯度下降（GradientDesent）梯度下降解最优化问题调整学习率自适应学习率自适应学习率算法——Adagrad随机梯度下降法
静妮子i·2022-08-25 07:24

深度学习【使用pytorch实现基础模型、优化算法介绍、数据集的加载】

API1.1`nn.Module`1.2优化器类1.3损失函数1.4线性回归完整代码2.在GPU上运行代码3.常见的优化算法介绍3.1梯度下降算法（batchgradientdescentBGD）3.2随机梯度下降法
hike76·2022-08-24 15:46

英伟达首席科学家：深度学习硬件的过去、现在和未来

20世纪80年代甚至更早就提出了大多数深度学习算法如深度神经网络、卷积神经网络、反向传播算法和随机梯度下降等。第二是数据集。训练神经网络
·2022-08-24 11:55

【进阶版】机器学习之神经网络与深度学习基本知识和理论原理（07）

正向传播与反向传播(BP)随机梯度下降法(SGD)mini-batch梯度下降调节Batch_Size对训
王小王-123·2022-08-23 15:09

梯度下降的线性回归用python_python实现线性回归的梯度下降法

梯度下降的方式分为三种：批量梯度下降(BatchGradientDescent)，随机梯度下降(st
weixin_39845825·2022-08-22 07:35

深度学习----BP+SGD+激活函数+代价函数+基本问题处理思路

下例中，其激活函数为Sigmoid函数：2.随机梯度下降法计算全过程目标：更新权重
郭大侠写leetcode·2022-08-22 07:15

刘二大人 PyTorch深度学习实践 笔记 P3 梯度下降算法

刘二大人PyTorch深度学习实践笔记P3梯度下降算法P3梯度下降算法1、算法思路及存在的问题2、梯度下降算法代码实现3、随机梯度下降算法代码实现P3梯度下降算法1、算法思路及存在的问题穷举思路：全部找一遍
小白*进阶ing·2022-08-22 07:09

BP+SGD+激活函数+代价函数+基本问题处理思路

下例中，其激活函数为Sigmoid函数：2.随机梯度下降法计算全过程目标：更新权重和偏差。下例中，其激活函数为Sigmoid函数：3.激活函数3.1为什么需要激活函数？
Arrow·2022-08-22 07:59

实际工作中的高级技术（训练加速、推理加速、深度学习自适应、对抗神经网络）

目录一、训练加速1.基于数据的并行①ModelAverage（模型平均）②SSGD（同步随机梯度下降）③ASGD*（异步随机梯度下降）2.基于模型的并行二、推理加速1.SVD分解*2.HiddenNodeprune3
Billie使劲学·2022-08-05 07:41

【深度学习】(问题记录)＜对一个变量求梯度得到什么＞-线性回归-小批量随机梯度下降

前言博主主页：阿阿阿阿锋的主页_CSDN原文链接：原文看书看得感觉前言搭不上后语的时候，我常常忍不住怀疑是不是这书写得有点问题（有时甚至会在心里骂作者几句，怎么这么不小心）。然而经验和残留的理智仍然会提醒我，这大概率是我自己的问题。我的编程环境：Win10操作系统，python3.6初学不久，文章如有问题，欢迎指出。文章目录前言1.问题和代码2.分析问题总结1.问题和代码对于代码里sgd函数中的p
阿阿阿阿锋·2022-07-29 07:51

AL遮天传 DL-深度学习模型的训练技巧

一、优化器回忆：随机梯度下降(SGD)及动量(momentum)训练中需要调整学习率随机梯度下降算法对每批数据进行优化，其中J为损失函数：基于动量的更新过程：我们前面学习地更新的方法，都是对所有的变量进行调整的
老师我作业忘带了·2022-07-28 09:23

PyTorch深度学习入门 || 系列（三）——人工神经元

文章目录0写在前面1数据处理2模型定义2.1完整的模型定义3设置Loss函数4优化——梯度下降和随机梯度下降5完整代码0写在前面这一篇文章介绍人工神经元、人工神经网络。
仙女不扎马尾.·2022-07-26 07:48

分布式学习和联邦学习简介

首先，我们从一个简单的单机示例开始，然后将其发展为分布式随机梯度下降（D-SGD），最后是联邦学习（FL）。
deephub·2022-07-24 07:03

周志华《机器学习》笔记（五）——第5章 神经网络

1、正向传播（预测）2、反向传播（训练）3、问题与技巧（1）局部最优问题：训练多个神经网络，取最优；模拟退火；随机梯度下降；遗传算法（2）过拟合问题：早停、正则化（3）优化器：各种主流凸优化方法的归纳与总结
不会写代码的牛马·2022-07-23 13:21

深度学习之 8 深度模型优化与正则化

深度前馈网络2_水w的博客-CSDN博客目录深度模型优化与正则化1.网络优化（1）非凸优化问题（2）网络优化的改善方法2.小批量梯度下降（1）批量梯度下降(batchgradientdescent)（2）随机梯度下降
水w·2022-07-23 08:59

分布式学习和联邦学习简介

首先，我们从一个简单的单机示例开始，然后将其发展为分布式随机梯度下降（D-SGD），最后是联邦学习（FL）。
·2022-07-22 11:59

深度学习中常用的优化算法

1、SGD、BGD、Mini-BGD把这三个放到一起是因为其有很多共性，接下来就来一一介绍：1、SGD(随机梯度下降)SGD(stochasticgradientd
工藤旧一·2022-07-19 07:56

神经网络——优化器算法

二、有哪些类型1.随机梯度下降1.1BatchGradientDecent(BGD)1.2StochasticGradientDecent(SGD)随机1.3Mini-BachGradientDecent
jia++ming·2022-07-19 07:49

机器学习模型训练问答

答：使用随机梯度下降（SGD）或者小批量梯度下降（mini-batchgradientdescent），如果内存允许，甚至也可以使用批量梯度下降(batchgradientdesce
毛飞龙·2022-07-16 07:06

机器学习之训练模型

梯度下降方法批量梯度下降：使用整个训练集来计算每一步的梯度，当训练集太大，算法较慢随机梯度下降：每一步在训练集中随机选择一个实例，并且仅基于该单个实例计算梯度。
Penguinoodle·2022-07-16 07:58

Task04：详读西瓜书+南瓜书第5章

目录5.1神经元模型M-P精神元模型激活函数5.2感知机感知机（模型）损失函数（策略）随机梯度下降法（算法）5.3误差逆传播算法（BP算法）神经网络BP算法全局最小与局部极小5.1神经元模型这是生物上神经元的一个作用
weixin_45592399·2022-07-14 07:43

线性回归几种方法代码以及心得体会

基于上次玩了线性回归的批量梯度下降，我赶紧趁热打铁，写出了随机梯度下降、小批量梯度下降和牛顿法，发现它们真的很好玩。并且对比他们的迭代次数。
爱彤彤的小鱼·2022-07-14 07:31

梯度下降法详解+代码：批量梯度下降(Batch GD)、小批量梯度下降(Mini-batch GD)、随机梯度下降(Stochastic GD)

一个简单的线性回归模型，有两种不同的训练方法来得到模型的最优解:直接使用封闭方程进行求根运算，得到模型在当前训练集上的最优参数(即在训练集上使损失函数达到最小值的模型参数)。使用迭代优化方法:梯度下降(GD)，在训练集上，它可以逐渐调整模型参数以获得最小的损失函数，最终，参数会收敛到和第一种方法相同的的值。梯度下降的变体形式:批量梯度下降(BatchGD)、小批量梯度下降(Mini-batchGD
Sany 何灿·2022-07-14 07:48

机器学习笔记（十五）-大规模机器学习

机器学习笔记（十五）-大规模机器学习一、大型数据集的学习二、随机梯度下降三、小批量梯度下降四、随机梯度下降收敛五、在线学习六、映射化简和数据并行第一版       2022-07-10      
997and·2022-07-12 07:26

B站：李宏毅2020机器学习笔记 4 —— 深度学习优化 Optimization for Deep Learning

深度学习优化OptimizationforDeepLearning一、一些符号说明二、On-linevsOff-line三、梯度下降算法回顾1.SGD（StochasticGradientDescent）随机梯度下降
沐木金·2022-07-09 17:15

tensorflow:归一化和批归一化，激活函数，及dropout

在深度学习中，optimizer就是优化函数，这部分相当于机器学习中，自己写的优化函数部分，直接利用SGD：随机梯度下降算法激活函数的作用引入非线性因素，使得升级网络更为复杂。
秃头选拔赛形象大使·2022-07-09 07:44

深度学习入门之线性回归(PyTorch)

https://courses.d2l.ai/zh-v2/线性回归线性回归引入如何在美国买房房价预测一个简化模型模型设计衡量预估质量训练数据参数学习显示解总结基础优化方法梯度下降选择学习率小批量随机梯度下降选择批量大小总结线性回归从零开始实现导入头文件构造数据集读取数据集设置模型定义初始化模型参数定义模型定义损失函数定义优化函数训练验证线性回归的简洁实现生成数据集读取数据集定义模型使用框架预定义好
-素心向暖·2022-06-28 17:05

分布式机器学习：同步并行SGD算法的实现与复杂度分析（PySpark）

其中，SSGD算法每次依据来自个不同的工作节点上的样本的梯度来更新模型，设每个工作节点上的小批量大小为，则该算法等价于批量大小为的小批量随机梯度下降法。
orion-orion·2022-06-26 11:00

数值优化：经典随机优化算法及其收敛性与复杂度分析

相应地，从确定性优化算法出发，我们可以开发出各种随机优化算法，如随机梯度下降法、随机坐标下降法、随机方差缩减梯度法、随机（拟）牛顿法等。注意，
orion-orion·2022-06-22 21:00

神经网络相关的概念和术语

目录模型训练指标损失激活函数优化器正则化层其他模型训练编译：compile拟合：fit过拟合：overfit欠拟合：underfit随机初始化：radominitialization前向传播：fowardpass小批量随机梯度下降
天边一坨浮云·2022-06-16 07:36
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他