次梯度

次梯度与次微分

次梯度与次微分为了看懂为什么在logisticregression里面加上正则化可以约束待估计的参数的稀疏性，需要对凸优化方法里面的部分知识，现在记录一下这方面的内容既然是凸优化，首先就要有一个凸函数，
omadesala·2022-12-19 06:05

#深入探究# Tensorflow 中 batch_size 的设置问题

在学习tensorflow时，有几个地方都能设置batch_size参数，这里对batch_size的设置做一个总结首先强调一下，这个batch_size的作用就是规定每次梯度更新的样本数量（规定小批量梯度下降每次梯度更新的样本数量
energy_百分百·2022-12-17 15:11

方向导数、梯度、等高线、数量场与向量场

之前用过几次梯度下降算法来求解一些优化问题，但对梯度的具体意义并不是很理解。前一段时间翻了一遍高教的《简明微积分》，对梯度概念总算有了些理解，在这记录一下。
lijil168·2022-12-14 13:00

Proximal Policy Optimization Algorithms

标准策略梯度方法对每个数据样本执行一次梯度更新，本文提出一种新的目标函数，使多个小批量更新阶段成为可能。
西西弗的小蚂蚁·2022-12-11 11:11

深度学习--梯度下降

1,基本形式如上图:上标表示第几次梯度下降,下标表示第几个参数小心调整学习率太大或太小的情况,在训练时,最好把loss与参数变化的图画出来.自适应的学习率,学习率会越来越小.但是更好的是,不同的参数给不同的学习率
pu_pupupupupu·2022-12-10 16:56

最优化理论【第六章（次梯度算法）作业】

参考：https://bicmr.pku.edu.cn/~wenzw/optbook/pages/lasso_subgrad/demo.html如有错误或者不足之处，欢迎大家留言指正！
小龙呀·2022-12-09 13:10

深度学习中epoch、batch_size、steps的含义

张图片全部训练完成一次即为一个epoch；batch_size：每次训练10张图片，即batch_size=10；steps：steps=1000/10（整除则结果为steps，未能整除则结果+1为steps），表示更新多少次梯度
剑哥的后仰跳投·2022-12-08 22:15

优化函数SGD/AdaGrad/AdaDelta/Adam/Nadam

如果每执行一次梯度下降就遍历整个训练样本将会耗费大量的计算机资源。在所有样本中随机抽取一部分(mini-batc
小媛在努力·2022-12-08 09:40

人工智能面试总结-优化函数

展开说说梯度下降、批次梯度下降、随机梯度下降？说说Batch的影响？说说批量梯度下降与随机梯度下降区别？说说哪些方法对梯度引入动量进行改进？说说哪些方法对学习率引入动量进行改进？
啥都生·2022-12-03 09:37

神经网络基础知识点自学整理

批量模式：每次梯度下降法迭代时对所有样本计算损失函数值，计算出对这些样本的总
玉米炸冰·2022-11-30 21:50

机器学习中如何将数据集拆分为mini_batch?numpy代码实现

传统的机器学习，完成一次梯度更新，迭代参数，需要所有的样本去计算损失函数，随着数据集越来越大，这样会使得模型训练的速度越来越慢。
Evan_CS·2022-11-29 08:26

Boosting Fast Adversarial Training with Learnable Adversarial Initialization

通过可学习的对抗初始化促进快速对抗训练为了提高训练效率，在fastAT中采用快速梯度符号法FGSM，只计算一次梯度，但是鲁棒性不能令人满意。
你今天论文了吗·2022-11-28 13:59

梯度累积算法

传统的训练方式都是训练一个batch的样本就执行一次梯度下降算法更新参数，梯度累积则是设置一个累积步数nnn，每训练nnn个batch才更新一次参数。例如，batchsize设置为32，
loki2018·2022-11-22 05:34

pytorch梯度累加探索

举个简单例子，,求一次梯度为2x=2(x=1)importtorchx=torch.tensor(1.0,requires_grad=True)y1=x**2y1.backward()print(x.grad
3DYour·2022-11-21 22:33

正则化的岭回归、套索回归以及弹性网络

文章目录一.简介二.岭回归2.1简介2.2岭回归成本函数2.3模型训练方法三.Lasso回归3.1简介3.2Lasso回归成本函数3.2Lasso回归次梯度向量3.3操作实例四.弹性网络4.1简介4.2
jakiechaipush·2022-11-16 10:16

cs231n--正则化与优化

Regularization正则化Optimization优化batch是一次运行的所有数据集，每次只更新一次梯度下降，计算很慢。
黄昏贩卖机·2022-11-10 10:59

次梯度方法求解拉格朗日对偶问题

次梯度方法求解拉格朗日对偶问题搬运-拉格朗日对偶问题的次梯度求解方法clcclearall%用次梯度法求解x(1)^2+x(2)^2的最小值，约束条件为：2*x(1)+x(2)＜＝－４%作者：上海交通大学徐祥
虾米小飞·2022-10-27 09:13

使用Pandas-csv记录训练梯度

1、分析首先，我们能够轻松拿到梯度，格式如：{name:value,name1:value1,…}，而每次梯度更新后都能拿到，name也就是从模型头到模型尾每层的名字。
我是一个对称矩阵·2022-10-13 07:30

【炼丹随记】梯度累加

具体介绍如下计算过程：把一个大的batch分成N个小的batch计算梯度，每次梯度除以累计次数，然后进行梯度累加，这样N次累加后的梯度就近似为大batch计算出来的梯度。
magic_ll·2022-06-29 12:25

吴恩达机器学习课程-第十周

1.大规模机器学习1.1大型数据集的学习在线性回归模型中，如果使用的数据集样本数很大，由于每进行一次梯度下降都需要计算整个训练集的误差的平方和，这需要较大的计算量。
J___code·2022-06-15 07:09

数值优化：经典一阶确定性算法及其收敛性分析

投影次梯度法可以解决梯度下降
orion-orion·2022-06-11 22:00

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks Chelsea 论文笔记

本文提出的算法的关键思想是训练模型的初始化参数，这样当模型在处理来自一个新任务的少量数据时，通过一次或几次梯度更新后，模型就能在新任务中表现出较好的性能。
头柱碳只狼·2022-06-07 07:57

机器学习之特征收缩与归一化

二、特征收缩程度三、归一化总结问题的引出在一次梯度下降中是曲折前进的，但是有一个问题就是特征值的大小是不一定，这会导致要迭代很多遍。
醉卧考场君莫笑·2022-04-30 07:03

SCAFFOLD: Stochastic Controlled Averaging for Federated Learning

客户漂移”(client-drift)的现象，这会导致系统的收敛不稳定或者缓慢贡献提出了考虑到clientsampling和数据异构的一个更接近的收敛边界证明即便没有clientsampling，使用全批次梯度
クズの本懐·2022-03-04 07:19

【MindSpore:跟着小Mi一起机器学习吧！】大规模机器学习

以线性回归模型为例，每一次梯度下降迭代都需要计算训练集的误差平方和，通常20次迭代就已经是非常大的计算量了。当然啦，从逻辑上来说，我们首
·2022-01-29 17:08

机器学习之梯度下降法的代码实现

缺点：样本数量多时，收敛速度慢，更新一次梯度需要很长时
hacker_nevermor·2021-11-09 15:36

【吴恩达机器学习笔记】10大规模机器学习、应用实例：图片文字识别

以线性回归模型为例，每一次梯度下降迭代，都需要计算训练集的误差的平方和，如果学习算法需要有20次迭代，这便已经是非常大的计算代价。首先应该做的事是去
贪钱算法还我头发·2021-02-13 10:23

Pytorch(3):梯度下降，激活函数与loss，反向传播算法，交叉熵，MNIST测试实战

可以在lr上加上每次梯度下降时刻的梯度的平
weixin_51182518·2021-02-01 12:31

SVM解决垃圾邮件分类问题-numpy实现Pegasons（机器学习作业03）

解决垃圾邮件分类问题-numpy实现Pegasons参考资料SVM-Pegasos实现_diskdj的博客-CSDN博客Pegasos算法-刘洪江的流水帐(liuhongjiang.github.io)svm随机次梯度下降算法
肆十二·2020-12-05 19:19

图像对抗算法-攻击篇（I-FGSM）

但是FGSM算法只涉及单次梯度更新，有时候单次更新并不足以攻击成功，因此，在此基础上推出迭代式的FGSM，这就是I-FGSM（i
AI之路·2020-09-14 15:53

优化器类别

缺点：梯度随机性很大，往往参数更新方向并不是精准的梯度下降方向，更甚者导致多次梯度互相抵消，导致网络训练周期很长。
~℃~·2020-09-10 21:20

机器学习

第一周：1.随机梯度下降和批量梯度下降的区别：随机梯度下降：随机这里的意思是用一个样本代替所有样本来调整参数，实现起来就是调整参数一次只计算一次梯度批量梯度下降：其实批量的梯度下降就是一种折中的方法，他用了一些小样本来近似全部的样本
猛寇龙崽·2020-08-26 15:13

教育日记

这个练习是整理和复习之后的练习，练习设计有层次梯度，总体上较为简单。第一节课讲了108页，后面是练习。常规练习算数和看图列式，在班上走了一圈，发展掌握较好。不过，题目也出
qingqianshiguan·2020-08-24 11:48

gradient_accumulation_steps

假设原来的batchsize=10,数据总量为1000，那么一共需要100trainsteps，同时一共进行100次梯度更新。
要努力的鱼～·2020-08-23 08:08

深度学习与神经网络-吴恩达（Part2Week2）-优化算法

因为只有处理完所有的训练样本才能进行一次梯度下降法，然后还需要重新处理所有的训练数据才能进行下一步梯度下降法。
DataScientistGuo·2020-08-23 07:19

分布式优化和去中心化优化概述

分布式优化和去中心化优化概述陆嵩中科院数学与系统科学研究院科学与工程计算国家重点实验室文章目录分布式优化和去中心化优化概述简介预备知识优化基础理论梯度下降方法（GD）GradientDescent步长选取收敛率约束优化问题的拉格朗日乘数法次梯度算法图谱理论基础平均一致性问题模型问题梯度算法收敛性结果对于去中心化的梯度下降方法凸问题的
lsec小陆·2020-08-20 16:36

Pytorc_Task6

从公式上可看出：当本次梯度下降-dx*lr的方向与上次更新量v的方向
haisong chen·2020-08-15 22:18

深度学习常用优化器优缺点

从训练集样本中随机选取一个batch计算一次梯度，更新一次模型参数。缺点：1.选择恰当的
xia.sir·2020-08-13 22:52

各类优化方法总结（从SGD到FTRL）

轮要更新的某参数是wtwt，lossloss函数关于wtwt的偏导数表示为gtgt，即：gt=∂L∂wtgt=∂L∂wt1.SGDwt=wt−1−η⋅gtwt=wt−1−η⋅gt可以对一个样本都计算一次梯度并更新一次
蕉叉熵·2020-08-13 18:00

PyTorch入门实战教程笔记（十八）：过拟合2

ｚk+1=βｚk-▽f(wk)，所以ｚk是某一种算子，它是上一次梯度的方
Star·端木·2020-08-13 12:55

神经网络入门笔记（一）

###mini-batchmini-batchgradientdecent，是小批的梯度下降数据，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来比较稳定
@作死星人·2020-08-13 11:38

次梯度（Subgradients）

ConvexOptimizationbasics）凸优化基础（ConvexOptimizationbasics）二、一阶梯度方法（First-ordermethods）梯度下降（GradientDescent）次梯度
JimmyCM·2020-08-04 09:31

近端梯度法（Proximal Gradient Descent）

ConvexOptimizationbasics）凸优化基础（ConvexOptimizationbasics）二、一阶梯度方法（First-ordermethods）梯度下降（GradientDescent）次梯度
JimmyCM·2020-08-04 09:59

梯度下降（Gradient Descent）

ConvexOptimizationbasics）凸优化基础（ConvexOptimizationbasics）二、一阶梯度方法（First-ordermethods）梯度下降（GradientDescent）次梯度
JimmyCM·2020-08-04 09:59

最优化方法 22：近似点算法 PPA

在进入具体的优化算法后，我们首先讲了基于梯度的，比如梯度下降(GD)、次梯度下降(SD)；然后又讲了近似点算子，之后讲了基于近似点算子的方法，比如近似点梯度下降(PG)、对偶问题的近似点梯度下降(DPG
Bonennult·2020-08-04 06:31

最优化方法 19：近似梯度下降

前面讲了梯度下降法、次梯度下降法，并分析了他们的收敛性。上一节讲了近似梯度算子，我们说主要是针对非光滑问题的，这一节就要讲近似梯度算子在非光滑优化问题中的应用。
Bonennult·2020-08-04 06:30

最优化方法 20：对偶近似点梯度下降法

前面讲了梯度下降、次梯度下降、近似点梯度下降方法并分析了收敛性。一开始我们还讲了对偶原理，那么如果原问题比较难求解的时候，我们可不可以转化为对偶问题并应用梯度法求解呢？
Bonennult·2020-08-04 06:30

凸优化学习笔记16：次梯度 Subgradient

前面讲了梯度下降的方法，关键在于步长的选择：固定步长、线搜索、BB方法等，但是如果优化函数本身存在不可导的点，就没有办法计算梯度了，这个时候就需要引入次梯度(Subgradient)，这一节主要关注次梯度的计算
Bonennult·2020-08-04 06:29

最优化方法 18：近似点算子 Proximal Mapping

前面讲了梯度下降法，分析了其收敛速度，对于存在不可导的函数介绍了次梯度的计算方法以及次梯度下降法，这一节要介绍的内容叫做近似点算子(Proximalmapping)，也是为了处理非光滑问题。
Bonennult·2020-08-04 06:29

凸优化学习笔记17：次梯度下降法

那如果现在对于不可导的函数，我们就只能沿着次梯度下降，同样会面临步长的选择、方向的选择、收敛性分析等问题。
Bonennult·2020-08-04 06:29
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他