E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sgd
TensorFlow 2.0 保存、读取、绘制模型
model=Sequential()model.add(Flatten(input_shape=(28,28)))model.add(Dense(units=10,activation='softmax'))
sgd
herosunly
·
2020-08-26 22:44
各种优化方法总结比较(
sgd
/momentum/Nesterov/adagrad/adadelta)
前言这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。Batchgradientdescent梯度更新规则:BGD采用整个训练集的数据来计算costfunction对参数的梯度：缺点:由于这种方法是在一次更新中，就对整个数据集计算梯度，所以计算起来非常慢，遇到很大量的数据集也会非常棘手，而且
weixin_30419799
·
2020-08-26 16:56
人工智能
Accurate Large Minibatch
SGD
:Training ImageNet in 1 Hour
对于传统的
SGD
：（1）（2）这里是作者提出的：当minibatchsize乘以k，也即总得batchzi
纪源丰
·
2020-08-26 16:01
优化算法-梯度下降法:BGD(批梯度)、
SGD
（随机梯度）、小批量梯度（MBGD）
（1）批梯度下降法（BatchGradientDescent）梯度下降法和最小二乘法相比，梯度下降法需要选择步长，而最小二乘法不需要。梯度下降法是迭代求解，最小二乘法是计算解析解。如果样本量不算很大，且存在解析解，最小二乘法比起梯度下降法要有优势，计算速度很快。但是如果样本量很大，用最小二乘法由于需要求一个超级大的逆矩阵，这时就很难或者很慢才能求解解析解了，使用迭代的梯度下降法比较有优势。损失函数
Foneone
·
2020-08-25 17:15
机器学习理论学习
随机梯度下降和批量梯度下降的区别
看了斯坦福大学讲的梯度下降算法的视频，对其中的批量梯度下降算法(batchgradientdescentalgorithm，BGD)和随机梯度下降算法(Stochasticgradientdescentalgorithm，
SGD
gyl2016
·
2020-08-25 17:29
梯度下降算法
模式识别课堂笔记——优化函数总结
1、
SGD
随机梯度下降是最原始的优化函数优点:算法收敛速度快(在BatchGradientDescent算法中,每轮会计算很多相似样本的梯度,这部分是冗余的)可以在线更新有几率跳出一个比较差的局部最优而收敛到一个更好的局部最优甚至是全局最优缺点
Mosay_dhu
·
2020-08-25 17:20
深度学习基础
简单解释Momentum,RMSprop,Adam优化算法
我们初学的算法一般都是从
SGD
入门的，参数更新是：它的梯度路线为：但是可以看出它的上下波动很大，收敛的速度很慢。
diaoyan2763
·
2020-08-25 16:52
NMF(非负矩阵分解)的
SGD
（随机梯度下降）实现
NMF把一个矩阵分解为两个矩阵的乘积，可以用来解决很多问题，例如：用户聚类、item聚类、预测（补全）用户对item的评分、个性化推荐等问题。NMF的过程可以转化为最小化损失函数（即误差函数）的过程，其实整个问题也就是一个最优化的问题。详细实现过程如下：（其中，输入矩阵很多时候会比较稀疏，即很多元素都是缺失项，故数据存储采用的是libsvm的格式，这个类在此忽略）[java]viewplainco
DHD_only
·
2020-08-25 00:37
算法
白话NMF（Non-negative Matrix Factorization）——Matlab 实现
方法一：在PMF中使用
SGD
【随机梯度下降】进行优化时，使用如下的迭代公式：其中P、Q分别代表原始矩阵R的两个维度的隐含矩阵，在推荐应用中，一般讲P看做用户矩阵、Q看做物品矩阵。
iteye_18070
·
2020-08-25 00:03
推荐
算法
数据挖掘
pytorch model
目录网络定义model.named_children返回名字和操作model.modules()可用于参数初始化其他的可以参考：model.parameters()||torch.optim.
SGD
(params
无左无右
·
2020-08-24 18:03
批归一化Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift论文详解
论文地址：https://arxiv.org/abs/1502.03167v2目录一、概览MotivationSolutionBenefits实验验证二、问题背景2.1
SGD
中minibatch2.2梯度
祥瑞Coding
·
2020-08-24 17:47
机器学习
论文解析
花书+吴恩达深度学习（五）正则化方法（防止过拟合）
数据集增强5.参数共享如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~花书+吴恩达深度学习（五）正则化方法（防止过拟合）花书+吴恩达深度学习（六）优化方法之Mini-batch（
SGD
zhq9695
·
2020-08-24 05:37
深度学习
对于gbdt的一些理解
相对于lr每次用
sgd
算法迭代时，每条样本用此条样本的梯度来迭代。gbdt每次迭代，实际上是用所有样本数据的残差重新进行一次训练，得到一个弱分类器。
_吴天德
·
2020-08-24 04:30
算法经验
论文：accurate ,large minibatch
SGD
：Training ImageNet in 1 Hour
Abstract:这篇论文发现，在ImageNetdataset上使用largeminibatch会导致优化困难，但是当这个问题解决了，模型具有更好的泛化能力，并且没有精度上的损失为达到这个目的，我们提出了hyper-parameter-freelinearscalingrule，用来调整学习率，学习率是有关于minibatchsize的一个函数，还提出了一个warmupscheme用来克服训练早
xxiaozr
·
2020-08-24 04:01
论文
DL4J中文文档/分布式深度学习/技术说明
本指南假定读者熟悉分布式训练中的关键概念，如数据并行和同步与异步
SGD
。这篇博客文章可以提供一个介绍。
bewithme
·
2020-08-23 23:01
AI
关于epoch和batch-size以及iteration
值得注意的是，在深度学习领域中，常用带mini-batch的随机梯度下降算法（StochasticGradientDescent,
SGD
）训练深
Arthur-Ji
·
2020-08-23 23:29
人工智障理论
优化方法总结以及Adam存在的问题(
SGD
, Momentum, AdaDelta, Adam, AdamW，LazyAdam)
文章目录优化方法概述1.整体框架1.1
SGD
1.2Momentum1.2.1理解指数加权平均1.2.2偏差修正1.3AdaGrad1.4Nesterov1.5AdaDelta/RMSProp1.6Adam
糖葫芦君
·
2020-08-23 08:11
算法
深度学习
训练过程--梯度下降算法（
SGD
、adam等）
SGD
系列1）Batchgradientdescent(批量梯度下降) 在整个数据集上 每更新一次权重，要遍历所有的样本，由于样本集过大，无法保存在内存中，无法线上更新模型。
whitenightwu
·
2020-08-23 08:40
算法的实际使用
机器学习中几种优化算法的比较（
SGD
、Momentum、RMSProp、Adam）
BGD与
SGD
首先，最简单的BGD以整个训练集的梯度和作为更新方向，缺点是速度慢，一个epoch只能更新一次模型参数。
SGD
就是用来解决这个问题的，以每个样本的梯度作为更新方向，更新次数更频繁。
weixin_34235105
·
2020-08-23 08:34
【实验操作】关于深度学习中的批处理数据的问题——epochs，batch_size，iterations
特点：每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习2、随机梯度下降（
SGD
——stochastic
weiwanshu
·
2020-08-23 07:46
神经网络相关
Keras 自定义优化器，实现小内存大Batch更新梯度
我的需求是，
SGD
+Momentum实现梯度累
纸上得来终觉浅～
·
2020-08-23 06:07
keras
Adam那么棒，为什么还对
SGD
念念不忘 (1)
“说到优化算法，入门级必从
SGD
学起，老司机则会告诉你更好的还有AdaGrad/AdaDelta，或者直接无脑用Adam。
lvhhh
·
2020-08-23 06:42
机器学习
SGD
,Adam,momentum等优化算法比较
文章目录
SGD
,Adam,momentum等优化算法总结一、最基本的优化算法1.
SGD
2.Momentum二、自适应参数的优化算法1.Adagrad2.RMSprop3.Adam三、二阶近似的优化算法5
Leokb24
·
2020-08-23 06:30
算法面试
优化算法
SGD
、Momentum、RMSProp、Adam等优化算法比较
算法名称公式解释牛顿法θt=θt−1−Ht−1−1⋅▽θt−1J(θt−1)\theta_t=\theta_{t-1}-H^{-1}_{t-1}·▽_{\theta_{t-1}}J(\theta_{t-1})θt=θt−1−Ht−1−1⋅▽θt−1J(θt−1)Ht−1−1H^{-1}_{t-1}Ht−1−1为第t-1轮迭代时海森矩阵逆矩阵，即目标函数对参数θt−1\theta_{t-1}θt−1
qzq2514
·
2020-08-23 04:19
算法
深度学习
“Could not interpret optimizer identifier” error in Keras
Couldnotinterpretoptimizeridentifier”errorinKeras原因是模型(model)和层(layers)使用tensorflow.python.keras(或者tensorflow.keras)API，优化器optimizer（
SGD
直觉与逻辑
·
2020-08-22 22:44
tensorflow
deep-learning
深度学习中经常看到epoch、 iteration和batchsize，下面按自己的理解说说这三个的区别：
在深度学习中，一般采用
SGD
训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch
谢润忠
·
2020-08-22 22:59
最优化算法总结（批量梯度下降【BGD】，随机梯度下降【
SGD
】），牛顿法，拟牛顿法）
最优化算法总结最优化方法主要有：梯度下降（批量梯度下降【BGD】，随机梯度下降【
SGD
】），牛顿法，拟牛顿法当目标函数是凸函数时，梯度下降每次求解是全局解，其解不保证全局最优解每次通过求导找出梯度方向（
老男孩-Leo
·
2020-08-22 22:21
机器学习
推荐系统
pytorch 实现LSTM
frommathimportpiimporttorchimporttorch.optimx=torch.tensor([pi/3,pi/6],requires_grad=True)optim=torch.optim.
SGD
向阳争渡
·
2020-08-22 15:07
NLP
联邦学习的推断攻击
我们用一张图来描述联邦学习的流程： 参与者有2个及以上，他们想利用各方的数据集合作训练一个模型但是又不想让自己的数据集泄露给server，所以他们约定了一份协议：采用同一种机器学习结构（比如DNN）和算法（比如
SGD
我会嘤嘤嘤
·
2020-08-22 14:56
机器学习
深度学习
安全
优化算法的选择(附执行代码)
文章目录知识准备--指数加权平均1.
SGD
2.Momentum3.AdaGrad4.RMSProp5.Adam梯度更新算法的选择Learningratedecay局部最优localoptima知识准备–
得克特
·
2020-08-22 14:26
深度学习
与神经网络学习相关的技巧
在之前的专题中，我们介绍了梯度法来更新参数，以逐渐靠近最优参数，这个过程就是随机梯度下降法(
SGD
)，其核心思想是参数的更新方向是沿着变化最大的方向进行，而我们都
漩涡鸣雏
·
2020-08-22 14:55
Python机器学习
深度学习最全优化方法总结比较（
SGD
，Adagrad，Adadelta，Adam，Adamax，Nadam）
https://blog.csdn.net/bitcarmanlee/article/details/77825278?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevan
腾云鹏A
·
2020-08-22 13:01
tensorflow
深度学习入门之5--网络学习相关技巧1(最优路径梯度)
目录参数的更新1
SGD
(随机梯度下降法)方法1.1
SGD
缺点2Momentum方法3AdaGrad方法4Adam方法5案例5.1common文件夹5.1.1、common/functions.py5.1.2
陌上飘烟云
·
2020-08-22 13:12
深度学习
python
深度学习_参数更新
1.
SGD
（随机梯度下降法）将参数的梯度（导数）作为线索，沿梯度方向更新参数，重复多次逐渐靠近最优参数。该方法比较低效，当处理的函数的形状非均向时搜索路径会非常低效。
AI 黎明
·
2020-08-22 12:25
深度学习
pytorch优化器
使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法（stochasticgradientdescent），简称
SGD
。W为需要更新的权重参数；损失
土豆土豆，我是洋芋
·
2020-08-22 12:48
Pytorch
pytorch固定参数-模型的pretrain和fine-tune
翻了很多博客和论坛，一般冻结参数都包括两步：设置参数的属性为False，即requires_grad=False定义优化器时过滤掉不进行梯度更新的参数，一般都是这样optimizer.
SGD
(filter
Answerlzd
·
2020-08-22 11:54
深度学习入门
关于Backpropagation在DeepLearning的一点思考
Backpropagation介绍深度学习中，常见的CNN、RNN神经网络中，参数估计通常在经过样本批处理时，使用
SGD
算法更新权重W和偏置b。
whuawell
·
2020-08-22 04:39
ml
随笔
Task 2: Word Vectors and Word Senses （附代码）（Stanford CS224N NLP with Deep Learning Winter 2019）
WordVectorsandWordSenses一、词向量计算方法1回顾word2vec的计算2word2vec中计算方法详解3高频词(the)引起的问题二、优化基础1梯度下降2随机(stochastic)梯度下降（
SGD
南有芙蕖
·
2020-08-22 04:16
NLP
论文《deep residual learning for image recognition》-Kaiming He
**ResNet出现的主要原因(目的)**是解决深层网络中的退化现象，属于优化难题，
SGD
的优化更困难。
五取蕴_41121879
·
2020-08-22 02:49
论文阅读：A Pareto-Efficient Algorithm for Multiple Objective Optimization in E-Commerce Recommendation
解决的问题：多任务训练不容易达到最优思路：解决帕累托（pareto）最优问题方法：目标函数为多任务损失函数加权：每个batchstep分成两步：1、固定w，用
sgd
降低Li；2、固定del(theta)
ccemmawatson
·
2020-08-22 01:38
Recommendation
论文
【面试】AI算法工程师---面试题！（第二部分：AI部分）
【知识有点多，重点部分提到前面来(机器学习+cnn)】一、机器学习（40%）1.机器学习知识结构图（每个算法补充一下）2.
SGD
,Momentum,Adagrad,Adam原理模型的优化方法：
SGD
、Momentum
LidarXin
·
2020-08-22 01:44
算法工程师找工作
深度学习
机器学习
随机梯度下降与卷积神经网络
>>>本文由码农场同步，最新版本请查看原文：http://www.hankcs.com/ml/
sgd
-cnn.html斯坦福UFLDL中CNN剩下两章的笔记，辅以两次编程练习，至此完成了CNN的学习。
weixin_34355881
·
2020-08-21 22:31
Distributed Training of Deep Neural Networks with Theoretical Analysis: Under SSP Setting
需要合并所有层的权重为一个大的参数，然后使用
SGD
，很少有从layerwise的角度分析DNN训练很慢，现在的启发式并行方法缺
世间五彩我执纯白
·
2020-08-21 16:01
深度学习笔记6：神经网络优化算法之从
SGD
到Adam
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。作者简介：鲁伟：一个数据科学践行者的学习日记。数据挖掘与机器学习，R与Python，理论与实践并行。个人公众号：
天善智能
·
2020-08-21 15:54
optimizer优化算法总结
article/details/62531509优化方法总结参考深度学习最全优化方法总结比较Anoverviewofgradientdescentoptimizationalgorithms目录优化方法总结
SGD
1Batchgradientdescent2Stochasticgradientdescent3Mini-b
fyp_1995
·
2020-08-21 14:58
算法
神经网络训练技巧讨论：为什么需要标准化
本文关注：对于神经网络（主要是全连接网络+
SGD
）的学习训练，标准化有什么好处（加速收敛），以及为什么有这样的好处。
silent56_th
·
2020-08-21 12:54
神经网络
调参
【小白学图像】Group Normalization详解+PyTorch代码
BN于2015年由Google提出，Google在ICML论文中描述的非常清晰，即在每次
SGD
时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维
机器学习炼丹术
·
2020-08-20 17:52
机器学习
人工智能
深度学习
算法
【小白学图像】Group Normalization详解+PyTorch代码
BN于2015年由Google提出，Google在ICML论文中描述的非常清晰，即在每次
SGD
时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维
机器学习炼丹术
·
2020-08-20 17:52
机器学习
人工智能
深度学习
算法
【机器学习的Tricks】随机权值平均优化器swa与pseudo-label伪标签
随机权重平均和随机梯度下降
SGD
相似，所以我一般吧SWa看成
SGD
的进阶版本。1.1原理与算法swa算法流程：【怎么理解】：
机器学习炼丹术
·
2020-08-20 17:18
机器学习
人工智能
深度学习
神经网络
算法
【机器学习的Tricks】随机权值平均优化器swa与pseudo-label伪标签
随机权重平均和随机梯度下降
SGD
相似，所以我一般吧SWa看成
SGD
的进阶版本。1.1原理与算法swa算法流程：【怎么理解】：
机器学习炼丹术
·
2020-08-20 17:18
机器学习
人工智能
深度学习
神经网络
算法
上一页
19
20
21
22
23
24
25
26
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他