随机梯度下降

深度学习优化算法总结与实验

深度学习优化算法最耳熟能详的就是GD（GradientDescend）梯度下降，然后又有一个所谓的SGD（StochasticGradientDescend）随机梯度下降，其实还是梯度下降，只不过每次更新梯度不用整个训练集而是训练集中的随机样本
颀周·2020-08-04 18:00

线性回归liner regression

线性回归部分预备知识假设函数（hypothesis）损失函数/代价函数（cost/lossfunction）等高线图（contourfigure）批量梯度下降（BatchGradientDescent)随机梯度下降
remix_j2·2020-08-04 16:28

深度学习基础知识（七）--- 各种优化方法

最小化这种平均训练误差的训练过程，被称为经验风险最小化（empiricalriskminimization）1.StochasticGradientDescent虽然是讲随机梯度下降，但是
Teeyohuang·2020-08-04 12:57

次梯度（Subgradients）

ConvexOptimizationbasics）二、一阶梯度方法（First-ordermethods）梯度下降（GradientDescent）次梯度（Subgradients）近端梯度法（ProximalGradientDescent）随机梯度下降
JimmyCM·2020-08-04 09:31

近端梯度法（Proximal Gradient Descent）

ConvexOptimizationbasics）二、一阶梯度方法（First-ordermethods）梯度下降（GradientDescent）次梯度（Subgradients）近端梯度法（ProximalGradientDescent）随机梯度下降
JimmyCM·2020-08-04 09:59

梯度下降（Gradient Descent）

ConvexOptimizationbasics）二、一阶梯度方法（First-ordermethods）梯度下降（GradientDescent）次梯度（Subgradients）近端梯度法（ProximalGradientDescent）随机梯度下降
JimmyCM·2020-08-04 09:59

《动手学深度学习》PyTorch 版本总结（1）

Task01（1）线性回归知识点1在求数值解的优化算法中，小批量随机梯度下降（mini-batchstochas
行路南·2020-08-04 02:59

dropout和L1，L2正则化的理解笔记

注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一
qqliuzihan·2020-08-04 00:08

随机梯度下降法——python实现

随机梯度下降法——python实现梯度下降法及题目见此博客Exercise3:题目Now,weturntouseotheroptimizationmethodstogettheoptimalparameters.CanyouuseStochasticGradientDescenttogettheoptimalparameters
第五清风·2020-08-03 22:32

批量归一化（BN：BatchNormalization）

批量归一化（BN：BatchNormalization）1、背景随机梯度下降法（SGD）对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化、权重衰减系数、Dropout
小熊猫3·2020-08-03 21:12

批梯度下降法(Batch Gradient Descent )，小批梯度下降 (Mini-Batch GD)，随机梯度下降 (Stochastic GD)

一、梯度下降法在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数，接下来便是通过优化算法对损失函数进行优化，以便寻找到最优的参数。在求解机器学习参数的优化算法中，使用较多的是基于梯度下降的优化算法(GradientDescent,GD)。梯度下降法有很多优点，其中，在梯度下降法的求解过程中，只需求解损失函数的一阶导数，计算的代价比较小，这使得梯度下降法能在很多大规模数据集上得到应
cs24k1993·2020-08-03 16:25

机器学习系列 04：梯度下降法及 Python 实现

  本内容将介绍梯度下降法以及其三种类型（批量梯度下降法（BGD）、随机梯度下降法（SGD）和小批量梯度下降法（MBGD））。最后将给出使用随机梯度下降法拟合一个线性回归模型的Python代码。  
空杯的境界·2020-08-03 10:35

机器学习各种算法的特点归纳

1.感知机适用问题：二分类模型特点：超平面模型类型：判别模型学习策略：极小化误分类点到超平面的距离损失函数：误分点到超平面的距离学习算法：随机梯度下降2.k邻近法适用问题：多类分类，回归模型特点：特征空间
鸟恋旧林XD·2020-08-03 02:28

google 机器学习复习及重点笔记（一）

2、降低损失：随机梯度下降损失函数梯度迭代过程中
Mr_Py·2020-08-02 21:09

TensorFlow2.x 学习笔记(六)随机梯度下降以及数据可视化

文章目录梯度下降简介梯度利用梯度优化AutoGradwithTensorflowGradientTapePersistentGradientTape2nd−order2^{nd}-order2nd−order激活函数及其梯度Sigmoid/LogisticTanhReLULoss及其梯度MSESoftmax[Crossentropygradient](https://blog.csdn.net/I
IDrandom·2020-08-02 16:49

DL-Pytorch Task06:批量归一化和残差网络；凸优化；梯度下降

对全连接层做批量归一化2.对卷积层做批量归⼀化3.预测时的批量归⼀化残差网络（ResNet）残差块（ResidualBlock）ResNet模型稠密连接网络（DenseNet）DenseNet模型凸优化梯度下降随机梯度下降参数更新动态学习率小批量随机梯度下降批量归一化和残差网络批量归一化
DEREKLN·2020-08-02 15:03

cs231n训练营学习笔记（8）简单双层全连接神经网络

参数通过训练，随机梯度下降和反向传播学到对单个神经元建模每个神经元都对它的输入和权重进行点积，然后加上偏差，最后使用非线性函数（或称为激活函
就叫荣吧·2020-08-02 13:08

Pytorch学习笔记：Task01

第一部分：线性回归主要内容包括：线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现模型：损失函数：优化函数-随机梯度下降：小批量随机梯度下降（mini-batchstochasticgradientdescent
jianghusanren3·2020-08-02 13:32

从0开始学PyTorch（一）：线性回归、Softmax与分类模型、多层感知机

文章目录线性回归模型数据集损失函数优化函数-随机梯度下降Softmax与分类感知机softmax的基本概念多层感知机多层感知机的基本知识隐藏层表达公式激活函数线性回归线性回归的基本要素模型为了简单起见，
cimor_0·2020-08-02 13:24

笔记：深度学习基础pytorch（线性回归，softmax与分类模型，多层感知机）

深度学习基础pytorch：线性回归，多层感知机，softmax与分类模型-什么是线性回归-线性回归的基本要素-模型：-数据集：-损失函数：-小批量随机梯度下降（mini-batchstochasticgradientdescent
盛季，夏开·2020-08-02 12:33

【机器学习的Tricks】随机权值平均优化器swa与pseudo-label伪标签

随机权重平均和随机梯度下降SGD相似，所以我一般吧SWa看成SGD的进阶版本。1.1原理与算法swa算法流程：【怎么理解】：
微信公众号[机器学习炼丹术]·2020-08-02 12:21

MNIST数据集实现手写数字识别（基于tensorflow）

主要应用了下面几个方法来提高准确率;使用随机梯度下降（batch）使用Relu激活函数去线性化使用正则化避免过拟合使用带指数衰减的学习率使用滑动平均模型使用交叉熵损失函数来刻画预测值和真实值之间的差距的损失函数第一步
Laura2017·2020-08-01 08:43

【机器学习的Tricks】随机权值平均优化器swa与pseudo-label伪标签

随机权重平均和随机梯度下降SGD相似，所以我一般吧SWa看成SGD的进阶版本。1.1原理与算法swa算法流程：【怎么理解】：
机器学习炼丹术·2020-08-01 07:57

各种最优化方法比较

有批量梯度下降(BGD)和随机梯度下降(SGD)两种变种。批量梯度下降法：最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小，但是对于大规模样本问题效率低下。
SCAU_Jimmy·2020-08-01 01:20

【机器学习的Tricks】随机权值平均优化器swa与pseudo-label伪标签

随机权重平均和随机梯度下降SGD相似，所以我一般吧SWa看成SGD的进阶版本。1.1原理与算法swa算法流程：【怎么理解】：
忽逢桃林·2020-07-31 22:00

简述动量Momentum梯度下降

在普通的随机梯度下降和批梯度下降当中，参数的更新是按照如下公式进行的：W=W-αdWb=b-αdb其中α是学习率，dW、db是costfunction对w和b的偏导数。
加勒比海鲜王·2020-07-31 16:17

11组-Deep Residual Learning for Image Recognition

但是目前也已经通过标准化输入（NormalizedInitialization）以及中间层标准化（BatchNormalization），采用随机梯度下降解决了该问题。虽然解决了梯度消失或爆炸的问
lwxiaolei·2020-07-30 13:10

随机梯度下降法

一、误差准则函数与随机梯度下降：数学一点将就是，对于给定的一个点集（X，Y），找到一条曲线或者曲面，对其进行拟合之。同时称X中的变量为特征（Feature)，Y值为预测值。
牧野之歌·2020-07-30 07:40

【神经网络和深度学习】笔记 - 第三章 如何提高神经网络学习算法的效果

数字分类上使用交叉熵损失函数1.3交叉熵的意义以及来历1.4Softmax2.过拟合和正则化2.1过拟合2.2正则化2.3为什么正则化可以减轻过拟合问题2.4正则化的其它方法3.参数初始化4.其它方法4.1随机梯度下降算法的改进
weixin_30627381·2020-07-30 02:28

普通最小二乘法

文章目录理论正规方程梯度下降法Python实现正规方程梯度下降法批量梯度下降随机梯度下降小批量梯度下降理论一般标记：mmm代表训练集中实例的数量xxx代表特征/输入变量yyy代表目标变量/输出变量(x,
数据科学家修炼之道·2020-07-29 00:41

梯度下降算法小结

Anoverviewofgradientdescentoptimizationalgorithms读后笔记.梯度下降算法变种算法概览最经典的梯度下降算法有:1.梯度下降(Batchgradientdescent)2.随机梯度下降
Vanguard-xf·2020-07-29 00:40

SparseNN中的优化

正则化全连接层和稀疏参数随机梯度下降优化器使用小批量样本来更新全连接层和稀疏参数。给定一个小批量的例子
人工智能遇见磐创·2020-07-28 23:34

随机梯度下降算法

目录：1.简介梯度下降法2.随机梯度下降3.随机梯度下降的问题与挑战4.随机梯度下降的优化算法（主要内容）梯度下降算法的困难之处：1.梯度的计算在机器学习和统计参数估计问题中目标函数经常是求和函数的形式
公子若·2020-07-28 20:10

梯度下降算法

一、梯度下降梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面关于这两种方法进行讲解。
Shaing_Saying·2020-07-28 20:11

卷积神经网络分类与回归任务的应用简介

分类时，softmax计算loss，随机梯度下降SGD反向传播更新参数。测试时同时得到分类得分
weixin_30892037·2020-07-28 17:18

Digit Recognizer

随机梯度下降（SGD）为了加速训练过程，可以使用随机梯度下降算法（StochasticGradientDescent），这个算
Fight_Bro·2020-07-28 07:55

初探梯度下降之随机梯度下降（SGD）

看了一下前一篇是半个月前了~过了个年生了个病就发现摊久了就真的成为惰性很舒服了…今早不想看教资的时候就去校正了一下论文看到随机梯度下降算法那就再来记录一下也算是假期最后一更啦接下来要等9号考完试再更辣！
李_颖Biscuit·2020-07-28 06:40

Neural Optimizer Search with Reinforcement Learning

虽然随机梯度下降法（SGD）通常
_天明_·2020-07-28 06:58

各种优化算法及其优缺点？

1）梯度下降：每次使用全部数据集进行训练优点：得到的是最优解缺点：运行速度慢，内存可能不够2）随机梯度下降SGM在随机梯度下降法中每次仅根据一个样本对模型中的参数进行调整优点：可以一定程度上解决局部最优解的问题缺点
Rnan-prince·2020-07-28 05:02

Coding and Paper Letter（十六）

whiteboxwhiteboxtools2.R语言包sgd，大规模随机梯度下降法实现。sgd3.亚马逊云（AWS）上的无服务器地图瓦片。
G小调的Qing歌·2020-07-28 00:27

【神经网络和深度学习-开发案例】第四章 神经网络如何对数字进行分类

【神经网络和深度学习】第四章神经网络如何对数字进行分类案例：使用神经网络识别手写数字好了，让我们来写一个程序，学习如何识别手写的数字，使用随机梯度下降和MNIST的训练数据。
睿客杨·2020-07-27 23:47

SparseNN中的优化

正则化全连接层和稀疏参数随机梯度下降优化器使用小批量样本来更新全连接层和稀疏参数。给定一个小批量的例子
人工智能遇见磐创·2020-07-27 20:00

SparseNN中的优化

正则化全连接层和稀疏参数随机梯度下降优化器使用小批量样本来更新全连接层和稀疏参数。给定一个小批量的例子
人工智能遇见磐创·2020-07-27 20:00

梯度下降法

梯度下降法主要分为三种，梯度下降法随机梯度下降小批量梯度下降下面分别来介绍一下，这样更加有助于理解它们之间的联系。
胖墩哥·2020-07-20 19:00

Alink漫谈(十二) ：在线学习算法FTRL 之 整体设计

Alink漫谈(十二)：在线学习算法FTRL之整体设计目录Alink漫谈(十二)：在线学习算法FTRL之整体设计0x00摘要0x01概念1.1逻辑回归1.1.1推导过程1.1.2求解1.1.3随机梯度下降
罗西的思考·2020-07-16 21:00

深度学习和计算机视觉的一些思考和总结

对深度学习训练的一些基本知识有了初步的印象，随机梯度下降，epoch，同步训练
百科全书学派·2020-07-16 02:47

10种主要的统计学习方法总结

《统计学习方法》笔记1.感知机适用问题：二分类问题模型特点：分离超平面模型类型：判别模型学习策略：极小化误分类点到超平面距离学习的损失函数：误分类点到超平面距离学习算法：随机梯度下降法2.k近邻适用问题
elma_tww·2020-07-15 22:11

pyTorch动手深度学习（线性回归、Softmax与分类模型、多层感知机）

1.线性回归：知识点：平方损失函数（用来评估评为i的样本误差)优化函数-随机梯度下降当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。
circle_yy·2020-07-15 22:14

CS224N Assignment 2: word2vec (43 Points)

通过每一步的计算损失函数，以及损失函数的梯度，修改当前的单词向量，（这里其实包含了凸优化方法的思路）使用随机梯度下降中的步长以解决最优化问题。
CSJ_CH3COOK·2020-07-15 08:03

继续复习我的机器学习吧

计算过程如下：a.归一化处理由于训练过程采用了batch随机梯度下降，因此指的是一批训练数据时，各神经元输入值的平均值；指的是一批训练数据时各神经元输入值的标准差！
ALVIN爱in·2020-07-15 06:06
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他