SGD随机梯度下降

梯度下降，随机梯度下降，批量梯度下降，mini-batch 梯度下降

最近在看到一些神经网络优化的问题，再进行模型的训练的时候，总是希望得到一个能较好的反映实际的模型，在对模型训练的时候其实是在学习其中的参数，其中主要使用的损失函数来模拟我们的目标，只要使得损失函数可以达到最小或是比较小（可以满足对问题的求解）就行在对损失函数进行学习时，其实就是找出函数的全局最小解，在此由于问题的不同所产生的损失函数可以是不同的，常见无非就是凸函数和非凸函数之分。其中对凸函数一般是
Losteng·2016-03-10 17:00

Factorization Machines 学习笔记（三）回归和分类

本文将对FM框架进行简介，并对其训练算法—随机梯度下降（SGD）法和交替最小二乘（ALS）法进行具体推导。
lcchuguo·2016-03-10 17:00

批量梯度下降算法和随机梯度下降算法的代码实现

批量梯度下降算法和随机梯度下降算法的代码实现随机梯度下降和批量梯度下降都是梯度下降方法的一种，都是通过求偏导的方式求参数的最优解。批量梯度下降算法：，。是通过对每一个样本求偏导，然后挨个更新。
qq_29828623·2016-03-07 20:00

梯度下降与矩阵分解实例解析

一、SGD的一个例子说明下图是我目前得到的一个评分文件,3列的含义分别是UID:UserID,IID:ItemID,score:用户评分.可以看到一共有3个用户,4个物品.他们可以构成一个3*4的评分矩阵矩阵
DM张朋飞·2016-03-02 10:00

斯坦福大学机器学习公开课， 梯度下降算法,随机梯度下降算法，最小二乘拟合法总结以及证明

部分语言参考了：http://blog.csdn.net/woxincd/article/details/7040944回归与梯度下降：回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locallyweighted回归，logistic回归，等等，这个将在后面去讲。用一个很简单的例子
qq_29133371·2016-03-01 17:00

3.线性神经网络 - 随机梯度下降法

随机梯度下降法:stochasticgradientdescent大纲1.look---大数据情况遇到什么问题2.write---随机梯度下降法3.code---pythonLargescale带来的问题每次更新权值都要计算所有的数据点
袁一帆·2016-02-28 10:53

梯度下降法VS随机梯度下降法 (Python的实现)

1#-*-coding:cp936-*- 2importnumpyasnp 3fromscipyimportstats 4importmatplotlib.pyplotasplt 5 6 7#构造训练数据 8x=np.arange(0.,10.,0.2) 9m=len(x)#训练数据点数目 10x0=np.full(m,1.0) 11input_data=np.vstack([
冬木远景·2016-02-27 15:00

[神经网络]2.1-How the backpropagation algorithm works-Warm up: a fast matrix-based approach ...（翻译）

在上一章中，我们看到神经网络通过随机梯度下降法可以学习权重和偏差。然而，之前我们没有解释过如何计算成本函数的梯度计算方法，这是个空白！
u010536377·2016-02-27 13:00

神经网络模型随机梯度下降法—简单实现与Torch应用

备份自：http://blog.rainy.im/2016/02/26/sgd-with-python-and-torch/About本文以及后续关于Torch应用及机器学习相关的笔记文章，均基于牛津大学
蛙声一爿·2016-02-26 21:20

CNTK从入门到深入研究（4） - SGD随机梯度下降法

前言CNTK中目前仅提供了一种学习方法，即SGD（StochasticGradientDescentLearner）随机梯度下降法。
borisjineman·2016-02-23 23:00

BP神经网络（python代码）

BP神经网络原理（待补充，可以详见《数据挖掘概念与技术》P258页）伪代码：代码中使用的随机梯度下降，伪代码是使用整体数据做梯度下降。
骆驼算法学习笔记·2016-02-23 17:02

关于 epoch、 iteration和batchsize

在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch
sinat_30071459·2016-02-23 11:00

梯度下降和随机梯度下降为什么能下降？

首先，我们假设costfunction为：其中，w,b为网络参数，x为训练样本，n为样本数量，y(x)为x的标签，a为网络输出。我们训练的目的就是让costfunction取得最小。为了看起来方便，我们令,则：    （1）为了方便理解，我们先假设v只有2维,我们要做的就是通过不断调整使得最小。可以通过下图理解，我们为小球选择一个方向，让它往下滚，直到小球滚到“山谷”。我们令在方向改变，在方向改变
sinat_30071459·2016-02-22 19:00

各种优化方法总结比较（sgd/momentum/Nesterov/adagrad/adadelta）

SGDSGD指stochasticgradientdescent，即随机梯度下降。是梯度下降的batch版本。对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。
luo123n·2016-02-21 22:00

MLA Review之四：logistic回归

当然使用的方法也就最简单的梯度下降法，这里并没有使用之前神经网络的随机梯度下降法，也是为了简单起见。因为之前在神经网络里面使用过了，所以这篇文章就略微介绍下。 
u010223750·2016-02-21 12:31

推荐系统实例-基于矩阵分解

基于矩阵分解的推荐系统实例使用MATLAB尝试了随机梯度下降的矩阵分解方法，实现了一个比较简单的推荐系统的原理。常用推荐系统的方法有协同过滤，  基于物品内容过滤等等。 
winone361·2016-02-20 23:00

机器学习 -- 感知机3 -- 梯度下降与随机梯度下降的对比

声明：        1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。        2，由于本人在学习初始时有很多数学知识都已忘记，所以为了弄懂其中的内容查阅了很多资料，所以里面应该会有引用其他帖子的小部分内容，如果原作者看到可以私信我，我会将您的帖子的地址付到下面。        3，如果有内容错误或不准确欢迎大家指正。
xueyingxue001·2016-02-16 10:00

机器学习 -- 感知机2 -- 随机梯度下降算法

声明：        1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。        2，由于本人在学习初始时有很多数学知识都已忘记，因此为了弄懂其中的内容查阅了很多资料，所以里面应该会有引用其他帖子的小部分内容，如果原作者看到可以私信我，我会将您的帖子的地址付到下面。        3，如果有内容错误或不准确欢迎大家指正。
xueyingxue001·2016-02-16 09:00

各种优化方法总结比较（sgd/momentum/Nesterov/adagrad/adadelta）

SGDSGD指stochasticgradientdescent，即随机梯度下降。是梯度下降的batch版本。对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。
blue_jjw·2016-02-10 21:05

加速异步分布式随机梯度下降(FASGD)

@爱可可-爱生活【论文+代码:加速异步分布式随机梯度下降(FASGD)】《FasterAsynchronousSGD》AOdena(2016)网页链接GitHub(FRED):网页链接
zc02051126·2016-02-06 10:00

theano中的concolutional_mlp.py学习

 (1)evaluate_lenet5中的导入数据部分1#导入数据集，该函数定义在logistic_sgd中，返回的是一个list 2datasets=load_data(dataset) 3 4
纸鸢spring·2016-02-06 02:00

随机梯度下降算法

1.损失函数在线性回归分析中，假设我们的线性回归模型为： 样本对应的正确数值为：现在假设判别函数的系数都找出来了，那么通过判别函数G(x)，我们可以预测是样本x对的值为。那这个跟实际的y的差距有多大呢？这个时候我就出来一个损失函数：其实损失函数很容易理解，就是所有样本点的预测的值跟实际的值之间的差距的表达式而已。至于为什么有个1/2分数，那只是为了后面求导的时候方便约掉那个平方而已。2.随机梯度下
爱嘉牛LA·2016-01-31 14:00

机器学习算法 ---- 正规方程组

但是，这样的效率往往是不高的，无论是批量梯度下降法还是改进后的随机梯度下降法，在大样本的情况下都需要进行迭代。那么今天学习的正规方程组就希望用一个式子就将参数表示出来。 
lps_683·2016-01-24 12:00

线性回归 算法 理论

一元线性回归模型建立最小二乘法建立模型最小二乘—直接求极值法直接求极值法直接求极值法示例解析式求解过程梯度下降法梯度下降法一般步骤梯度下降法一般步骤—梯度求解梯度下降法一般步骤—参数更新批处理梯度下降法随机梯度下降法梯度下降法考虑因素求最优解
mlljava1111·2016-01-20 20:00

梯度下降、随机梯度下降和批量梯度下降

转载请注明出处，楼燚(yì)航的blog，http://www.cnblogs.com/louyihang-loves-baiyan/这几种方法呢都是在求最优解中经常出现的方法，主要是应用迭代的思想来逼近。在梯度下降算法中，都是围绕以下这个式子展开：\[\frac{\partial}{\partial\theta}{J(\theta)}=\frac{\partial}{\partial\theta
楼燚航的blog·2016-01-16 22:00

Caffe Blob.hpp 学习

Blob是一个高维连续数组，批处理图像数据时通常使用4维Blob，Blob的维度可以表示为(N,K,H,W)，每个维度的意思分别是：N:数据的个数，例如SGD时一次mini-batch的图像个
iamzhangzhuping·2016-01-13 20:00

SparkMLlib之五：优化

随机梯度下降随机次梯度是一个随机选择的向量，使得我们得到原目标函数真正次梯度的期望。
u012432611·2016-01-13 20:00

Self Organizing Maps (SOM): 一种基于神经网络的聚类算法

紧接着用随机梯度下降法更新激活节点的参数。同时，和激活节点临近的点
leavingseason·2016-01-09 19:00

深度学习与计算机视觉系列(4)_最优化与随机梯度下降

作者：寒小阳 && 龙心尘 时间：2015年12月。 出处： http://blog.csdn.net/han_xiaoyang/article/details/50178505 http://blog.csdn.net/longxinchen_ml/article/details/50178845 声明：版权所有，转载请联系作者并注明出处1.引言上一节深度学习与计算机视觉系列(3)_线性SVM与
qq_26898461·2016-01-05 15:00

Caffe傻瓜系列(7)：solver优化方法

上文提到，到目前为止，caffe总共提供了六种优化方法：StochasticGradientDescent(type:"SGD"),AdaDelta(type:"AdaDelta"),AdaptiveGradient
langb2014·2016-01-04 19:00

Caffe学习系列(8)：solver优化方法

上文提到，到目前为止，caffe总共提供了六种优化方法：StochasticGradientDescent(type:"SGD"),AdaDelta(type:"AdaDelta"),AdaptiveGradient
qq_26898461·2016-01-01 17:00

[Machine Learning] 梯度下降法的三种形式BGD、SGD以及MBGD

在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。一般线性回归函数的假设函数为：$h_{\theta}=\sum_{j=0}^{n}\theta_{j}x_{j}$对应的能量函数（损失函数）形式为：$J_{train}(\theta)=1/(2m)\su
Poll的笔记·2015-12-30 19:00

[Machine Learning] 梯度下降法的三种形式BGD、SGD以及MBGD

在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。一般线性回归函数的假设函数为：$h_{\theta}=\sum_{j=0}^{n}\theta_{j}x_{j}$对应的能量函数（损失函数）形式为：$J_{train}(\theta)=1/(2m)\su
Poll的笔记·2015-12-30 19:00

vowpal_wabbit是在单机上性能极高的机器学习库,比较online learning and batch learning

本质原因是vowpal_wabbit采用的是在线学习，也即优化方法采用的是随机梯度下降的方法。
lujiandong1·2015-12-30 10:00

Mahout线性回归算法源码分析（1）--实战

article/details/23766523版本：mahout0.9Mahout里面使用逻辑回归（logisticregression）的主要两个类是org.apache.mahout.classifier.sgd.TrainLogistic
hechenghai·2015-12-25 11:00

Python基础——timeit模块

一般我们需要一段代码（主要是workhorse，程序的核心负重代码，如bp神经网络的整个SGD随机梯度下降的过程）的运行时间：importtimeit start_time=timeit.default_timer
lanchunhui·2015-12-08 09:00

深度学习中预训练的作用

来训练深度神经网络，但是训练深度神经网络的挑战是处理层层之间参数的依赖关系，一种方法来解决这种困难是：(1)调整较低层来提供合适的输入给上层的最终设置；(2)调整较高层来充分利用较低层的设置；如果我们侧重在传统的随机梯度下降算法来训练深度神经网络
张泽旺·2015-12-07 13:00

神经网络那些事儿（一）

这次主要说说神经网络的一些主要思想，包括介绍两种人工神经元（perceptronneuron和sigmoidneuron）以及神经网络的标准学习算法，随机梯度下降法。
刺猬的温驯·2015-12-06 16:00

深度学习与计算机视觉系列(4)_最优化与随机梯度下降

作者：寒小阳&&龙心尘时间：2015年12月。出处：http://blog.csdn.net/han_xiaoyang/article/details/50178505http://blog.csdn.net/longxinchen_ml/article/details/50178845声明：版权所有，转载请联系作者并注明出处1.引言上一节深度学习与计算机视觉系列(3)_线性SVM与SoftMax
龙心尘·2015-12-04 19:33

深度学习与计算机视觉系列(4)_最优化与随机梯度下降

作者：寒小阳&&龙心尘时间：2015年12月。出处：http://blog.csdn.net/han_xiaoyang/article/details/50178505http://blog.csdn.net/longxinchen_ml/article/details/50178845声明：版权所有，转载请联系作者并注明出处1.引言上一节深度学习与计算机视觉系列(3)_线性SVM与SoftMax
longxinchen_ml·2015-12-04 19:00

深度学习与计算机视觉系列(4)_最优化与随机梯度下降

作者：寒小阳时间：2015年12月。出处：http://blog.csdn.net/han_xiaoyang/article/details/50178505声明：版权所有，转载请联系作者并注明出处1.引言上一节深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器中提到两个对图像识别至关重要的概念：用于把原始像素信息映射到不同类别得分的得分函数/scorefunction用于评估参数W
yaoqiang2011·2015-12-04 18:00

深度学习与计算机视觉系列(4)_最优化与随机梯度下降

作者：寒小阳&&龙心尘时间：2015年12月。出处：http://blog.csdn.net/han_xiaoyang/article/details/50178505声明：版权所有，转载请联系作者并注明出处1.引言上一节深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器中提到两个对图像识别至关重要的东东：用于把原始像素信息映射到不同类别得分的得分函数/scorefunction用于
BradyZhu·2015-12-04 18:00

Stochastic Gradient Descent (SGD)

Optimization:StochasticGradientDescentOverviewBatchmethods,suchaslimitedmemoryBFGS,whichusethefulltrainingsettocomputethenextupdatetoparametersateachiterationtendtoconvergeverywelltolocaloptima.Theyar
Danieljf24·2015-11-29 18:06

Stochastic Gradient Descent (SGD)

Optimization:StochasticGradientDescentOverviewBatchmethods,suchaslimitedmemoryBFGS,whichusethefulltrainingsettocomputethenextupdatetoparametersateachiterationtendtoconvergeverywelltolocaloptima.Theyar
Daniel_djf·2015-11-29 18:00

异步的SGD

为代表的异步SGD算法很火，Hogwild!是一种lock-free的异步并行算法，虽然理论证明了有lock的时候是收敛的，但在lock-free的时候并没有理论证明收敛性。
zc02051126·2015-11-26 22:00

随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）

梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。
u010025211·2015-11-23 15:00

随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比

梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。
·2015-11-13 02:36

一种利用 Cumulative Penalty 训练 L1 正则 Log-linear 模型的随机梯度下降法

但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。本文为阅读作者 Yoshimas
·2015-11-12 17:57

[Machine Learning] 梯度下降（BGD）、随机梯度下降（SGD）、Mini-batch Gradient Descent、带Mini-batch的SGD

一、回归函数及目标函数 以均方误差作为目标函数（损失函数），目的是使其值最小化，用于优化上式。 二、优化方式（Gradient Descent） 1、最速梯度下降法 也叫批量梯度下降法Batch Gradient Descent，BSD a、对目标函数求导 b、沿导数相反方向移动theta 原因： （1）对于目标函数，theta的移动量应当如下，其中a为步长，p为方向向量
·2015-11-12 17:57

转：Recsys2013论文导读

A Fast Parallel SGD for Matrix Factorization in Shared Memory Systems (best paper，p249.pdf) 这篇来自台湾国立大学
·2015-11-12 16:36
上一页 66 67 68 69 70 71 72 73 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他