SGD随机梯度下降

特征学习“Building High-level Features Using Large Scale Unsupervised Learning”

使用模型并行化和异步SGD在1000个机器（16000核）上训练了3天，实验结果显示可以在未标记图像是否有人脸的情况下训练处一个人脸检测器。之前特征
cv_family_z·2015-06-18 10:00

小白对斯坦福大学机器学习中的几个点的理解（一）

小白对斯坦福大学机器学习中的几个点的理解（一）1、块梯度下降（批梯度下降）以及随机梯度下降对于线性回归（及logistic回归），以及感知机，SVM等方法来说，本质就是要找出一个超平面，不同的方式是用不同的算法
kamendula·2015-06-03 12:00

Deep Learning 优化方法总结

StochasticGradientDescent(SGD)SGD的参数在使用随机梯度下降（SGD）的学习方法时，一般来说有以下几个可供调节的参数:LearningRate学习率WeightDecay权值衰减
ZhikangFu·2015-06-03 09:00

Stanford机器学习[第二课]-监督学习应用和梯度下降

简介：本课内容有自主推导、线性回归、梯度下降、组梯度下降、随机梯度下降、标准方程推导。本课内容讲起来不多，但是使用数学公式来推导的话有点让人难以理解，尤其是梯度下降那块。
Dream_angel_Z·2015-05-23 09:00

Andrew NG 机器学习课程笔记（二）

监督学习应用——线性回归、批梯度下降、随机梯度下降、标准方程推导    Andrew首先从第一课提到的房子的大小和房价的数据入手介绍监督学习的应用，可以以一条直线去拟合这些数据，然后对于未知价格的房子，
Datuqiqi·2015-05-11 15:00

随机梯度下降和批量梯度下降

梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。
沈波·2015-04-18 15:43

逻辑斯蒂回归多元分类的随机梯度下降

批量梯度下降fork:1...iSampleNumforj:1...iFeatureNum时间复杂度：O(m^2*n)，m为样例数目，n为特征数目随机梯度下降fori:1...iSampleNumforj
相门码农·2015-04-13 20:44

machine learing week 10, 随机梯度下降 批量梯度下降 确定训练模型的数据规模 判断梯度下降是否收敛

1.1大型数据集的学习如果我们有一个低偏差的模型，增加数据集的规模可以帮助你获得更好的结果。我们应该怎样应对一个有100万条记录的训练集？以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和，如果我们的学习算法需要有20次迭代，这便已经是非常大的计算代价。首先应该做的事是去检查一个这么大规模的训练集是否真的必要，也许我们只用1000个训练集也能获得较好的效果，我们可以绘制学习
lujiandong1·2015-04-09 15:00

梯度下降与随机梯度下降

梯度下降法先随机给出参数的一组值，然后更新参数，使每次更新后的结构都能够让损失函数变小，最终达到最小即可。在梯度下降法中，目标函数其实可以看做是参数的函数，因为给出了样本输入和输出值后，目标函数就只剩下参数部分了，这时可以把参数看做是自变量，则目标函数变成参数的函数了。梯度下降每次都是更新每个参数，且每个参数更新的形式是一样的，即用前一次该参数的值减掉学习率和目标函数对该参数的偏导数（如果只有1个
u014568921·2015-04-03 16:00

梯度下降法终极版

常见的梯度下降法主要有两种：（1）批量梯度下降法 （2）随机梯度下降法 现在假设样本的个数为，对单个样本来说，有一个维的向量，代表这个样本的个特征，还有一个值为预测值，要拟合的函数设为，那么误差准则函数为
ACdreamers·2015-03-26 23:00

感知机学习算法的原始形式及其Java实现

感知机学习算法的原始形式及其Java实现实现时遇到一个问题，就是fi的值的设定问题，因为我们采用随机梯度下降法，一方面这节省了时间，但是如果fi值亘古不变的话可能会面临跳来跳去一直找不到答案的问题，所以我这里设定他得知在每一轮之后都会按比例减小
march alex's blog·2015-03-20 11:00

机器学习1

求参数theta的值的方法（一）梯度下降法（可用于非线性）http://blog.csdn.net/woxincd/article/details/7040944（二）随机梯度下降法随机梯度下降法适用于样本点数量非常庞大的情况
u012331016·2015-03-19 19:00

怎样建立 OAF debug 环境

oactech/bug_guidelines.html#testcasesATG要求根据这个步骤建testcase.遇到OAF的bug,如果不建立整个环境的话,很难从散乱的文件中跟踪到代码.下面的步骤可以在SGD
zhangyu19881125·2015-03-18 15:00

Caffe SGD shuffle mechanism

Asweknow,theSGDneedtoshufflealldatainanepoch(thenumberofdata),andreaddatasequentiallybatchbybatch.HowCaffeimplementtheshufflemechanism?Theinputdataformatofcaffeisleveldb,lmdb,imagefilelist,hdf5,thesou
guoyilin·2015-02-28 14:00

BOOST_TEST 初探

但前者这样会很容易造成与现有其他代码的种种冲突，像winsock2啊...)不过boosttest在vs下会通过代码里写像#pragmacomment(lib,"libboost_unit_test_framework-vc90-mt-sgd
victor1960·2015-02-11 17:33

BOOST_TEST 初探

但前者这样会很容易造成与现有其他代码的种种冲突，像winsock2啊...)不过boosttest在vs下会通过代码里写像#pragmacomment(lib,"libboost_unit_test_framework-vc90-mt-sgd
victor1960·2015-02-11 17:33

限制玻尔兹曼机（Restricted Boltzmann Machine）学习笔记（一）

典型的，可以使用随机梯度下降法。（2）递归人工神经网络（recurrentneuralnetwork）
ROger__Wong·2015-02-04 23:49

限制玻尔兹曼机（Restricted Boltzmann Machine）学习笔记（一）

典型的，可以使用随机梯度下降法。（2）递归人工神经网络（recurrentneuralnetwork）
ROger__wonG·2015-02-04 23:00

机器学习基础（四）LMS,代价函数的求解和概率意义

这是一维的情况，我们可以拓展到多维的情况，由此得到两种不同的学习（迭代方法），即批处理梯度下降法和随机梯度下降法。
luxialan·2015-01-26 14:00

Caffe中的优化方法

Caffe已经封装好了三种优化方法，分别是StochasticGradientDescent(SGD),AdaptiveGradient(ADAGRAD),andNesterov’sAccelerated
Danieljf24·2015-01-20 21:19

Caffe中的优化方法

Caffe已经封装好了三种优化方法，分别是StochasticGradientDescent(SGD),AdaptiveGradient(ADAGRAD),andNesterov’sAccelerate
Daniel_djf·2015-01-20 21:00

Mahout初探（一）

SupportedAlgorithmsClassificationLogisticRegression(SGD)BayesianSupportVectorMachines(SVM)PerceptronandWinnowNeuralNetworkRandomForestsRestrictedBoltzmannMachinesOnlinePassiveAggressiveBoostingHiddenM
renyp8799·2014-12-08 18:00

线性回归和局部加权线性回归

这种方式的优点是计算简单，但是要求数据矩阵X满秩，并且当数据维数较高时计算很慢；这时候我们应该考虑使用梯度下降法或者是随机梯度下降（同Logistic回归中的思想完全一样，而且更简单）等求解。
淮安老丁·2014-12-06 09:15

梯度下降

梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。
yhdzw·2014-11-23 15:00

加州理工学院公开课：机器学习与数据挖掘_神经网络

转载自：http://blog.csdn.net/feitianhu213/article/details/39899463课程简介：本节课主要介绍人工神经网络.通过介绍评定模型，随机梯度下降法，生物启发和感知器系统
u013524655·2014-11-19 22:00

随机样本选择——快速求解机器学习中的优化问题

他关注的问题是一类机器学习中非常常见的优化模型：J(w)=1N∑Ni=1l(f(w;xi);yi)他谈到了机器学习里面常用的随机梯度下降法(stochasticgradientdescent,SGD)。
wenyusuran·2014-11-06 10:00

使用SGD(Stochastic Gradient Descent)进行大规模机器学习

1基于梯度下降的学习 对于一个简单的机器学习算法，每一个样例包含了一个(x,y)对，其中一个输入x和一个数值输出y。我们考虑损失函数,它描述了预测值和实际值y之间的损失。预测值是我们选择从一函数族F中选择一个以w为参数的函数的到的预测结果。 我们的目标是寻找这样的函数,能够在训练集中最小化平均损失函数  由于我们不知道数据的真实分布，所以我们通常使用  来代替  经验风险用来衡量训练集合的效果。期
wenyusuran·2014-11-03 10:00

sql2000 还原BAK文件

restoredatabaseSGDfromdisk='C:\20141023.bak'--c:\a.bak是备份文件名withmove'AIS20050620140226_Data'to'c:\SGD.mdf
BeamWen·2014-10-30 10:00

Factorization Machines 学习笔记（二）模型方程

本文将对FM框架进行简单介绍，并对其训练算法—随机梯度下降（SGD）法和交替最小二乘（ALS）法进行详细推导。
peghoty·2014-10-28 10:00

Factorization Machines 学习笔记（三）回归和分类

本文将对FM框架进行简单介绍，并对其训练算法—随机梯度下降（SGD）法和交替最小二乘（ALS）法进行详细推导。
peghoty·2014-10-28 10:00

Factorization Machines 学习笔记（四）学习算法

本文将对FM框架进行简单介绍，并对其训练算法—随机梯度下降（SGD）法和交替最小二乘（ALS）法进行详细推导。
peghoty·2014-10-28 10:00

Factorization Machines 学习笔记（一）预测任务

本文将对FM框架进行简单介绍，并对其训练算法—随机梯度下降（SGD）法和交替最小二乘法（ALS）法进行详细推导。
peghoty·2014-10-28 10:00

随机梯度下降法

随机梯度下降法分类：Algorithm2014-07-2621:4598人阅读评论(0)收藏举报python算法迭代斯坦福大学机器学习刚刚看完斯坦福大学机器学习第四讲（牛顿法），也对学习过程做一次总结吧
crcr·2014-09-22 20:00

真是郁闷

想到自己的实验，用lbfgs来优化比较慢，但是由于在matlab下已经实现了矩阵运算了，在计算方面应该不会有较大的问题了，但是lbfgs优化速度真的很慢，6万的MNIST数据都要每一次好几十秒，初步打算用SGD
silence1214·2014-08-31 16:00

SVM那些事

在随机梯度下降（sgd)算法中,优化目标是误分类点的距离之和。这样的超平面不唯一，而svm正是引入约束使得分割超平面唯一。
g2s·2014-08-10 12:00

随机梯度下降法

一、误差准则函数与随机梯度下降：数学一点将就是，对于给定的一个点集（X，Y），找到一条曲线或者曲面，对其进行拟合之。同时称X中的变量为特征（Feature)，Y值为预测值。
大愚若智_·2014-07-26 21:43

随机梯度下降法

一、误差准则函数与随机梯度下降：数学一点将就是，对于给定的一个点集（X，Y），找到一条曲线或者曲面，对其进行拟合之。同时称X中的变量为特征（Feature)，Y值为预测值。
zbc1090549839·2014-07-26 21:00

随机梯度下降（SGD）

这时候可以考虑使用随机梯度下降算法。所谓随机梯度下降是 每次用每个样本的损失函数（即样本数为1时的损失函数）对theta求得的偏
u010367506·2014-07-22 22:00

白话NMF（Non-negative Matrix Factorization）——Matlab 实现

方法一：在PMF中使用SGD【随机梯度下降】进行优化时，使用如下的迭代公式：其中P、Q分别代表原始矩阵R的两个维度的隐含矩阵，在推荐应用中，一般讲P看做用户矩阵、Q看做物品矩阵。
liuzhiqiangruc·2014-07-22 21:00

白话NMF（Non-negative Matrix Factorization）——Matlab 实现

方法一：在PMF中使用SGD【随机梯度下降】进行优化时，使用如下的迭代公式：其中P、Q分别代表原始矩阵R的两个维度的隐含矩阵，在推荐应用中，一般讲P看做用户矩阵、Q看做物品矩阵。
liuzhiqiangruc·2014-07-22 21:00

白话NMF（Non-negative Matrix Factorization）——Matlab 实现

方法一： 在PMF中使用SGD【随机梯度下降】进行优化时，使用如下的迭代公式：   其中P、Q分别代表原始矩阵R的两个维度的隐含矩阵，在推荐应用中，一般讲P看做用户矩阵、Q看做物品矩阵。 
liuzhiqiangruc·2014-07-22 21:00

一种并行随机梯度下降法

Lab）合作的论文ParallelizedStochasticGradientDescent中给出了一种适合于MapReduce的并行随机梯度下降法，并给出了相应的收敛性分析。
·2014-06-23 19:00

一种并行随机梯度下降法

Lab）合作的论文ParallelizedStochasticGradientDescent中给出了一种适合于MapReduce的并行随机梯度下降法，并给出了相应的收敛性分析。
peghoty·2014-06-23 13:00

基于矩阵分解的推荐系统实例

原文链接：http://www.cnblogs.com/moranBlogs/p/3795392.html使用MATLAB尝试了随机梯度下降的矩阵分解方法，实现了一个比较简单的推荐系统的原理。
weixin_30367873·2014-06-18 21:00

DistBelief 框架下的并行随机梯度下降法 - Downpour SGD

GregS.Corrado等人的文章LargeScaleDistributedDeepNetworks(2012)后的一则读书笔记，重点介绍在Google的软件框架DistBelief下设计的一种用来训练大规模深度神经网络的随机梯度下降法
皮果提·2014-06-17 22:45

DistBelief 框架下的并行随机梯度下降法 - Downpour SGD

GregS.Corrado等人的文章LargeScaleDistributedDeepNetworks(2012)后的一则读书笔记，重点介绍在Google的软件框架DistBelief下设计的一种用来训练大规模深度神经网络的随机梯度下降法
peghoty·2014-06-17 22:00

一种利用 Cumulative Penalty 训练 L1 正则 Log-linear 模型的随机梯度下降法

但对于这种带L1正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。
peghoty·2014-06-11 14:00

【Machine Learning实验1】batch gradient descent（批量梯度下降） 和 stochastic gradient descent（随机梯度下降）

随机梯度下降是一种对参数随着样本训练，一个一个的及时update的方式。常用于大规模训练集，当往往容易收敛到局部最优解。详细参见：AndrewNg的
WitsMakeMen·2014-06-09 12:00

一种适合于大数据的并行坐标下降法

但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。
peghoty·2014-06-03 23:00

Mahout 算法

一、分类算法 （一）Logistic 回归（SGD） （二）Bayesian&n
wbj0110·2014-05-19 14:00
上一页 67 68 69 70 71 72 73 74 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他