次梯度

DenseNet 简介

包含input层，L个隐藏层和一个output，隐层使用的sigmoid激活函数，一般的优化方法有如下几种：GD：对所有样本计算完一次梯度然后更新权重SGD：每个样本计算一次梯度就更新权重mini-batch-GD
Bryan__·2017-08-17 19:11

[机器学习笔记]Note15--大规模机器学习

以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和，对于训练集有上百万的数据量，如果学习算法需要有20次迭代，这就已经是一个非常大的计算
spearhead_cai·2016-08-05 17:34

【机器学习详解】解无约束优化问题：梯度下降、牛顿法、拟牛顿法

x∗=minx f(x),x∈Rn1.梯度下降梯度下降是最简单的迭代优化算法，每一次迭代需求解一次梯度方向。函数的负梯度方向代表使函数值减小最快的方向。它的思想是沿着函数负梯度方向移动逐步逼近函数极小
luoshixian099·2016-07-06 20:00

SparkMLlib之五：优化

数学描述梯度下降梯度下降和随即梯度下降这样的一阶优化问题非常适合大规模分布式运算，计算梯度时需要对所有参数求导，但是当凸函数不是对所有参数都可导时，次梯度sub-gradient就是梯度的推广，计算它需要遍历整个数据集
u012432611·2016-01-13 20:00

最优化之Robust PCA

本文推导了矩阵绝对值和范数及核范数的次梯度；求解了带正则项（和惩罚项）的绝对值，
quarryman·2015-12-25 12:00

机器学习笔记_回归_4: 最小二乘问题（2）

subset的选择(特征选择)参看博客：http://m.blog.csdn.net/blog/xbinworld/44284293*lasso可以做特征选择(转化为求解次梯度:owl-qn)自变量选择对于估计和预测的影响全模型与选模型全模型
mijian1207mijian·2015-11-21 15:00

优化中的subgradient方法

subgradient介绍subgradient中文名叫次梯度，和梯度一样，完全可以多放梯度使用，至于为什么叫子梯度，是因为有一些凸函数是不可导的，没法用梯度，所以subgradient就在这里使用了。
lansatiankong·2015-06-06 11:15

优化中的subgradient方法

subgradient介绍subgradient中文名叫次梯度，和梯度一样，完全可以多放梯度使用，至于为什么叫子梯度，是因为有一些凸函数是不可导的，没法用梯度，所以subgradient就在这里使用了。
lansatiankongxxc·2015-06-06 11:00

machine learing week 10, 随机梯度下降 批量梯度下降 确定训练模型的数据规模 判断梯度下降是否收敛

以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和，如果我们的学习算法需要有20次迭代，这便已经是非常大的计算代价。
lujiandong1·2015-04-09 15:00

拉格朗日 次梯度法

对于非线性约束问题：若非线性约束难于求导，则不能用K-T求解该问题，可考虑用拉格朗日次梯度法。
robert_chen1988·2014-11-13 09:00

[读书笔记] MIT Optimization for Machine Learning/Chapter 2.2-2.3

$2.2一般方法次梯度方法转化成普通的LP，SDP问题这类general方法对1范数问题本身的结构没有挖掘，所以收敛速度较慢。LP、SDP等方法过于追求优化精度，在机器学习领域其实不重要。
竹节新馨翠·2014-09-16 00:00

Subgradient

1、次梯度定义：2、次梯度是一个集合。经常用在凸优化问题中，我们经常想要求一个函数对某个变量的梯度，但如果这个函数是不可微分的呢。
haimengao·2014-06-08 20:00

方向导数和梯度

之前用过几次梯度下降算法来求解一些优化问题，但对梯度的具体意义并不是很理解。前一段时间翻了一遍高教的《简明微积分》，对梯度概念总算有了些理解，在这记录一下。
wolenski·2012-09-29 09:00
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他