次梯度

最优化方法 26：不动点迭代

前面讲了很多具体的算法，比如梯度、次梯度、近似点梯度、加速近似点梯度、PPA、DR方法、ADMM、ALM等，对这些方法的迭代过程有了一些了解。
Bonennult·2020-08-03 11:28

使用感知机对随机生成数据集进行分类 （线性可分）

学习参考《统计学习方法》疑惑处如下每次梯度下降都是针对一个误分类点而单个误分类点的损失函数为Li(w,b)=-yi*(w*xi+b)对w与b求完偏导之后即为-xi*yi与-yi代码如下：importnumpyasnpfrommatplotlibimportpyplotaspltnp.random.seed
sunyutian1998·2020-08-03 04:57

google 机器学习复习及重点笔记（一）

一般凸性较大，每迭代一次梯度下降程度较大，梯度学习速率适宜较小；反之，学习速率选择较大。一维空间中的理想学习速率是1f(x)″（f(x)对x的二阶导数的倒数）。
Mr_Py·2020-08-02 21:09

随机梯度下降（Stochastic gradient descent）

ConvexOptimizationbasics）凸优化基础（ConvexOptimizationbasics）二、一阶梯度方法（First-ordermethods）梯度下降（GradientDescent）次梯度
JimmyCM·2020-07-13 23:15

Lasso求解

）Lasso闭式解从Lasso开始说起5.Lasso三种求解方法：闭式解、LARS、CD（二）坐标下降法CoordinateDescentLasso回归的坐标下降法推导次要参考文献坐标下降法中要用到“次梯度
小太阳Devil·2020-07-12 14:34

压缩感知与临近点算子

临近点算子是解决压缩感知问题的核心引擎，另外需要引出临近梯度下降法，是梯度下降法的一种次梯度版本。
四尾·2020-07-12 04:00

svm随机次梯度下降算法-pegasos

基本思想使用随机梯度下降直接解SVM的原始问题。摘要本文研究和分析了基于随机梯度下降的SVM优化算法，简单且高效。（Ο是渐进上界，Ω是渐进下界）本文证明为获得一定准确率精度ϵ所需的迭代次数满足O(1ϵ)，且每一次迭代都只使用一个训练样本。相比之下，以前分析的SVM随机梯度下降次数满足Ω(1ϵ2)。以前设计的SVM中，迭代次数也与1λ线性相关。对于线性核，pegasos算法的总运行时间是O(dϵλ)
changtingwai58·2020-07-11 23:25

深度学习之学习笔记（九）—— 误差反向传播法

相当于每计算一次梯度需要2x1亿x1亿次计算，而梯度下降算法又要求我们多次（可能是上万次）计算
肖恩林·2020-07-11 11:55

深度学习 - 草稿 - 草稿 - 草稿

8mini-batchsize=m则为批梯度下降进行梯度下降时处理全部的训练样本，如果训练样本的数据量很大，则，进行一次梯度下降要耗费很长时间size=1即为随机梯度下降随机梯度下降每次只处理训练样本中的一个训练数据往往只是朝着局部最优的方向下降
慕拾·2020-07-05 12:16

梯度下降之BGD、SGD和MBGD总结对比

批梯度下降(BGD,batchgradientdescent)，计算公式如下，每次梯度下降往样本总体损失函数减少的方向更新.优点：以梯度下降最快的方向收敛。
QMay·2020-07-01 06:05

方向导数和梯度

之前用过几次梯度下降算法来求解一些优化问题，但对梯度的具体意义并不是很理解。前一段时间翻了一遍高教的《简明微积分》，对梯度概念总算有了些理解，在这记录一下。
wolenski·2020-06-29 20:35

凸优化 [1]：梯度与次梯度

凸优化[1]：梯度与次梯度一元微积分中在数学分析中，引入可微和可导的概念。
CSJ_CH3COOK·2020-06-29 13:41

次导数（次梯度）简介

x−x0)}\partialf=\{v|f(x)\geqf(x_0)+v^T(x-x_0)\}∂f={v∣f(x)≥f(x0)+vT(x−x0)}为f(x)f(x)f(x)在x0x_0x0处的次导数（次梯度
SmartOnion·2020-06-29 05:30

吴恩达深度学习网课 通俗版笔记——（02.改善深层神经网络）第二周 优化算法

Mini-batch：将训练集分割成k个子集，在每个子集上进行梯度下降，这样每一次迭代都会进行k次梯度下降，
风中一匹狼v·2020-06-29 04:18

不均衡学习

一个简单的理解，假如某个数据集，10万个正样本(正常用户标签为0)与1000个负样本(有问题用户标签为1)，正负样本比例为100:1，如果模型学习每一次梯度下降使用全量样本，负样本的权重不到1/100，
BUPT-WT·2020-06-29 01:03

次梯度

次导数设f在实数域上是一个凸函数，定义在数轴上的开区间内。这种函数不一定是处处可导的，例如绝对值函数f(x)=|x|。对于下图来说，对于定义域中的任何x0，我们总可以作出一条直线，它通过点(x0,f(x0))，并且要么接触f的图像，要么在它的下方。直线的斜率称为函数的次导数。次导数的集合称为函数f在x0处的次微分。定义对于所有x，我们可以证明在点x0的次导数的集合是一个非空闭区间[a,b]，其中a
changtingwai58·2020-06-26 11:43

导数、梯度、微分、次导数、次微分和次梯度的概念

文章目录导数梯度微分次导数次微分次梯度次微分首先感谢如下两位博主的精彩原创：参考文献：https://blog.csdn.net/bitcarmanlee/article/details/51896348https
半瓶子水·2020-06-25 02:27

次梯度与次微分

次梯度与次微分为了看懂为什么在logisticregression里面加上正则化可以约束待估计的参数的稀疏性，需要对凸优化方法里面的部分知识，现在记录一下这方面的内容既然是凸优化，首先就要有一个凸函数，
omadesala·2020-06-24 18:45

损失函数 Loss、梯度 grad、参数 ω 和 学习率 lr 之间的关系

设学习率为lrlrlr，那么更新一次梯度后为：x1=x0−lr∗g(x0)=x0−lr∗2x0=(1−2∗lr)x0x_1=x_0-lr*g(x_0)=x_0-lr*2x_0=(1-2*lr)x_0x1
Linky1990·2020-06-24 04:18

人工智能-梯度下降法Python实现

∇f(x,y,z)=(∂x,∂y,∂z),每一点的梯度都会因x,y,z的值不一样而变化,因此在每一个点我们都要求一次梯度值.梯度下降和上升在机器学习中,我们在求最小值时使用梯
仓仓为霜·2020-06-23 12:10

次梯度法

在前文梯度下降法（一）从导数到梯度下降法的基本逻辑中指出，当函数梯度不存在时候，梯度下降法失效，而次梯度法则是凸优化中解决此类状况的一种有效方法。
guofei_fly·2020-06-23 11:10

次导数 次梯度 小结

1.导数(Derivative)的定义在说次梯度之前，需要先简单介绍一下导数的概念与定义。导数（英语：Derivative）是微积分学中重要的基础概念。
bitcarmanlee·2020-06-22 18:40

C++实现梯度下降(gradient descent)算法

b.关于学习速率alpha的确定，我的建议是alpha要保证每次梯度下降theta矩阵内元素的变化在0.01-0.05内。
GaoJieVery6·2020-06-22 08:47

什么是次梯度（次导数）

其他平台（知乎/B站）也是同名「图灵的猫」，不要迷路哦~1.导数(Derivative)的定义在说次梯度之前，
图灵的猫.·2020-06-21 05:42

凸优化－次梯度算法

02October20151.次梯度在优化问题中，我们可以对目标函数为凸函数的优化问题采用梯度下降法求解，但是在实际情况中，目标函数并不一定光滑、或者处处可微，这时就需要用到次梯度下降算法。
绝对不要看眼睛里的郁金香·2020-06-21 04:57

机器学习之深入理解凸优化次梯度算法

什么是次梯度？并不是很懂，就抽了一些时间，查了资料（很多资料来自百度百科），总结整理了这个博文，记录下自己的学习过程。
我是管小亮·2020-06-20 23:37

Tensorflow2.0之DeepDream（深度梦境）

DeepDream代码实现1、导入需要的库2、下载并导入图像3、导入InceptionV3模型4、改变模型输出为要提取特征的层查看InceptionV3模型的层选出要提取特征的层改变模型输出5、定义损失函数6、定义一次梯度上升初始化优化器梯度上升过程
cofisher·2020-06-20 21:26

培训日记（七）

百分数的认识》设置了猜篮球明星的情景，这样新颖的导入迅速激发学生的学习兴趣，让自觉自愿地跟随老师的引导去发现、去思考、去探究……课堂中间适当插入视频，更是吸引了学生的观察和注意力，巩固练习的设计变化多样，层次梯度不同
春旭sx·2019-12-31 10:18

【12月20日●北京】PRP技术骨病疼痛临床应用讲习班及膝关节特色专科四位一体运营模式方案班

国内著名PRP专家授课，手把手教你操作，用低速二次梯度离心法，提取出最优秀的PRP，从而达到最佳疗效。实例病人手术室现场操作演示，零距离观看专家治疗全过程。先进的转播方式和设备，能够实现专家和学员
维励·2019-12-15 15:33

TensorFlow优化算法 tf.train.AdamOptimizer 简介

Adam即AdaptiveMomentEstimation（自适应矩估计），是一个寻找全局最优点的优化算法，引入了二次梯度校正。Adam算法相对于其它种类算法有一定的优越性，是比较常用的算法之一。
polyhedronx·2019-06-23 20:15

由dead relu引发的思考——正则化算法漫谈

一些名词解释：DeadRelu：在训练过程中，由于一次梯度更新的幅度过大，导致某些Relu节点的权重调整的太大，使得后续的训练对该节点不再起作用，这个节点
藏云阁主·2019-05-26 18:43

2019-03-25

二分类问题，损失函数是0-1损失[A]，其代理损失函数是Hinge损失函数[B]（不能用梯度下降进行优化，而用次梯度下降法）；0-1损失的另一个代理损失函数是Logistic函数[C]（该损失函数对所有
hannah1123·2019-03-25 16:22

领近点梯度下降法、交替方向乘子法、次梯度法使用实例（Python实现）

简述凸优化会很详细地讲解这三个算法，这个学期刚好有这门课。这里以期末的大作业的项目中的一个题目作为讲解。题目考虑线性测量b=Ax+e，其中b为50维的测量值，A为50*100维的测量矩阵，x为100维的未知稀疏向量且稀疏度为5，e为50维的测量噪声。从b和A中恢复x的一范数规范化最小二乘法模型（任务!!）min∣∣Ax−b∣∣22+(p/2)∣∣x∣∣1min||Ax-b||_2^2+(p/2)|
肥宅_Sean·2018-12-24 18:17

tensorflow实现线性回归

文章目录计算图归一化实现梯度下降手动梯度下降自动微分小批次梯度下降保存模型用tensorflow实现一个线性回归程序简单了解tensorflow的一些基本操作。
Joovo·2018-12-06 01:43

次梯度（subgradient）

次导数设f在实数域上是一个凸函数，定义在数轴上的开区间内。这种函数不一定是处处可导的，例如绝对值函数f(x)=|x|。对于下图来说，对于定义域中的任何x0，我们总可以作出一条直线，它通过点(x0,f(x0))，并且要么接触f的图像，要么在它的下方。直线(红线)的斜率称为函数的次导数。次导数的集合称为函数f在x0处的次微分。定义对于所有x，我们可以证明在点x_0的次导数的集合（这个集合里面的元素是无
Applied Sciences·2018-10-04 17:07

EarlyStop

Earlystopping:优点：只运行一次梯度下降，我们就可以找
luojiaao·2018-09-27 17:27

Python神经网络实验程序

搭建了两层神经网络，隐藏层包含5个神经元，通过1000次梯度搜索训练模型参数，可以改进后识别手写数字。
zhangzhao0907·2018-08-19 11:21

【机器学习】次梯度（subgradient）方法

次梯度方法(subgradientmethod)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。它的优势是比传统方法处理问题范围大，劣势是算法收敛速度慢。
zhaosarsa·2018-08-15 16:01

对近端梯度算法（Proximal Gradient Method）的理解

details/80361180https://blog.csdn.net/lanyanchenxi/article/details/50448640#comments前面说到对于不可微的凸函数我们可以利用次梯度算法对目标函数进行求解
chaolei_9527·2018-08-03 21:02

次梯度法相关概念

参考：https://blog.csdn.net/bitcarmanlee/article/details/51896348https://en.wikipedia.org/wiki/Subgradient_methodhttps://en.wikipedia.org/wiki/Subderivative#The_subgradienthttps://zhuanlan.zhihu.com/p/36
chaolei_9527·2018-07-28 11:32

反向传播的直观理解 （以及为什么反向传播是一种快速的算法）

解释：计算一次网络传播需要1,00,001次说的是模型进行一次梯度下降，即更新一次所有权重。1,000,000个参数需要将网络向前传播1,000,000次来计算1,000,000个C(W+εej)，
leung5·2018-06-23 14:54

次梯度（subgradient）方法

一、为什么需要次梯度方法次梯度方法是传统梯度下降算法的拓展，传统梯度下降算法是为了解决可导凸函数的问题，而次梯度方法主要是为了解决不可导梯度的问题。但是其算法收敛速度会相对较慢。
nana-li·2018-03-23 21:24

1.3.2 向量化实现浅层神经网络

如图所示，对于传统的不用向量化的办法来计算多个变量的神经网络我们需要对每个变量进行两次梯度下降算法，然后用for循环来遍历所有的变量。我们希望可以使用向量化的方式进行表示，这样就不用使用for语句了。
Einstellung·2018-03-14 16:01

1.3.2 向量化实现浅层神经网络

如图所示，对于传统的不用向量化的办法来计算多个变量的神经网络我们需要对每个变量进行两次梯度下降算法，然后用for循环来遍历所有的变量。我们希望可以使用向量化的方式进行表示，这样就不用使用for语句了。
Einstellung·2018-03-14 16:01

Stanford——机器学习中的特征缩放理解（Features Scaling）

以上两张图分别是未经特征缩放处理和经特征缩放处理过的特征图像，由图1可知，由于图像为椭圆形，因此从外面的圆往里面梯度下降时，梯度下降的方向都会改变，未经缩放处理的梯度下降曲曲折折迭代较多次才能从出发点A到目标点B，而图2中由于是多个同心圆（近似），所以每次梯度下降都大致在一个方向
Luncles·2018-03-14 11:04

L1正则化求导问题

对于目标函数不是连续可微的情况，可以用次梯度来进行优化，但次梯度存在两个问题：求解慢通常不会产生稀疏解次梯度定义：次梯度，次导数此时可以用ProximalAlgorithm对L1进行求
梅mmmmm·2018-01-27 16:28

TensorFlow(四)训练一元一次方程拟合示例

我们来进行一个小小的实战.实战首先我们会给出一个一元一次方程:y=0.1x+0.2我们会给x赋值100次,得到100个y值,来作为我们这次的数据源然后通过TensorFlow,使用这100个数据,通过200次梯度下降算法迭代
Oo晨晨oO·2017-12-11 02:30

volatile 和 requires_grad在pytorch中的意思

那么我们可以大胆猜测，在BP的过程中，pytorch是将所有影响loss的Variable都求了一次梯度。但是有时候，我们并不想求所有Variable的梯度。
qq_27292549·2017-12-10 22:01

深度学习总结(十一)——early stopping

Earlystopping:优点：只运行一次梯度下降，我们就可以找
manong_wxd·2017-12-07 19:46

TensorFlow 梯度下降线性回归并可视化

python手写模拟梯度下降以2元线性回归为例实现分类器：线性回归函数：误差函数（损失函数）：每次梯度下降参数的变化：使用TensorFlow框架importtensorflowastfimportnumpyasnpimportmatplotlib.pyplotaspltdefadd_layer
winycg·2017-11-13 21:57
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他