梯度下降算法

神经网络是如何运用梯度下降算法进行学习

梯度下降算法：一步步地改变w与b的值，新的w与b会使得损失函数的输出结果更小，即一步一步让预测更加精准。我们所谓的训练神经网络其实就是找到一组w与b，使得这个损失函数
zha_zha_wei·2023-01-13 22:08

最小二乘法公式推导以及在线性回归中的应用

线性回归，最推荐的做法其实是使用梯度下降算法，这种算法比较通用，对数据要求不高，可以离散不连续。
luffy5459·2023-01-13 21:38

【深度学习技巧】学习率-余弦退火

1.2CosineAnneal梯度下降算法优化目标函
努力的袁·2023-01-13 09:45

刘二大人 《PyTorch深度学习实践》第3讲 梯度下降算法

指路☞《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili知识补充：1、预设一个w值，然后算斜率（梯度），如果梯度大于0，我们要往梯度小的方向进行，即减去它，反之一样。α是学习率，此处设为0.012、梯度下降法只能算出局部最优，没办法得到全局最优3、鞍点，梯度为04、如果cost随epoch曲线上升了，原因可能是α取大了；加权均值可以让曲线更圆滑5、随机梯度下降公式6、梯度下降与随机
qq_39705798·2023-01-12 11:47

概率图算法-EM算法

1.引言EM算法，也就是期望最大算法，分为E步和M步，作为一种算法，和模型当然有着本质的区别，类似于梯度下降算法，去求解模型的参数。EM算法多用于概率图生成模型，像HMM，GMM。。。
qq_33588413·2023-01-11 20:05

【算法】梯度下降算法及python实现

目录1.概述2.梯度下降算法2.1场景假设2.1梯度下降2.1.1微分2.2.2梯度2.3数学解释2.3.1α2.3.2梯度要乘以一个负号3.实例3.2多变量函数的梯度下降4.代码实现4.1场景分析4.2
卓小白…·2023-01-11 19:12

【从零开始学习深度学习】40. 算法优化之AdaGrad算法介绍及其Pytorch实现

之前介绍的梯度下降算法中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。
阿_旭·2023-01-10 20:29

（三）PyTorch深度学习：反向传播梯度下降

反向传播梯度下降1、在比较简单线性模型函数（y=wx+b），根据损失函数（loss=y_pred-y）**2）来写梯度下降算法是比较容易直接处理。
Kkh_8686·2023-01-10 16:18

torch.optim.SGD()

其中的SGD就是optim中的一个算法（优化器）：随机梯度下降算法PyTorch的优化器基本都继承于"classOptimizer"，这是所有optimizer的baseclasstorch.optim
echo_gou·2023-01-09 21:34

机器学习模型（线性回归、逻辑回归、决策树和随机森林、SVM&向量机）

梯度下降算法逻辑回归推导机器学习模型--决策树和随机森林决策树：level信息熵随机森林是一个简单的混合模型香农信息熵神经网络SVM&向量机线性可分向
Nefelibat·2023-01-09 18:38

神经网络的主题

当使用足够强的计算芯片（例如GPU图形加速卡）时，梯度下降算法以及反向传播算法在多层神经网络中的训练中仍然工作的很好。
樱武苏·2023-01-09 15:22

02梯度下降

参考：http://biranda.top/Pytorch学习笔记004——梯度下降算法/#随机梯度下降补充：五折交叉验证如下右图，在不同的训练集和测试集划分方法下，testMSE的变动是很大的，而且对应的最优
Cyanide11·2023-01-09 14:17

【人工智能深度学习】人工智能中的梯度下降算法和反向传播教程

【人工智能深度学习】人工智能中的梯度下降算法和反向传播教程梯度下降优化算法参数化模型用方块图表达参数模型的计算图损失函数梯度下降在传统神经网络中随机梯度下降和反向传播算法的优势随机梯度下降的优势传统神经网络通过非线性函数进行反向传播通过加权和进行反向传播一个神经网络和反向传播的
王子王子聪·2023-01-09 09:29

吴恩达-deep learning 01.神经网络与深度学习Week3

逻辑回归梯度下降算法——正向传播和反向传播两个过程假设某个样本有两个特征x1,x2x_1,x_2x1,x2，如下图所示：正向传播(黑线)：z=wTx+by^=a=σ(z)L(a,y)=−(ylog(a)
Paul-Huang·2023-01-08 09:12

loss下降auc下降_从基本原理到梯度下降算法：零基础也能看懂的神经网络教程...

晓查发自凹非寺量子位报道|公众号QbitAI“我在网上看到过很多神经网络的实现方法，但这一篇是最简单、最清晰的。”一位来自普林斯顿的华人小哥VictorZhou，写了篇神经网络入门教程，在线代码网站Repl.it联合创始人AmjadMasad看完以后，给予如是评价。这篇教程发布仅天时间，就在HackerNews论坛上收获了574赞。程序员们纷纷夸赞这篇文章的代码写得很好，变量名很规范，让人一目了然
weixin_39679061·2023-01-07 20:52

代码详解：运用Numpy实现梯度下降优化算法的不同变体

梯度下降算法是通过向
青豆1113·2023-01-07 20:21

【机器学习笔记13】softmax多分类模型【上篇】完整流程与详细公式推导

激活函数通过softmax激活函数得到各分类预测概率总结softmax的正向传播流程引出新的问题softmax损失函数损失函数和代价函数的区别损失函数代价函数softmax的损失函数表达式对代价函数进行梯度下降梯度下降算法步骤损失函
Twilight Sparkle.·2023-01-07 09:22

神经网络各种优化算法

梯度下降算法变种，它们不同之处在于我们在计算目标函数梯度时所用数据量的多少。依据数据的规模，我们在更新
lalalalalalaaaa·2023-01-07 08:11

梯度下降基本原理、优势、局限、改善（SGD和BGD）笔记

对于大多数机器学习模型来说，损失函数（不是凸函数）都无法直接利用最小二乘法进行求解，经常使用梯度下降算法求解最小值。
cy^2·2023-01-07 08:10

神经网络学习——梯度下降算法

梯度下降算法。神经网络的学习的目的是找到是损失函数的值尽可能效的参数，这是寻找最优参数的问题，解决这个问题的过程称为最优化。遗憾的是这个问题非常难。这是因为参数空间非常复杂，无法轻易找到最优解。
王木木呀！·2023-01-07 07:45

人工神经网络—梯度下降算法

梯度下降算法1.回顾2.思路分析3.优化网络中待求的参数—梯度下降法3.1梯度下降法的直观描述3.2梯度下降法的数学描述3.3多维情况的梯度下降法4.结尾参考资料1.回顾  在上一讲中，我们讲到多层神经网络的结构是由每一层有多个神经元组成的线性结构
@DWC_DIP·2023-01-07 07:07

神经网络中的常用算法-梯度下降算法

目录一、概述二、算法思想1、一维2、多维三、梯度下降算法类型1、批量梯度下降算法2、随机梯度下降算法3、小批量梯度下降算法一、概述梯度下降法（Gradientdescent）是一个一阶最优化算法，通常也称为最陡下降法
kupeThinkPoem·2023-01-07 07:06

激活函数、Sigmoid激活函数、tanh激活函数、ReLU激活函数、Leaky ReLU激活函数、Parametric ReLU激活函数详细介绍及其原理详解

相关文章梯度下降算法、随机梯度下降算法、动量随机梯度下降算法、AdaGrad算法、RMSProp算法、Adam算法详细介绍及其原理详解反向传播算法和计算图详细介绍及其原理详解激活函数、Sigmoid激活函数
IronmanJay·2023-01-06 20:19

逻辑斯蒂回归（logistic regression）的梯度下降算法

值得注意的是，逻辑回归（logisticregression）解决的是有监督的分类问题，而非回归问题。分类和回归的区别分类问题和回归问题的区别在于输出：分类问题的输出是离散型变量，如判断一个人是否得病，只有两种结果：得病或者不得病；而回归问题的输出为连续型变量，如预测一个人五年后的工资，它就可能是一个实数区间内的任意值。logistic和多重线性回归实际上，logistic回归和多重线性回归除输出
Jerry_Chang31·2023-01-06 13:02

跟我一起学scikit-learn16：线性回归算法

本章首先从最简单的单变量线性回归算法开始介绍，然后介绍了多变量线性回归算法，其中成本函数以及梯度下降算法的推导过程会用到部分线性代数和偏导数；接着重点介绍了梯度下降算法的求解步骤以及性能优化方面的内容；
金字塔下的小蜗牛·2023-01-06 11:19

最小二乘法和梯度下降算法的区别

作者：迈克没有贝链接：https://www.zhihu.com/question/20822481/answer/1167190784来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。最小二乘法的定义:对于一个已被证明是凸的二次函数，直接通过另其对各个自变量偏导数=0，得出了n(自变量的个数)个方程，然后解这个n元的方程组，就得出了目标凸函数的最优解析解,当然，通过这
④·2023-01-06 00:48

【机器学习】线性回归（理论）

问题的抽象3、误差的引入4、极大似然估计的引入5、目标函数的优化二、梯度下降1、何为梯度下降2、利用梯度下降进行函数寻优3、梯度下降的一些问题Ⅰ迭代步长Ⅱ算法的初始位置Ⅲ数据的取值范围差异Ⅳ鞍点现象4、常见的梯度下降算法三
酱懵静·2023-01-05 12:41

深度学习之求导

反向传播算法与梯度下降算法当然我们在pyto
彭祥.·2023-01-05 08:43

深度学习2：加载数据集

显然，Iteration=样本总数/Batch-Size在进行backward时要用到梯度下降算法，这时有两种方式：一是把所有样本的loss加和作为cost，求这个cost对参数的导数，从而确定参数经过训
m0_59559920·2023-01-05 03:19

神经网络中sigmoid 与代价函数

在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数：然后更新w、b：w<——w-η*∂C/∂w=w-η*a*σ′(z)b<——
测试__昵称·2023-01-05 02:06

K-means在Python中的实现

K-menas的优缺点：优点：原理简单速度快对大数据集有比较好的伸缩性缺点：需要指定聚类数量K对异常值敏感对初始值敏感K-means的聚类过程其聚类过程类似于梯度下降算法，建立代价函数并通过迭
weixin_33834910·2023-01-04 07:03

零基础入门深度学习：自然语言处理的变迁

从本课程大纲为：numpy实现神经网络构建和梯度下降算法深度学习基础知识计算机视觉领域主要方向的原理、实践自然语言处理领域主要方向的原理、实践个性化推荐算法的原理、实践前面的文章介绍了前三
JKX_geek·2023-01-03 18:19

TensorFlow实战系列5--梯度下降算法

为了更好的介绍优化神经网络训练过程，我们将首先介绍优化神经网络的算法——梯度下降算法。然后在后面的部分中，我们将围绕该算法中的一些元素来优化模型训练过程。
缘定三石·2023-01-03 11:49

优化器

梯度下降算法：即调整系数（权重和偏置）使损失函数的梯度下降。（函数最值）（在回归中，使用梯度下降来优化损失函数并获得系数）按照损失函数的负梯度成比例地对系数（W和b）进行更新。
?Bunny·2023-01-03 11:47

AI学习——线性回归和梯度下降

在AI的学习过程中主要有理论课的知识讲解和实验课的实验过程，这里主要就分享我写的实验报告吧1.实验问题：对线性回归和梯度下降算法的应用。
爱摸鱼的伪程序猿·2023-01-03 11:14

学习笔记||Tensorflow-梯度下降算法

一原理说明1.损失函数:梯度下降算法使用均方差刻画损失函数：2.寻找损失函数最低点为了找到损失函数最低点，需要确定两个问题：下降的方向和下降的步长。
Amber_15·2023-01-03 11:13

《PyTorch深度学习实践》完结合集 · Hongpu Liu · overview（1）

目录前言一、Pytorch的安装二、线性模型（穷举法）三、梯度下降算法实现四、反向传播结语前言刘老师的课件讲的挺好的！！！我是结合着吴恩达深度学习的课程一起来看的！！！刘老师的课讲的很生动！！！
手可摘星辰不去高声语·2023-01-03 11:39

7.2_gd-sgd

7.2.1一维梯度下降我们先以简单的一维梯度下降为例，解释梯度下降算法可能降低目
给算法爸爸上香·2023-01-02 16:45

神经网络优化之学习率

通过指数衰减的方法设置梯度下降算法中的学习率，既可以让模型在训练的前期快速接近较优解，又可以保证模型在训练后期不会有太大的波动。Tensorflow提供了tf.
阿兵-AI医疗·2023-01-02 07:53

[搬运]MATLAB newff函数训练模式

来源https://www.ilovematlab.cn/thread-51000-1-1.html模式算法备注traingd最速梯度下降算法收敛速度慢,网络易陷于局部极小,学习过程常发生振荡traingdm
Hare_PNK·2023-01-02 07:19

随机梯度下降算法SGD

随机梯度下降算法SGD参考：为什么说随机最速下降法(SGD)是一个很好的方法？
weixin_37958272·2023-01-01 11:45

梯度下降步长matlab,梯度下降算法步长和收敛条件的设置的一些看法

在上一篇中介绍了梯度下降算法，还是利用了上面的那个x^2+y^2的例子，来求解下，代码如下：function[]=gradient(step,threadhold)%在这里主要是演示对z=x^2+y^2
董太松·2023-01-01 11:44

梯度下降算法

一、原理+python代码（一元目标函数）https://zhuanlan.zhihu.com/p/36564434二、原理+matlab代码（二元目标函数）https://blog.csdn.net/qq_33866593/article/details/104763433非常感谢！上面两篇博客我觉得已经把梯度下降法解释得非常清楚易懂了，第一篇不仅贴上了python代码还从数学原理上证明了为何梯
qingquanzhou·2023-01-01 11:39

初探梯度下降之随机梯度下降（SGD）

随机梯度下降算法先解释一些概念。1.什么是梯度下降我们先从一张图来直观解释这个过程。如上图假设这样一个场景：一个人被困在山上，需要从山上下来，但此时山上的浓雾很大，导致可视度很低。
DemonHunter211·2023-01-01 11:09

ASGD-异步随机梯度下降（论文笔记）

ASGD-异步随机梯度下降（论文：一种Yarn框架下的异步双随机梯度下降算法）论文中对原有的ASGD进行了改进，减少了在并行系统中无效通信的次数，提高了通信效率，减小了通信开销。
smile_and_ovo·2023-01-01 11:37

吴恩达视频－第一门课第2周2.13节－向量化逻辑回归(Vectorizing Logistic Regression)

这样就能处理整个数据集，甚至不会用一个明确的for循环就能实现对于整个数据集梯度下降算法的优化。我对这项技术感到非常激动，并且当我们后面谈到神经网络时同样也不会用到一个明确的for循环。
越努力越幸运@·2022-12-31 10:45

梯度下降算法_梯度下降算法python实现及其应用

一、python简单实现梯度下降算法假设这样一个场景：一个人被困在山上，需要从山上下来(找到山的最低点，也就是山谷)。
weixin_39612877·2022-12-31 10:43

梯度下降算法python_python梯度下降算法的实现

本文实例为大家分享了python实现梯度下降算法的具体代码，供大家参考，具体内容如下简介本文使用python实现了梯度下降算法，支持y=Wx+b的线性回归目前支持批量梯度算法和随机梯度下降算法(bs=1
weixin_39959192·2022-12-31 10:43

机器学习系列 | 梯度下降算法详解

1.梯度下降法的作用梯度下降法用来求函数的极小值，且是一种迭代算法，由于计算机效率高，在机器学习中经常使用。梯度下降法常求凸函数（如机器学习中各种代价函数）的极小值，因为凸函数只有一个极小值，使用梯度下降法求得的极小值就是最小值。与其对应的有梯度上升法，用来求函数的极大值，两种方法原理一样，只是计算的过程中正负号不同而已。凸函数的数学定义：某个向量空间的凸子集（区间）上的实值函数，如果在其定义域上
多选参数-程序锅·2022-12-31 10:08

【优化】近端梯度下降（Proximal Gradient Descent）求解Lasso线性回归问题

文章目录近端梯度下降的背景常见线性回归问题近端算子（ProximalOperator）近端梯度下降迭代递推方法以Lasso线性回归问题为例参考资料近端梯度下降的背景近端梯度下降（ProximalGradientDescent,PGD）是众多梯度下降算法中的一种
敲代码的quant·2022-12-31 10:35
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他