反向传播梯度下降

梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？

链接：https://www.zhihu.com/question/68109802编辑：深度学习与计算机视觉声明：仅做学术分享，侵删作者：夕小瑶https://www.zhihu.com/question/68109802/answer/263503269反对回答区中一部分称“模型收敛于鞍点”的回答。当然也有的大牛可以一针见血，那我就对这个问题多展开一下吧，让鲜血流的更猛烈一些。（害怕.jpg）
woshicver·2024-02-12 11:34

西瓜书-机器学习5.4 全局最小与局部极小

localminimum)和"全局最小"(globalminimum)对和，若存在使得多组不同参数值初始化多个神经网络使用“模拟退火”：以一定的概率接受比当前解更差的结果，有助于“跳出”局部极小使用随机梯度下降遗传算法
lestat_black·2024-02-12 11:32

机器学习入门之基础概念及线性回归

任务目录什么是Machinelearning学习中心极限定理，学习正态分布，学习最大似然估计推导回归Lossfunction学习损失函数与凸函数之间的关系了解全局最优和局部最优学习导数，泰勒展开推导梯度下降公式写出梯度下降的代码学习
StarCoder_Yue·2024-02-12 11:01

[机器学习]全局最小与局部最小

每次迭代计算误差函数在当前点的梯度，然后根据梯度确定搜索方向：负梯度方向是函数值下降最快的方向，因此梯度下降法就是沿着负梯度方向搜索最优解。
3points·2024-02-12 11:01

机器学习之局部最优和全局最优

面试：你能解释一下梯度下降法及其在寻找全局最优解时的局限性吗？梯度下降法通过迭代沿着目标函数的负梯度方向更新参数，以寻找最小值。局限性：它可能会陷入局部
华农DrLai·2024-02-12 11:29

【Python】基于动态残差学习的堆叠式LSTM模型和传统BP在股票预测中的应用

1.前言本论文探讨了长短时记忆网络（LSTM）和反向传播神经网络（BP）在股票价格预测中的应用。首先，我们介绍了LSTM和BP在时间序列预测中的基本原理和应用背景。
hiddenSharp429·2024-02-12 08:48

《动手学深度学习(PyTorch版)》笔记8.7

Chapter8RecurrentNeuralNetworks8.7BackpropagationThroughTime通过时间反向传播（backpr
南七澄江·2024-02-12 08:03

人工智能深度学习入门指南

1.了解深度学习基本概念在开始深度学习之前，你需要了解一些基本概念，如神经网络、激活函数、损失函数、反向传播等。这些概念是深度学习的基
白猫a~·2024-02-11 23:00

datawhale 10月学习——树模型与集成学习：梯度提升树

前情回顾决策树CART树的实现集成模式两种并行集成的树模型AdaBoost结论速递本次学习了GBDT，首先了解了用于回归的GBDT，将损失使用梯度下降法进行减小；用于分类的GBDT要稍微复杂一些，需要对分类损失进行定义
SheltonXiao·2024-02-11 14:39

机器学习复习（8）——逻辑回归

目录逻辑函数（LogisticFunction）逻辑回归模型的假设函数从逻辑回归模型转换到最大似然函数过程最大似然函数方法梯度下降逻辑函数（LogisticFunction）首先，逻辑函数，也称为Sigmoid
不会写代码！！·2024-02-11 07:47

深度学习入门--参数的优化算法

1.梯度下降法（GradientDescent）梯度下降法的计算过程就是沿梯度下降的方向求解极小值，也可以沿梯度上升方向求解最大值。
我只钓小鱼·2024-02-11 03:53

使用python-numpy实现一个简单神经网络

并初始化数据和激活函数初始化学习率和模型参数迭代更新模型参数（权重）小彩蛋前言这篇文章，小编带大家使用python-numpy实现一个简单的三层神经网络，不使用pytorch等深度学习框架，来理解一下神经网络的原理和观察一下它内部的一些操作如反向传播
橘柚jvyou·2024-02-10 19:26

深度学习视频详解

梯度下降，神经网络如何学习|深度学习什么是反向传播反向传播演算【订阅】机器学习AI玩游戏
大囚长·2024-02-10 14:50

深度学习为什么需要suffle，xgb为什么不需要shuffle?

因为深度学习的优化方法是随机梯度下降，每次只需要考虑一个batch的数据，也就是每次的“视野”只能看到这一批数据，而不是全局的数据。是一种“流式学习”。
fengyuzhou·2024-02-10 06:08

torch.no_grad

no_gradrequires_grad=True要求计算梯度requires_grad=False不要求计算梯度withtorch.no_grad()或者@torch.no_grad()中的数据不需要计算梯度，也不会进行反向传播
He_Yu·2024-02-09 22:08

Tensorflow2.0 对自己的图片数据集进行分类

文章目录项目介绍数据集网络模型代码实现1、导入需要的库2、定义图像加载和预处理函数3、定义构造Dataset数据集函数4、构造Dataset数据集5、构建网络6、初始化优化器和损失函数7、定义损失函数8、定义梯度下降函数
cofisher·2024-02-09 19:30

BP神经网络风速预测

BP（Backpropagation）神经网络，也称为反向传播神经网络，是一种非常重要的人工神经网络。
MATLAB代码顾问·2024-02-09 18:55

大模型学习 一

spm_id_from=333.337.search-card.all.clickGPU计算单元多并行计算能力强指数更重要A10080GV100A100海外100元/时单卡多卡并行：单机多卡模型并行有资源的浪费反向传播反向传播
wangqiaowq·2024-02-09 12:20

优化｜复杂度分析——用于凸约束非凸优化问题的光滑化近似点增广拉格朗日算法

1.简介对于无约束的非凸优化问题，算法复杂度的下界为Ω(1/ϵ2)\Omega(1/\epsilon^2)Ω(1/ϵ2)；在目标函数光滑时，这个下界可以通过标准梯度下降算法来取到.对于带约束的非凸优化问题
运筹OR帷幄·2024-02-09 08:36

深度学习入门笔记（九）自编码器

自编码器是一个无监督的应用，它使用反向传播来更新参数，它最终的目标是让输出等于输入。数学上的表达为，f(x)=x，f为自编码器，x为输入数据。
zhanghui_cuc·2024-02-09 08:57

深度学习中的激活函数、损失函数、优化算法

深度学习中的激活函数、损失函数、优化算法DL小将激活函数sigmoidtanhrelugelusoftmax损失函数分类问题常用的损失函数回归问题常用的损失函数优化算法随机梯度下降SGDAdam牛顿法DL
Chealkeo·2024-02-08 23:33

深度学习中常用激活函数介绍

反向传播算法的基础：激活函数是实现反向传播算法的基础，它允许误差
神奇的布欧·2024-02-08 23:32

神经网络-反向传播

写了一个两层网络的反向传播过程importnumpyasnpdefnum_output(num_input,w):netput=np.dot(w,num_input)output=1.0/(1.0+np.exp
morie_li·2024-02-08 20:23

PyTorch 的张量与 numpy对比

在本实现中，我们使用numpy手动实现前向传播，损失(loss)和反向传播。numpy数组是一种通用的n维数组；它跟深度学习，梯度或计算图没啥关系，只是执行通用数值计算的一种方法。
yanglamei1962·2024-02-08 16:01

【机器学习】单变量线性回归

文章目录线性回归模型（linearregressionmodel）损失/代价函数（costfunction）——均方误差（meansquarederror）梯度下降算法（gradientdescentalgorithm
Mount256·2024-02-08 07:35

【前沿技术杂谈：深度学习新纪元】探索人工智能领域的革命性进展

【前沿技术杂谈：深度学习新纪元】探索人工智能领域的革命性进展深度学习的进展深度学习的基本原理和算法深度学习的历史发展神经网络的基本构成神经元层次结构激活函数关键技术和算法反向传播算法卷积神经网络（CNN
jcfszxc·2024-02-08 02:48

Python 机器学习 特征预处理

这一步骤对于许多机器学习算法特别重要，尤其是那些基于距离的算法（如K-近邻）和梯度下降法（如线性回归、逻辑回归、神经网络）。1）最小-最大缩放(Min-MaxScaling)最小-最大缩放将所有特
weixin_42098295·2024-02-08 01:41

06-20201012 感知机-1从感知机到神经网络

通过一系列资料学习，感知机最大的贡献还是提供了在链接主义的智能计算中的一种求解思路（智能计算的三大流派之一），加之后来的非线性激活函数与反向传播，渐渐发展到现在的深度学习。从概念上，感知机可以认为
野山羊骑士·2024-02-07 17:24

机器学习-梯度下降法

不是一个机器学习算法是一种基于搜索的最优化方法作用：最小化一个损失函数梯度上升法：最大化一个效用函数并不是所有函数都有唯一的极值点解决方法：多次运行，随机化初始点梯度下降法的初始点也是一个超参数代码演示
小旺不正经·2024-02-07 11:56

PyTorch自动微分模块torch.autograd的详细介绍

在深度学习中，自动微分对于有效地计算和更新模型参数至关重要，特别是在反向传播算法中用于计算损失函数相对于模型参数的梯度。
科学禅道·2024-02-07 10:05

PyTorch优化算法模块torch.optim的详细介绍

这个模块提供了多种常用的优化器（Optimizer），如SGD（随机梯度下降）、Adam、Adagrad等，这些优化器能够自动根据计算出的梯度更新模型参数。
科学禅道·2024-02-07 10:05

深度学习基础--反向传播

Modelimage.png前向传播image.png反向传播求误差image.png求对J的影响image.pngimage.png求对J的影响image.pngimage.png误差反传image.pngimage.pngimage.png
掰不开桃子的男人·2024-02-07 09:13

多变量梯度下降(Gradient Descent for Multiple Variables)

多变量线性回归的批量梯度下降算法为：image即：image求导数后得到：imageimage.png我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一
东京的雨不会淋湿首尔·2024-02-07 01:36

【深度学习】loss与梯度与交叉熵的关系

以下是loss与梯度之间的关系：1.梯度下降：梯度下降是一种优化算法，用于逐步调整模型参数，以最小化损失函数。在每次迭代中，梯度下降根据损失函数的梯度来更新模
sdbhewfoqi·2024-02-06 19:25

基于BiLSTM-CRF模型的分词、词性标注、信息抽取任务的详解，侧重模型推导细化以及LAC分词实践

信息抽取任务的详解，侧重模型推导细化以及LAC分词实践1.GRU简介GRU（GateRecurrentUnit）门控循环单元，是[循环神经网络]（RNN）的变种种，与LSTM类似通过门控单元解决RNN中不能长期记忆和反向传播中的梯度等问题
汀、人工智能·2024-02-06 06:51

「深度学习」门控循环单元GRU

解决方法：GRU或LSTM梯度爆炸：反向传播时，随着层数增多，梯度不仅可能指数型下降，还有可能指数型上升——会导致参数过大，网络崩溃解决方法：梯度修剪——观察梯度向量，若大于某个阈值，则放缩梯度向量，保证其不会过大二
Sternstunden·2024-02-06 06:41

从 0 开始机器学习 - 手把手用 Python 实现梯度下降法！

机器学习课程也上了一段时间了，今天就带大家从0开始手把手用Python实现第一个机器学习算法：单变量梯度下降（GradientDescent）！我们从一个小例子开始一步步学习这个经典的算法。
登龙zZ·2024-02-06 02:04

深度学习入门笔记（五）前馈网络与反向传播

5.2反向传播在实际工作中这部分的内
zhanghui_cuc·2024-02-06 01:25

GBDT，XGBOOST

1.简介gbdt全称梯度下降树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。
Liam_ml·2024-02-05 23:02

Momentum and NAG

我们知道，一般的梯度下降，是没有这一项的，有了这一项之后，的更新和前一次更新的路径有关，使得每一次更新的方向不会出现剧烈变化，所以这种方法在函数分布呈梭子状的时候非常有效。
馒头and花卷·2024-02-05 16:31

机器学习 - 梯度下降

场景上一章学习了代价函数，在机器学习中，代价模型是用于衡量模型预测值与真实值之间的差异的函数。它是优化算法的核心，目标是通过调整模型的参数来最小化代价模型的值，从而使模型的预测结果更接近真实值。常见的代价模型是均方误差（MeanSquaredError，MSE），它衡量了模型预测值与真实值之间的平方差的平均值。上一章曾经简单得用它预测过房价，MSE可以表示为：J(θ0,θ1)=12m∑i=1m(h
北堂飘霜·2024-02-05 13:43

机器学习优化过程中的各种梯度下降方法（SGD，AdaGrad，RMSprop，AdaDelta，Adam，Momentum，Nesterov）

机器学习优化过程中的各种梯度下降方法（SGD，AdaGrad，RMSprop，AdaDelta，Adam，Momentum，Nesterov）实际上，优化算法可以分成一阶优化和二阶优化算法，其中一阶优化就是指的梯度算法及其变种
bj_yoga·2024-02-05 12:59

深度学习-随机梯度下降

在训练过程中使用随机梯度下降，但没有解释它为什么起作用。为了澄清这一点，将继续更详细地说明随机梯度下降（stochasticgradientdescent）。
白云如幻·2024-02-05 12:10

Pytorch机器学习——3 神经网络（五）

outline神经元与神经网络激活函数前向算法损失函数反向传播算法数据的准备PyTorch实例：单层神经网络实现3.3前向算法当我们使用前馈神经网络接受输入x并产生输出时，信息通过网络向前流动。
辘轳鹿鹿·2024-02-05 08:45

特征缩放和交叉验证法随笔

特征缩放和交叉验证法因为特征间数据取值范围相差过大，就会造成梯度下降会走的很远。这样优化时间比较长而且可能造成错误路径。
zidea·2024-02-05 05:37

《深度学习入门》学习笔记

原书：《深度学习入门：基于Python的理论与实现》文章目录前言第一章python入门列表字典类numpy广播第二章感知机第三章神经网络激活函数第四章神经网络的学习损失函数求梯度第五章误差反向传播法第六章与学习相关的技巧
YY_oot·2024-02-05 05:55

AIGC面经大全（持续更新）

训练：使用反向传播算法更新模型参
研三小学渣·2024-02-05 03:04

动手学深度学习v2-基础优化方法-笔记

最常见的算法——梯度下降当一个模型没有显示解的时候，该怎么办呢？
Alkali！·2024-02-04 19:07

机器学习：Softmax回归（Python）

logistic_regression_mulclass.pyimportnumpyasnpimportmatplotlib.pyplotaspltclassLogisticRegression_MulClass:"""逻辑回归，采用梯度下降算法
捕捉一只Diu·2024-02-04 04:27

人工智能深度学习发展历程-纪年录

时间重大突破模型改进详细信息1847SGD随机梯度下降1995SVM支持向量机1982RNN循环神经网络，序列模型1986反向传播1997LSTM长短期时间记忆1998Lenet-5首次应用于手写识别2001
犟小孩·2024-02-03 19:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他