累积梯度

优化算法全景解析：从梯度下降到群体智能

一、引言：为什么需要优化算法？在AlphaGo击败人类围棋冠军的背后，在特斯拉自动驾驶系统实时决策的瞬间，在推荐系统精准推送内容的过程中，优化算法始终是推动这些技术落地的核心引擎。无论是机器学习模型的训练，还是复杂系统的参数调优，优化算法的本质是：在给定的约束条件下，找到使目标函数最优的解。本文将深入解析优化算法的核心原理、经典方法、现代进展及实战应用，助你全面掌握这一技术利器。二、优化算法分类图

welcome_123_·2025-02-15 08:31

用大模型学大模型02-数学基础微积分

https://metaso.cn/s/uxPBB9C我正在学习深度学习相关的数学知识,学到了微积分核心概念：导数（尤其是偏导数）、梯度、链式法则；积分与最优化（如梯度下降法的数学推导）给我一个入门级的完整教程和实例好吧

wyg_031113·2025-02-14 22:39

【一起看花书1.3】——第5章机器学习基础

目录：5.7监督学习5.8无监督学习5.9随机梯度下降5.10构建机器学习算法5.11深度学习发展的动力5.7监督学习监督学习，本质上是复杂函数的拟合，即给定特征xxx,我们需要得到标签yyy，这不就是求一个函数的拟合嘛

应有光·2025-02-14 17:03

《探秘Hogwild!算法：无锁并行SGD的神奇之路》

算法作为一种能够实现无锁并行随机梯度下降（SGD）的创新方法，受到了广泛关注。下面就来深入探讨一下Hogwild!算法是如何实现这一壮举的。

·2025-02-14 17:24

【深入探讨 ResNet：解决深度神经网络训练问题的革命性架构】

然而，随着网络层数的增加，训练深层网络变得愈加困难，主要问题是“梯度消失”和“梯度爆炸”问题。

机器学习司猫白·2025-02-14 16:26

9、深度学习-自学之路-损失函数、梯度下降、学习率、权重更新的理解

由《8、深度学习-自学之路-损失函数和梯度下降程序展示》我们看到我们设计了一个程序，这个程序里面由学习率，有损失函数，有梯度下降，权重更新。

小宇爱·2025-02-14 11:16

《深度解析：批量、随机和小批量梯度下降的区别与应用》

在机器学习和深度学习的领域中，梯度下降算法是优化模型参数的核心工具之一。

·2025-02-14 09:40

从VGG到Transformer：深度神经网络层级演进对模型性能的深度解析与技术实践指南

深度网络可表达复杂函数：f(x)=fL(fL−1(⋯f1(x)))f(x)=f_L(f_{L-1}(\cdotsf_1(x)))f(x)=fL(fL−1(⋯f1(x)))层数L增加时，函数空间指数级扩大梯度传播挑战

燃灯工作室·2025-02-14 05:57

Pytorch的自动求导模块

文章目录torch.autograd.backward()基本用法非标量张量的反向传播保留计算图指定输入张量高阶梯度计算与y.backward()的区别torch.autograd.grad()基本用法非标量张量的梯度高阶梯度计算多输入

zoujiahui_2018·2025-02-14 05:57

机器学习算法工程师笔试选择题（1）

1.关于梯度下降的说法正确的是：A.梯度下降法可以确保找到全局最优解。B.随机梯度下降每次使用所有数据来更新参数。C.批量梯度下降（BatchGradientDescent）通常收敛更快。

Ash Butterfield·2025-02-14 00:08

神经网络常见激活函数 9-CELU函数

连续可微指数线性单元：CELU（ContinuouslyDifferentiableExponentialLinearUnit）,是一种连续可导的激活函数，结合了ELU和ReLU的特点，旨在解决ELU在某些情况下的梯度问题

亲持红叶·2025-02-13 15:37

23、深度学习-自学之路-激活函数relu、tanh、sigmoid、softmax函数的正向传播和反向梯度。

反向梯度传播：当输出值大于0，那么反向梯度值就等于输出值乘以1如果小于0，那反向梯度值就等于0.通俗的来说就是，如果输入值是0或小于0，那么输出值的反向增强就没有。

小宇爱·2025-02-13 13:22

【人工智能】Python中的深度学习优化器：从SGD到Adam

本文将介绍深度学习中常用的优化器，从传统的随机梯度下降（SGD）到现代的自适应优化器（如Adam）。我们将深入探讨每种优化器的原理、优缺点，并通过Python实现

蒙娜丽宁·2025-02-13 08:13

Python中LSTM算法的实现与应用

首先解释了LSTM的工作原理，重点在于其门结构如何有效解决传统RNN的梯度问题，并通过控制信息流动以学习长期依赖。

昊叔Crescdim·2025-02-12 19:01

深入解析ReLU激活函数的优缺点及其平衡策略

影响：这有助于模型更快地收敛，因为梯度不会因为负值而减小，从而避免负向因素对模型训练的不良影响。结论：这使得

weixin_40941102·2025-02-12 15:08

深度学习算法informer（时序预测）（一）（数据编码讲解）

informer代码中数据编码包括三部分，位置编码、数据编码、时间编码目标：时序数据有7个特征，通过24个时间点（可以是年、月、日、时、分、秒）的数据预测未来1个时间点的数据一、位置编码1.pe不需要计算梯度

槑槑紫·2025-02-12 05:33

【机器学习】嘿马机器学习（算法篇）第6篇：线性回归,学习目标【附代码文档】...

数据集介绍1案例：鸢尾花种类预测1.8案例：鸢尾花种类预测—流程实现1再识K-近邻算法API1.11案例2：预测facebook签到位置1项目描述线性回归2.3数学:求导1常见函数的导数线性回归2.5梯度下降方法介绍

广江鹏·2025-02-11 21:59

DARTS算法笔记（论文+代码）

DARTS通过两次近似，将问题简单化，以减少GPU计算天数，局部最优近似全局最优，有限差分近似求梯度。摘要：在CIFAR-10、ImageNet、PennTreebank和

朴公英不会飞·2025-02-11 19:42

如何训练自己的数据集之——无人机视觉定位数据集，视觉定位，无人机视觉定位数据集无人机图像的空间分辨率

无人机视觉定位数据集，将无人机拍摄的地面俯视图与相应的遥感影像进行匹配，可以实现无人机的精确快速定位，且不会产生误差累积，能作为当前无人机组合导航系统的重要补充，无人机影像收集自国内多个地区，涵盖不同地形特征和大部分国内地区

计算机c9硕士算法工程师·2025-02-11 13:01

深度学习｜表示学习｜Batch Normalization 详解：数学、代码与经验总结｜22

BN通过对mini-batch数据进行归一化，使每层的输入数据分布保持稳定，从而缓解梯度消失/爆炸问题，同时减少对权重初始化的敏感性。

漂亮_大男孩·2025-02-11 08:56

AGI方向研究

**数学与理论基础**-**数学基础**：线性代数（矩阵运算、特征值）、概率统计（贝叶斯理论、分布模型）、微积分（梯度优化）、信息论（熵、KL散度）。-**计

微醺欧耶·2025-02-11 07:44

第二章：10.1 高级优化算法 Adam

梯度下降的基本概念：梯度下降是一种优化算法，用于最小化成本函数J(w,b)。在每一步中，通过计算成本函数相对于参数w和b的梯度，并沿着梯度的反方向更新参数，来逐步接近成本函数的最小值。

望云山190·2025-02-10 13:56

大模型学习笔记 - LLM 对齐优化算法 DPO

LLM-DPOLLM-DPODPO概述DPO目标函数推导DPO目标函数梯度的推导DPO概述大模型预训练是从大量语料中进行无监督学习，语料库内容混杂，训练的目标是语言模型损失，任务是nexttokenprediction

JL_Jessie·2025-02-10 03:54

AI学习专题（一）LLM技术路线

阶段1：AI及大模型基础（1-2个月）数学基础线性代数（矩阵、特征值分解、SVD）概率论与统计（贝叶斯定理、极大似然估计）最优化方法（梯度下降、拉格朗日乘子法）编程&框架Python（NumPy、Pandas

王钧石的技术博客·2025-02-10 01:39

深度学习笔记——pytorch构造数据集 Dataset and Dataloader

系列文章目录机器学习笔记——梯度下降、反向传播机器学习笔记——用pytorch实现线性回归机器学习笔记——pytorch实现逻辑斯蒂回归Logisticregression机器学习笔记——多层线性（回归

旺仔喔喔糖·2025-02-09 22:19

串口通信USART的波特率误差计算GD32、STM32

UART通信的误差计算：接收方与发送方频率不准,可能引起累积误差?

kongba007·2025-02-09 18:51

数值型特征处理 - 归一化和分桶

而分桶可能是指把连续的数值分成不同的区间，比如年龄段分成0-18，19-30这样的区间消除特征间的量纲差异，使不同特征具有可比性，适用于依赖距离或梯度的模型（如SVM、神经网络、KNN）最大最小归一化（

Ivanqhz·2025-02-09 18:50

【人工智能专栏】Stochastic Gradient Descent (SGD) 随机梯度下降

StochasticGradientDescent(SGD)随机梯度下降IntroducingSGDAI:StochasticGradientDescent(SGD)isapopularoptimizationalgorithmusedinmachinelearningforfindingtheminimumofacostfunction.Itisavariantofthegradientdesc

manylinux·2025-02-09 17:09

从零开始人工智能Matlab案例-线性回归与梯度下降算法

使用线性回归模型拟合历史数据，并通过梯度下降算法优化模型参数，动态展示参数更新如何逐步降低预测误差。

算法工程师y·2025-02-08 23:28

Nesterov加速梯度法 (NAG, Nesterov Accelerated Gradient) 算法详解及案例分析

Nesterov加速梯度法(NAG,NesterovAcceleratedGradient)算法详解及案例分析目录Nesterov加速梯度法(NAG,NesterovAcceleratedGradient

闲人编程·2025-02-08 22:27

十八、计算机视觉-canny边缘检测

文章目录前言一、canny检测的流程1.高斯滤波（GaussianSmoothing）2.梯度计算（GradientCalculation）3.非极大值抑制（Non-maximumSuppression

云峰天际·2025-02-08 19:01

从零学习pytorch——4.基础概念讲解及神经网络模块

nn.Module会自动管理模型的参数，包括参数的初始化、梯度计算和更新等

PyTorch 研习社·2025-02-07 22:05

《用DOTS解决实际需求》集锦

思路是先消除使用门槛后，再有梯度挖掘DOTS底层实现，学习过程非常平滑，并精细准备了进度条字幕，想看哪里点哪里

·2025-02-07 13:56

RNN/LSTM/GRU 学习笔记

6、BPTT和BP的区别二、LSTM1、LSTM简介2、LSTM如何缓解梯度消失与梯度爆炸？三、GRU四、参考文献RNN/LSTM/GRU一、RNN1、为何引入RNN？

Curz酥·2025-02-07 02:52

每日一题：数组算法中的前缀和问题

算法中的前缀和（PrefixSum）是一种处理数组或序列数据的技术，它通过计算数组中元素的累积和来简化某些问题的处理。

KE.WINE·2025-02-07 02:49

【单层神经网络】基于MXNet的线性回归实现（底层实现）

写在前面刚开始先从普通的寻优算法开始，熟悉一下学习训练过程下面将使用梯度下降法寻优，但这大概只能是局部最优，它并不是一个十分优秀的寻优算法整体流程生成训练数据集（实际工程中，需要从实际对象身上采集数据）

辰尘_星启·2025-02-06 11:43

遗传算法与深度学习实战（33）——WGAN详解与实现

遗传算法与深度学习实战（33）——WGAN详解与实现0.前言1.训练生成对抗网络的挑战2.GAN优化问题2.1梯度消失2.2模式崩溃2.3无法收敛3WassersteinGAN3.1Wasserstein

盼小辉丶·2025-02-06 09:29

前端 | JavaScript中的reduce方法

1.什么是reducereduce方法是JavaScript中数组的重要方法之一，用于对数组中的元素进行累积计算。它接收一个回调函数作为参数，并返回一个最终计算结果。

酒酿泡芙1217·2025-02-06 04:16

大规模语言模型从理论到实践 DeepSpeed实践

1.2训练和部署LLM的挑战1.3DeepSpeed：赋能LLM规模化1.4本文结构2.核心概念与联系2.1模型规模与性能的关系2.2模型并行化：数据并行、模型并行和流水线并行2.3混合精度训练2.4梯度累积

AI天才研究院·2025-02-06 01:59

redis过期key的删除策略

前言在使用redis的过程中，不免会产生过期的key，而这些key过期后并不会实时地马上被删除，当这些key数量累积越来越多，就会占用很多内存，因此在redis底层同时使用了三种策略来删除这些key。

自由de单车·2025-02-05 19:13

Transformers解决RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

在使用Transformers启动梯度检查点时，即：model.gradient_checkpointing_enable()时，会报错RuntimeError:element0oftensorsdoesnotrequiregradanddoesnothaveagrad_fn

怎么这么多名字都被占了·2025-02-05 18:06

PyTorch中的 torch.nn.GRU

与传统的RNN相比，GRU引入了门控机制，旨在解决长序列训练中的梯度消失问题，并提高了训练效率和性能。在PyTorch中，torch.nn.GRU是一个非常方便的模块，用于构建和训练GRU网络。

彬彬侠·2025-02-05 12:53

自定义数据集使用pytorch框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预测，对预测结果计算精确度和召回率及F1分数

训练模型：使用二元交叉熵损失函数BCELoss和随机梯度下降优化器SGD进行训练。保存模型：使用torch.save保存模型的参数。加载模型并预测：加载

知识鱼丸·2025-02-05 06:42

TensorFlow 示例项目实战与源码解析.zip

文章将详细介绍TensorFlow的核心概念，如张量、图计算、会话、变量、梯度下降与优化器、损失函数、数据集、模型评估、模型保存与恢复以及KerasAPI。读者可通过实践这些示

ELSON麦香包·2025-02-05 01:34

GRU是门控循环单元是什么？

GRU旨在解决传统RNN中存在的长期依赖问题和反向传播中的梯度消失或梯度爆炸问题。

无限进步呀·2025-02-04 22:13

门控循环单元（GRU）

门控循环单元（GRU）门控循环单元（GRU）是一种循环神经网络（RNN）的变体，旨在解决传统RNN在处理长序列时的梯度消失问题，并且相比于长短期记忆（LSTM），它具有更简洁的结构。

彬彬侠·2025-02-04 15:23

手机Python爬虫教程：利用手机学习Python爬虫的终极指南_python可以在手机上写爬虫吗

通过合理安排学习任务，你可以在有限的时间内完成一些小的学习目标，逐渐累积学习成果。

字节全栈_bgK·2025-02-04 04:20

机器学习笔记20241017

torchvisiondataloadernn.module卷积非线性激活模型选择训练误差泛化误差正则化权重衰退的基本概念数学表示权重衰退的效果物理解释数值稳定性（GradientVanishing）梯度消失原因解决方法梯度爆炸

tt555555555555·2025-02-04 03:11

基于BiGRU的预测模型及其Python和MATLAB实现

RNN能够处理序列数据，但它们在长序列数据的学习中存在梯度消失和梯度爆炸的问题。为了解决这些问题，长短期记忆网络（LS

追蜻蜓追累了·2025-02-04 03:10

Python 图像处理进阶：特征提取与图像分类

原理：SIFT通过在不同尺度的空间内寻找极值点来检测关键点，并利用梯度方向的直方

极客代码·2025-02-03 21:23

推荐频道