loss梯度第2页

【YOLOv11改进- 主干网络】YOLOv11+CSWinTransformer: 交叉窗口注意力Transformer助力YOLOv11有效涨点；

YOLOV11目标检测改进实例与创新改进专栏专栏地址：YOLOv11目标检测改进专栏，包括backbone、neck、loss、分配策略、组合改进、原创改进等本文介绍发paper，毕业皆可使用。

算法conv_er·2025-02-18 15:43

如何解决RNN梯度爆炸和弥散的问题

1.梯度裁剪（GradientClipping）：用于防止梯度爆炸。在每次参数更新之前，计算梯度的范数，如果超过某个阈值，则将梯度缩放到这个阈值。这种方法可以防止梯度在反向传播过程中变得过大。

路野yue·2025-02-18 12:40

Pytorch官方文档英语翻译

a-e1.1span跨度1.2blended混合的1.3criterion标准1.4deprecated弃用的1.5clamp钳制1.6arbitraryshapes任意形状1.7explodinggradients梯度爆炸

yanzhiwen2·2025-02-17 21:35

机器学习 - 学习线性模型的重要性

微积分：掌握导数、梯度

谦亨有终·2025-02-17 14:29

【深度学习】计算机视觉（CV）-图像分类-ResNet（Residual Network，残差网络）

ResNet的核心思想是残差学习（ResidualLearning），它通过跳跃连接（SkipConnections）解决了深度神经网络训练中的梯度消失和梯度爆炸问题，使得非常深的网络（如50层、1

IT古董·2025-02-17 14:57

【机器学习】多元线性回归

本教程将系统性推演多元线性回归，包括向量化处理、特征放缩、梯度下降的收敛性和学习率选择等，并使用numpy实现。最后，我们会通过sklearn快速实现多元线性回归模型。

T0uken·2025-02-17 14:26

【论文精读】MotionLM

【论文精读】MotionLM1背景2存在的问题3具体方案轨迹转运动序列模型轨迹去重和聚类loss1背景团队：Waymo时间：2023.9代码：简介：采用自回归的方式做轨迹生成，能够更好地建模交互，且避免模态坍缩

EEPI·2025-02-17 12:37

darts框架使用

IndexError:invalidindexofa0-dimtensor.Usetensor.item()toconverta0-dimtensortoaPythonnumber解决：update函数的参数loss.data

ME_Seraph·2025-02-17 09:12

第N11周：seq2seq翻译实战-Pytorch复现

文章目录一、前期准备1.搭建语言类2.文本处理函数3.文件读取函数二、Seq2Seq模型1.编码器（encoder）2.解码器（decoder）三、训练1.数据预处理2.训练函数3.评估四、评估与训练1.Loss

计算机真好丸·2025-02-17 07:57

CP AUTOSAR标准之FlexRayStateManager(AUTOSAR_CP_SWS_FlexRayStateManager)（更新中……）

瑟寒凌风·2025-02-16 04:33

优化算法全景解析：从梯度下降到群体智能

一、引言：为什么需要优化算法？在AlphaGo击败人类围棋冠军的背后，在特斯拉自动驾驶系统实时决策的瞬间，在推荐系统精准推送内容的过程中，优化算法始终是推动这些技术落地的核心引擎。无论是机器学习模型的训练，还是复杂系统的参数调优，优化算法的本质是：在给定的约束条件下，找到使目标函数最优的解。本文将深入解析优化算法的核心原理、经典方法、现代进展及实战应用，助你全面掌握这一技术利器。二、优化算法分类图

welcome_123_·2025-02-15 08:31

动手学深度学习笔记|3.2线性回归的从零开始实现（附课后习题答案）

3.为什么在`squared_loss`函数中需要使用`reshape`函数？4.尝试使用不同的学习率，观察损失函数值下

lusterku·2025-02-15 04:57

用大模型学大模型02-数学基础微积分

https://metaso.cn/s/uxPBB9C我正在学习深度学习相关的数学知识,学到了微积分核心概念：导数（尤其是偏导数）、梯度、链式法则；积分与最优化（如梯度下降法的数学推导）给我一个入门级的完整教程和实例好吧

wyg_031113·2025-02-14 22:39

焦损函数（Focal Loss）与RetinaNet目标检测模型详解

焦损函数（FocalLoss）与RetinaNet目标检测模型详解阅读时长：19分钟发布时间：2025-02-14近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容

·2025-02-14 22:31

【一起看花书1.3】——第5章机器学习基础

目录：5.7监督学习5.8无监督学习5.9随机梯度下降5.10构建机器学习算法5.11深度学习发展的动力5.7监督学习监督学习，本质上是复杂函数的拟合，即给定特征xxx,我们需要得到标签yyy，这不就是求一个函数的拟合嘛

应有光·2025-02-14 17:03

《探秘Hogwild!算法：无锁并行SGD的神奇之路》

算法作为一种能够实现无锁并行随机梯度下降（SGD）的创新方法，受到了广泛关注。下面就来深入探讨一下Hogwild!算法是如何实现这一壮举的。

·2025-02-14 17:24

【深入探讨 ResNet：解决深度神经网络训练问题的革命性架构】

然而，随着网络层数的增加，训练深层网络变得愈加困难，主要问题是“梯度消失”和“梯度爆炸”问题。

机器学习司猫白·2025-02-14 16:26

9、深度学习-自学之路-损失函数、梯度下降、学习率、权重更新的理解

由《8、深度学习-自学之路-损失函数和梯度下降程序展示》我们看到我们设计了一个程序，这个程序里面由学习率，有损失函数，有梯度下降，权重更新。

小宇爱·2025-02-14 11:16

《深度解析：批量、随机和小批量梯度下降的区别与应用》

在机器学习和深度学习的领域中，梯度下降算法是优化模型参数的核心工具之一。

·2025-02-14 09:40

从VGG到Transformer：深度神经网络层级演进对模型性能的深度解析与技术实践指南

深度网络可表达复杂函数：f(x)=fL(fL−1(⋯f1(x)))f(x)=f_L(f_{L-1}(\cdotsf_1(x)))f(x)=fL(fL−1(⋯f1(x)))层数L增加时，函数空间指数级扩大梯度传播挑战

燃灯工作室·2025-02-14 05:57

Pytorch的自动求导模块

文章目录torch.autograd.backward()基本用法非标量张量的反向传播保留计算图指定输入张量高阶梯度计算与y.backward()的区别torch.autograd.grad()基本用法非标量张量的梯度高阶梯度计算多输入

zoujiahui_2018·2025-02-14 05:57

机器学习算法工程师笔试选择题（1）

1.关于梯度下降的说法正确的是：A.梯度下降法可以确保找到全局最优解。B.随机梯度下降每次使用所有数据来更新参数。C.批量梯度下降（BatchGradientDescent）通常收敛更快。

Ash Butterfield·2025-02-14 00:08

conda 装tensorboardx_【工欲善其事】TensorboardX的使用

在训练过程中实时地观察loss/accuracy曲

weixin_39719042·2025-02-13 19:08

神经网络常见激活函数 9-CELU函数

连续可微指数线性单元：CELU（ContinuouslyDifferentiableExponentialLinearUnit）,是一种连续可导的激活函数，结合了ELU和ReLU的特点，旨在解决ELU在某些情况下的梯度问题

亲持红叶·2025-02-13 15:37

23、深度学习-自学之路-激活函数relu、tanh、sigmoid、softmax函数的正向传播和反向梯度。

反向梯度传播：当输出值大于0，那么反向梯度值就等于输出值乘以1如果小于0，那反向梯度值就等于0.通俗的来说就是，如果输入值是0或小于0，那么输出值的反向增强就没有。

小宇爱·2025-02-13 13:22

【人工智能】Python中的深度学习优化器：从SGD到Adam

本文将介绍深度学习中常用的优化器，从传统的随机梯度下降（SGD）到现代的自适应优化器（如Adam）。我们将深入探讨每种优化器的原理、优缺点，并通过Python实现

蒙娜丽宁·2025-02-13 08:13

机器学习面试笔试知识点-线性回归、逻辑回归(Logistics Regression)和支持向量机(SVM)

机器学习面试笔试知识点-线性回归、逻辑回归LogisticsRegression和支持向量机SVM微信公众号：数学建模与人工智能一、线性回归1.线性回归的假设函数2.线性回归的损失函数（LossFunction

qq742234984·2025-02-13 07:39

Python中LSTM算法的实现与应用

首先解释了LSTM的工作原理，重点在于其门结构如何有效解决传统RNN的梯度问题，并通过控制信息流动以学习长期依赖。

昊叔Crescdim·2025-02-12 19:01

深入解析ReLU激活函数的优缺点及其平衡策略

影响：这有助于模型更快地收敛，因为梯度不会因为负值而减小，从而避免负向因素对模型训练的不良影响。结论：这使得

weixin_40941102·2025-02-12 15:08

深度学习算法informer（时序预测）（一）（数据编码讲解）

informer代码中数据编码包括三部分，位置编码、数据编码、时间编码目标：时序数据有7个特征，通过24个时间点（可以是年、月、日、时、分、秒）的数据预测未来1个时间点的数据一、位置编码1.pe不需要计算梯度

槑槑紫·2025-02-12 05:33

【机器学习】嘿马机器学习（算法篇）第6篇：线性回归,学习目标【附代码文档】...

数据集介绍1案例：鸢尾花种类预测1.8案例：鸢尾花种类预测—流程实现1再识K-近邻算法API1.11案例2：预测facebook签到位置1项目描述线性回归2.3数学:求导1常见函数的导数线性回归2.5梯度下降方法介绍

广江鹏·2025-02-11 21:59

Python 深度学习项目目录规范

工程项目配置文件夹config.pydocs工程项目相关文档说明文件夹data工程数据或数据获取代码文件夹demos/examples工程demo或example文件夹layers自定义的层(如果有)self_loss.py

灰灰灰灰灰发·2025-02-11 19:15

DARTS算法笔记（论文+代码）

DARTS通过两次近似，将问题简单化，以减少GPU计算天数，局部最优近似全局最优，有限差分近似求梯度。摘要：在CIFAR-10、ImageNet、PennTreebank和

朴公英不会飞·2025-02-11 19:42

DeepSeek-v3笔记(1)

与v2不同的是，这里用了更加强力的路由平衡算法，叫Auxiliary-Loss-FreeLoadBalancing。

蒸土豆的技术细节·2025-02-11 09:06

深度学习｜表示学习｜Batch Normalization 详解：数学、代码与经验总结｜22

BN通过对mini-batch数据进行归一化，使每层的输入数据分布保持稳定，从而缓解梯度消失/爆炸问题，同时减少对权重初始化的敏感性。

漂亮_大男孩·2025-02-11 08:56

AGI方向研究

**数学与理论基础**-**数学基础**：线性代数（矩阵运算、特征值）、概率统计（贝叶斯理论、分布模型）、微积分（梯度优化）、信息论（熵、KL散度）。-**计

微醺欧耶·2025-02-11 07:44

RLHF代码解读

#模型的损失函数loss=value_chosen-value_rejectedloss=-to

木木木马马·2025-02-11 00:25

第二章：10.1 高级优化算法 Adam

梯度下降的基本概念：梯度下降是一种优化算法，用于最小化成本函数J(w,b)。在每一步中，通过计算成本函数相对于参数w和b的梯度，并沿着梯度的反方向更新参数，来逐步接近成本函数的最小值。

望云山190·2025-02-10 13:56

大模型学习笔记 - LLM 对齐优化算法 DPO

LLM-DPOLLM-DPODPO概述DPO目标函数推导DPO目标函数梯度的推导DPO概述大模型预训练是从大量语料中进行无监督学习，语料库内容混杂，训练的目标是语言模型损失，任务是nexttokenprediction

JL_Jessie·2025-02-10 03:54

AI学习专题（一）LLM技术路线

阶段1：AI及大模型基础（1-2个月）数学基础线性代数（矩阵、特征值分解、SVD）概率论与统计（贝叶斯定理、极大似然估计）最优化方法（梯度下降、拉格朗日乘子法）编程&框架Python（NumPy、Pandas

王钧石的技术博客·2025-02-10 01:39

torch.nn.CrossEntropyLoss()的一些小细节（原理和数学，softmax与dim，ignore_index，报错：0D or 1D target tensor expecte）

目录关于torch.nn.CrossEntropyLoss()数学原理关于熵数学公式pytorch中的torch.nn.CrossEntropyLoss()torch.nn.CrossEntropyLoss

老肝犯·2025-02-09 22:49

深度学习笔记——pytorch构造数据集 Dataset and Dataloader

系列文章目录机器学习笔记——梯度下降、反向传播机器学习笔记——用pytorch实现线性回归机器学习笔记——pytorch实现逻辑斯蒂回归Logisticregression机器学习笔记——多层线性（回归

旺仔喔喔糖·2025-02-09 22:19

数值型特征处理 - 归一化和分桶

而分桶可能是指把连续的数值分成不同的区间，比如年龄段分成0-18，19-30这样的区间消除特征间的量纲差异，使不同特征具有可比性，适用于依赖距离或梯度的模型（如SVM、神经网络、KNN）最大最小归一化（

Ivanqhz·2025-02-09 18:50

【人工智能专栏】Stochastic Gradient Descent (SGD) 随机梯度下降

StochasticGradientDescent(SGD)随机梯度下降IntroducingSGDAI:StochasticGradientDescent(SGD)isapopularoptimizationalgorithmusedinmachinelearningforfindingtheminimumofacostfunction.Itisavariantofthegradientdesc

manylinux·2025-02-09 17:09

从零开始人工智能Matlab案例-线性回归与梯度下降算法

使用线性回归模型拟合历史数据，并通过梯度下降算法优化模型参数，动态展示参数更新如何逐步降低预测误差。

算法工程师y·2025-02-08 23:28

Nesterov加速梯度法 (NAG, Nesterov Accelerated Gradient) 算法详解及案例分析

Nesterov加速梯度法(NAG,NesterovAcceleratedGradient)算法详解及案例分析目录Nesterov加速梯度法(NAG,NesterovAcceleratedGradient

闲人编程·2025-02-08 22:27

十八、计算机视觉-canny边缘检测

文章目录前言一、canny检测的流程1.高斯滤波（GaussianSmoothing）2.梯度计算（GradientCalculation）3.非极大值抑制（Non-maximumSuppression

云峰天际·2025-02-08 19:01

【深度学习】L1损失、L2损失、L1正则化、L2正则化

文章目录1.L1损失（L1Loss）2.L2损失（L2Loss）3.L1正则化（L1Regularization）4.L2正则化（L2Regularization）5.总结5.1为什么L1正则化会产生稀疏解

小小小小祥·2025-02-08 15:31

从零学习pytorch——4.基础概念讲解及神经网络模块

nn.Module会自动管理模型的参数，包括参数的初始化、梯度计算和更新等

PyTorch 研习社·2025-02-07 22:05

《用DOTS解决实际需求》集锦

思路是先消除使用门槛后，再有梯度挖掘DOTS底层实现，学习过程非常平滑，并精细准备了进度条字幕，想看哪里点哪里

·2025-02-07 13:56

推荐频道

loss梯度