梯度消失

机器学习中的梯度到底是什么？（chat-gpt问答）

1、梯度是对损失函数求导吗？是的，梯度是对损失函数（或目标函数）求导数值化后的结果。梯度告诉我们目标函数在某个点上的方向性和变化率，这些信息是优化算法推进参数评估和更新的重要指标。
湫怿·2025-03-15 16:19

机器学习中的梯度下降是什么意思？

梯度下降（GradientDescent）是机器学习中一种常用的优化算法，用于最小化损失函数（LossFunction）。通过迭代调整模型参数，梯度下降帮助模型逐步逼近最优解，从而提升模型的性能。
yuanpan·2025-03-15 15:45

第十三届蓝桥杯研究生组C++省赛

当棒扫到某个物件时，棒的长度会瞬间增长zi，且物件瞬间消失（棒的顶端恰好碰到物件也视为扫到），如果此时增长完的棒又额外碰到了其他物件，也按上述方式消去（它和上述那个点视为同时消失）。
格格巫ZYX·2025-03-15 11:09

梯度下降法以及随机梯度下降法

梯度下降法就是在更新weight的时候，向函数值下降的最快方向进行更新，具体的原理我就不再写了，就是一个求偏导的过程，有高数基础的都能够很快的理解过程。
HKkuaidou·2025-03-15 01:39

PyTorch 深度学习实战（13）：Proximal Policy Optimization (PPO) 算法

一、PPO算法基础PPO是OpenAI提出的一种强化学习算法，旨在解决策略梯度方法中的训练不稳定问题。PPO通过
进取星辰·2025-03-14 19:47

【大模型LLM面试合集】分布式训练_总结

数据并行不仅仅指对训练的数据并行操作，还可以对网络模型梯度、权重参数、优化器状态等数据进行并行。
X.AI666·2025-03-14 17:28

大模型高效优化技术全景解析：微调、量化、剪枝、梯度裁剪与蒸馏

目录微调（Fine-tuning）量化（Quantization）剪枝（Pruning）梯度裁剪（GradientClipping）知识蒸馏（KnowledgeDistillation）技术对比与协同策略总结与趋势
时光旅人01号·2025-03-14 15:40

XGBoost算法深度解析：从原理到实践

一、算法起源与核心思想XGBoost（eXtremeGradientBoosting）由陈天奇于2014年提出，是梯度提升决策树（GBDT）的优化版本。
彩旗工作室·2025-03-14 11:36

深度学习之优化器Optimizer介绍

优化器(Optimizer)是深度学习训练中非常关键的组件,它负责根据损失函数的梯度来更新模型参数,从而使模型性能不断提升。1.优化器的作用和重要性优化器是训练深度学习模型的核心组件之一。
yueguang8·2025-03-14 08:19

深度学习 常见优化器

一、基础优化器随机梯度下降（SGD）•核心：∇θJ(θ)=η*∇θJ(θ)•特点：学习率固定，收敛路径震荡大•适用场景：简单凸优化问题•改进方向：动量加速二、动量系优化器2.SGDwithMomentum
Humingway·2025-03-14 07:13

深度学习中常用的优化器

梯度下降是优化神经网络的首选方法。
无能者狂怒·2025-03-14 04:16

模型训练和推理

训练时需要梯度，推理时不需要怎么理解“梯度”？
一杯水果茶！·2025-03-13 12:02

【梯度下降算法】

梯度下降算法：第一章梯度下降的历史沿革1.1优化方法的演进脉络从17世纪牛顿时代的数值解法，到20世纪最优控制理论的发展，直至现代机器学习对优化算法的特殊需求，梯度下降算法在数学优化史上占据重要地位。
蝉叫醒了夏天·2025-03-13 12:01

【经典游戏】Java实现俄罗斯方块小游戏（附源码）

该游戏的目标是通过移动、旋转和适当摆放下落的不同形状的方块，使它们在底部组成完整的水平线，一旦一条水平线被填满，该线将消失并为新的方块腾出空间。
枫蜜柚子茶·2025-03-13 11:54

分布式并行策略概述

每个副本完成自己批次的前向和反向传播计算后，梯度被汇总并同步更新到所有模型副本。优势：易于实现和扩展。可以显著减少训练时间，尤其是当模型较小，而数据集较大时。
灵海之森·2025-03-13 10:11

第一章_第一节——半导体的基础知识

动态平衡：热激发（电子空穴对产生）和复合（电子空穴对消失）就像恋爱分手率，
慎独yfs·2025-03-13 10:40

为什么我的 PDF 无法正确转换为 Word？常见格式问题和最佳解决方案

字体缺失、布局混乱、文本变成图像、图片无法识别、表格边框消失或合并不正确。所有这些都是因为PDF是一种非结构化的文档。
·2025-03-12 17:36

梯度提升决策树（GBDT）

GBDT（GradientBoostingDecisionTree），全名叫梯度提升决策树，是一种迭代的决策树算法，又叫MART（MultipleAdditiveRegressionTree），它通过构造一组弱的学习器
binggorun·2025-03-12 09:18

无人机动态追踪技术难点与距离分析！

多目标跟踪与遮挡处理**：目标被遮挡或短暂消失时，需通过轨迹预测或特征匹配恢复跟踪，对算法的记忆能力和实时性要求极高。实时性要求**：算法需
云卓SKYDROID·2025-03-12 01:15

实现页面加载鸿蒙示例代码

实现页面加载源码链接效果预览使用说明加载页面之前显示弹窗图标，经过固定时间后图标消失。实现思路使用@CustomDialog实现自定义弹窗。
·2025-03-11 20:10

深度学习训练中GPU内存管理

文章目录概述常见问题1、设备选择和数据迁移2、显存监控函数3、显存释放函数4、自适应batchsize调节5、梯度累积概述在深度学习模型训练中，主流GPU显存通常为8GB~80GB，内存不足会导致训练中断或
@Mr_LiuYang·2025-03-11 19:24

《Natural Actor-Critic》译读笔记

Theactor的更新通过使用Amari的自然梯度方法进行策略梯度的随机估计来实现，而评论家则通过线性回归同时获得自然策略梯度和价值函数的附加参数。
songyuc·2025-03-11 11:21

基于PyTorch的深度学习——机器学习3

如果搭建的神经网络层数不多，选择sigmoid、tanh、relu、softmax都可以；而如果搭建的网络层次较多，那就需要小心，选择不当就可导致梯度消失问题。
Wis4e·2025-03-11 07:47

神经网络中梯度计算求和公式求导问题

以下是公式一推导出公式二的过程。表达式一∂E∂wjk=−2(tk−ok)⋅sigmoid(∑jwjk⋅oj)⋅(1−sigmoid(∑jwjk⋅oj))⋅∂∂wjk(∑jwjk⋅oj)\frac{\partialE}{\partialw_{jk}}=-2(t_k-o_k)\cdot\text{sigmoid}\left(\sum_jw_{jk}\cdoto_j\right)\cdot(1-\tex
serve the people·2025-03-11 06:09

XGBClassifiler函数介绍

XGBoost是一种高效且灵活的梯度提升决策树（GBDT）实现，它在多种机器学习竞赛中表现出色，尤其擅长处理表格数据。
浊酒南街·2025-03-11 05:32

GEE APP——SnowCloudMetrics应用程序，用于分析和可视化雪的覆盖频率（SCF）和雪的消失日期（SDD）

目录简介代码解释代码结果网址简介GEEAPP——SnowCloudMetrics应用程序，用于分析和可视化雪的覆盖频率（SCF）和雪的消失日期（SDD）代码解释用于GoogleEarthEngine(GEE
此星光明·2025-03-11 03:11

【深度学习】Adam（Adaptive Moment Estimation）优化算法

通过动态调整每个参数的学习率，在非平稳目标（如深度神经网络的损失函数）中表现优异目录基本原理和公式笼统说明：为什么Adam算法可以帮助模型找到更好的参数基本概念动量（Momentum）：跟踪梯度的指数衰减平均
辰尘_星启·2025-03-10 20:51

深度学习笔记——Resnet和迁移学习

然而，随着网络深度的增加，一些问题也随之出现，最突出的是梯度消失/爆炸问题。这使得深层网络难以训练。梯度消失：梯度消失是指在训练深度神经网络时，通过多层传递的梯度(误差)变得非常小，接近于零。
肆——·2025-03-10 15:17

基于PyTorch的深度学习4——使用numpy实现机器学习vs使用Tensor及Antograd实现机器学习

最后，采用梯度梯度下降法，通过多次迭代，学习到w、b的值。以下为具体步骤：1)导入需要的库。
Wis4e·2025-03-10 09:09

Pytorch 第九回：卷积神经网络——ResNet模型

该模型是基于解决因网络加深而出现的梯度消失和网络退化而进行设计的。接下来给大家分享具体思路。
Start_Present·2025-03-10 09:05

PyTorch 学习路线

机器学习基础：理解神经网络、损失函数、优化器（如梯度下降）等概念。学习资源Python入门：Python官方教程机器学习基础
gorgor在码农·2025-03-09 22:07

PyTorch：Python深度学习框架使用详解

自动微分：自动计算梯度，简化了机器学习模型的训练过程。丰富的API：提供了丰富的神经网络层、函数和损失函数。跨平
零 度°·2025-03-09 21:25

搜广推校招面经三十八

二、Transformer中对梯度消失或者梯度爆炸的处理在Transformer模型中，梯度消失和梯度爆炸是深度学习中常见的问题，尤其是在处理长序列数据时。
Y1nhl·2025-03-09 12:45

OpenCV计算摄影学（16）调整图像光照效果函数illuminationChange()

操作系统：ubuntu22.04OpenCV版本：OpenCV4.9IDE:VisualStudioCode编程语言：C++11算法描述对选定区域内的梯度场应用适当的非线性变换，然后通过泊松求解器重新积分
村北头的码农·2025-03-09 09:23

tensorflow keras 报错 ：No gradients provided for any variable 原因与解决办法

错误分析Nogradientsprovidedforanyvariable这个意思是没有梯度给已知的所有函数，为什么会出现这个错误呢，因为在深度学习中，梯度的更新是由于反向传播算法的实现的，如果损失函数没有与已知的任何
研志必有功·2025-03-09 06:26

p5.js：模拟 n个彩色小球在一个3D大球体内部弹跳

每个小球都应留下一条逐渐消失的轨迹。大球体应缓慢旋转，并显示透明的轮廓线。请确保实现适当的碰撞检测，使小球保持在球体内部。cdp5-democopy.
belldeep·2025-03-09 02:46

图像处理篇---opencv中的图像特征

优点5.缺点二、形状特征：Hu矩1.Hu矩简介2.Hu矩计算步骤3.OpenCV实现4.优点5.缺点三、其他可用于传统机器学习的特征1.颜色特征颜色直方图颜色矩2.边缘特征Canny边缘检测HOG（方向梯度直方图
Ronin-Lotus·2025-03-08 19:35

框架基本知识总结 Day16

登录注意点前台接受到loginUser对象，前台后续的操作都需要依靠这个对象后台可以存在redis数据库中，前台可以存在vuex和Sessionstorage中vuex在刷新页面后数据会消失，需要使用浏览器的
小斌的Debug日记·2025-03-08 17:33

Python爬取58同城广州房源+可视化分析

消失了一段时间，这段时间在CSDN阅读了不少关于Python爬虫的文章，也学习了秦璐老师
R3eE9y2OeFcU40·2025-03-08 11:35

python前闭后开_opencv 形态学变换(开运算，闭运算，梯度运算)

形态学里把腐蚀和膨胀单独拿了出来，其他操作(保括膨胀和腐蚀的组合操作)都叫形态学变换。opencv里有包：cv2.morphologyEx()morphology：译文形态学使用python+opencv讲解开运算开运算：对图像先进行腐蚀，然后对腐蚀后的图进行膨胀morphologyEx运算结果=cv2.morphologyEx(源图像img,cv2.MORPH_OPEN,卷积核k)cv2.MOR
weixin_39814126·2025-03-08 05:09

VSCode Codeium插件Chat对话框无法输入

环境系统：win10IDE:VisualStudioCode-Insiders1.82.0插件：Codeium个人版1.2.85问题描述正常登录Codeium插件后，chat对话框无法输入，且函数头AI辅助消失
张芬奇·2025-03-08 03:36

特征缩放：统一量纲，提高模型性能

这种量纲不统一会给许多机器学习算法（如梯度下降）带来问题，导致收敛速度慢、模型性能差等。特征缩放（FeatureScaling）就是一种用于解决这个问题的常用数据预处理
AI天才研究院·2025-03-08 03:04

实现自定义弹窗鸿蒙示例代码

用户隐私协议弹窗切换页面弹窗不消失半模态弹窗动态半模态弹窗实现自定义弹窗源码链接效果预览使用说明点击“隐私协议”按钮，会从下往上弹出用户隐私协议。
·2025-03-08 01:11

01计算机视觉学习计划

基础夯实✅目标：掌握数学基础、Python/C++编程、基本图像处理1️⃣数学基础（2周）每日2小时线性代数：矩阵运算、特征值分解（推荐《线性代数及其应用》）概率统计：高斯分布、贝叶斯定理微积分：偏导数、梯度下降傅里叶变换
依旧阳光的老码农·2025-03-07 20:15

第37篇Personalized Federated Learning: A Meta-Learning Approach（perfedavg联邦学习+元学习）2020个性化联邦学习使用Hessian

通过寻找一个初始共享模型，让用户基于自身数据执行少量梯度下降步骤就能快速适应
还不秃顶的计科生·2025-03-07 17:44

2021年7月初，深圳TPlink图像算法工程师面试题分享

梯度爆炸和梯度消失现象也得到了一些缓解（我自己加上去的）。bat
niuyunpang·2025-03-07 11:16

React基础教程（06）：条件渲染

1条件渲染使用条件渲染，结合TodoList案例，进行完善，实现以下功能：当列表中的数据为空的时候，现实提示信息暂无待办事项当列表中存在数据的时候，提示信息消失这里介绍三种实现方式。
叁拾舞·2025-03-07 07:18

深度学习_第二轮

在计算损失函数的梯度（即关于权重的偏导数）时，需要考虑整个数据集中的所有样本。对于每个样本((x_i),(y_i))，我们计算其对损失函数的贡献，并通过求和或平均这些贡献
Humingway·2025-03-06 22:16

对深度学习中的基本概念—梯度的理解

本文讨论一下对“梯度”的理解。“梯度”是深度学习中基本又非常核心的概念，没有它就没有人工智能的今天。
Humingway·2025-03-06 22:15

遗传算法基础讲解

无需梯度信息：对目标函数的数学性质要求低，适合黑箱优化。全局搜索能力：通过种群并行搜索，避免陷入局部最优，适合多维优化。
HH予·2025-03-06 18:42
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他