梯度冻结

高性能计算:GPU加速与分布式训练

1.1.深度学习与计算挑战深度学习模型通常包含数百万甚至数十亿个参数，训练过程需要进行大量的矩阵运算和梯度更新，对计算资源的需求非常高。传统的CPU架构虽然具有较强的通用性，但其并行计

AI天才研究院·2025-03-21 06:17

神经网络之参数初始化

合适的参数初始化方法有助于提高训练速度、避免梯度消失/爆炸问题，并且加速网络的收敛。一、参数初始化目的避免梯度消失和梯度爆炸：在深度神经网络中，参数初始化对梯度流动非常重要。

硬水果糖·2025-03-20 08:21

LoRA中黑塞矩阵、Fisher信息矩阵是什么

在机器学习中常用于自然梯度下降（NaturalGradientDescent

ZhangJiQun&MXP·2025-03-20 07:15

NLP高频面试题（三）——普通RNN的梯度消失和梯度爆炸问题

普通RNN（循环神经网络）的梯度消失和梯度爆炸问题是指在训练深层或长序列的RNN模型时出现的两种典型问题：一、梯度消失（VanishingGradient）梯度消失是指在反向传播过程中，梯度逐层传播时变得越来越小

Chaos_Wang_·2025-03-19 23:34

祛魅 Manus ，从 0 到 1 开源实现

之后又出现反转，被爆出实际体验效果不佳，存在造假的问题，Manus在X平台的账号被冻结。沟通之后，3月8日，Manus官方X账号又被解冻。

易迟·2025-03-19 15:38

【机器学习】主成分分析法（PCA）

【机器学习】主成分分析法（PCA）一、摘要二、主成分分析的基本概念三、主成分分析的数学模型五、主成分分析法目标函数公式推导（`梯度上升法`求解目标函数）六、梯度上升法求解目标函数第一个主成分七、求解前n

若兰幽竹·2025-03-19 15:31

纳米尺度仿真软件：Quantum Espresso_（18）.纳米结构的几何优化

在每一步迭代中，软件会计算系统的梯度（即能量

kkchenjj·2025-03-19 07:54

深度学习框架PyTorch——从入门到精通（5）自动微分

使用torch.autograd自动微分张量、函数和计算图计算梯度禁用梯度追踪关于计算图的更多信息张量梯度和雅可比乘积在训练神经网络时，最常用的算法是反向传播。

Fansv587·2025-03-19 06:20

PyTorch 深度学习实战（12）：Actor-Critic 算法与策略优化

本文将深入探讨Actor-Critic算法，这是一种结合了策略梯度（PolicyGradient）和值函数（ValueFunction）的强化学习方法。

进取星辰·2025-03-18 19:17

软件性能测试深度解析（进阶篇）：JMeter高阶应用与性能工程体系构建

线程模型：基于Java线程池实现虚拟用户（VirtualUser）并发，通过Ramp-Up参数控制线程启动梯度。

追寻向上·2025-03-18 12:24

论文笔记：Deep Algorithm Unrolling for Blind Image Deblurring

主要贡献：DeepUnrollingforBlindImageDeblurring(DUBLID)：提出一种可解释的神经网络结构叫做DUBLID，首先提出一种迭代算法，该算法被认为是梯度域中传统的广义全变分正则方法

爱学习的小菜鸡·2025-03-18 09:55

技术解析麦萌短剧《阴阳无极》：从「性别偏见下的对抗训练」到「分布式江湖的架构重构」

1.初始模型偏差：继承权剥夺与梯度冻结陈千叶（Agent_C）的成长可视为有偏数据集上的训练：特征歧视：太极门继承规则（Legacy_Rule）作为传统分类器，强行将性别（Gender_Feature）

短剧萌·2025-03-18 08:15

Ubuntu 将更改版本规则，使用最新内核发布发行版

现在CanonicalKernelTeam(CKT)宣布将改变内核选择方法，即在发布冻结日期时采用最新可

CIb0la·2025-03-18 06:28

第十六篇 SQL优化之计划控制：进阶之路带上这篇文章，快到起飞

1.2不管控执行计划的后果二、操控执行计划的「三板斧」2.1第一招：HINT大法（直接下指令）2.2第二招：暗度陈仓（间接引导）方法1：统计信息大法方法2：虚拟列黑科技方法3：分区表妙用2.3第三招：计划冻结术

随缘而动，随遇而安·2025-03-17 20:39

21-梯度累积原理与实现

在GPU内存不变的情况下，模型越来越大，那么这就意味着数据的batchsize智能缩小，这个时候，梯度累积（GradientAccumulation）可以作为一种简单的解决方案来解决这个问题。

机器人图像处理·2025-03-17 19:34

基于发明的电容电感的新型热力梯度耦合电容电感lc谐振储能可行性

热梯度双层LC谐振储能结构可行性分析设计一种结合热力梯度、电容层（C层）、电感层（L层）及中间耦合层的双层LC谐振储能系统，需从物理原理、材料选择、热管理、能量耦合效率等方面进行综合评估。

热爱电气·2025-03-17 13:47

java实现卷积神经网络CNN（附带源码）

什么是卷积神经网络（CNN）1.3卷积神经网络的应用场景相关知识与理论基础2.1神经网络与深度学习概述2.2卷积操作与卷积层原理2.3激活函数与池化层2.4全连接层与损失函数2.5前向传播、反向传播与梯度下降项目需求与分析

Katie。·2025-03-17 07:38

pip install和conda install的区别

1.依赖的作用2.如何管理Python依赖3.依赖管理问题4.依赖锁定总结二、使用pip安装包+venv隔离环境方法1：使用venv（推荐）创建虚拟环境激活环境安装包冻结（导出）环境退出环境删除环境方法

莫聽穿林打叶聲·2025-03-17 01:48

计算机视觉（Computer Vision, CV）的入门到实践的详细学习路线

微积分掌握梯度、

云梦优选·2025-03-16 18:57

kaggle-ISIC 2024 - 使用 3D-TBP 检测皮肤癌-学习笔记

CatBoost在传统梯度提升决策树（GBDT）基础上，引入了一系列关键技术创新，以提升处理类

supernova121·2025-03-16 12:10

Manus 一码难求，MetaGPT、OpenManus、Camel AI 会是替代方案吗？

Manus的邀请码被炒至高价，甚至出现账号冻结等现象，这引发了用户对其技术壁垒和实际应用价值的质疑。二、MetaGPT、Ope

全干程序员demo·2025-03-16 06:01

基于热力梯度的线圈设计用来更替新型的储能方式

热力梯度储能技术通过调控温度场实现多模式能量转换，其潜力能量密度可达100Wh/kg以上。

热爱电气·2025-03-15 23:07

LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插

基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插件)→数据预处理(初始化分词器+数据处理器+数据加载器)→模型训练(初始化模型/优化器/学习率调度器/梯度检查点

一个处女座的程序猿·2025-03-15 18:38

python opencv轮廓检测_python opencv中的不规则形状检测和测量

我的想法是使用形态梯度沿着冰晶获得良好的边缘并从那里开始工作;形态梯度似乎很有效.importnumpyasnpimportcv2img=cv2.imread('image.png')blur=cv2.

weixin_39584529·2025-03-15 18:04

机器学习中的梯度到底是什么？（chat-gpt问答）

1、梯度是对损失函数求导吗？是的，梯度是对损失函数（或目标函数）求导数值化后的结果。梯度告诉我们目标函数在某个点上的方向性和变化率，这些信息是优化算法推进参数评估和更新的重要指标。

湫怿·2025-03-15 16:19

机器学习中的梯度下降是什么意思？

梯度下降（GradientDescent）是机器学习中一种常用的优化算法，用于最小化损失函数（LossFunction）。通过迭代调整模型参数，梯度下降帮助模型逐步逼近最优解，从而提升模型的性能。

yuanpan·2025-03-15 15:45

大语言模型微调和大语言模型应用的区别？

过程：通常涉及准备领域特定的数据集、设计合适的损失函数、调整超参数（例如学习率、批量大小等），以及选择冻结或解冻部分参数来更新模型

AI Echoes·2025-03-15 05:38

梯度下降法以及随机梯度下降法

梯度下降法就是在更新weight的时候，向函数值下降的最快方向进行更新，具体的原理我就不再写了，就是一个求偏导的过程，有高数基础的都能够很快的理解过程。

HKkuaidou·2025-03-15 01:39

谈为什么KLA和Camtech公司为什么可以做到，半导体那边，晶圆，键合可以做到不管哪款新产品进来。编程2小时，上线后准确率可以直接做到99.9%、

二是像AI深度学习网络冻结，或者自适应调参，都是一些AI技巧，他们用的比较好。三什么跨层特征解耦，实现的基础是他们对半导体理解比较深刻KLA和Ca

*Major*·2025-03-14 20:27

PyTorch 深度学习实战（13）：Proximal Policy Optimization (PPO) 算法

一、PPO算法基础PPO是OpenAI提出的一种强化学习算法，旨在解决策略梯度方法中的训练不稳定问题。PPO通过

进取星辰·2025-03-14 19:47

【大模型LLM面试合集】分布式训练_总结

数据并行不仅仅指对训练的数据并行操作，还可以对网络模型梯度、权重参数、优化器状态等数据进行并行。

X.AI666·2025-03-14 17:28

大模型高效优化技术全景解析：微调、量化、剪枝、梯度裁剪与蒸馏

目录微调（Fine-tuning）量化（Quantization）剪枝（Pruning）梯度裁剪（GradientClipping）知识蒸馏（KnowledgeDistillation）技术对比与协同策略总结与趋势

时光旅人01号·2025-03-14 15:40

XGBoost算法深度解析：从原理到实践

一、算法起源与核心思想XGBoost（eXtremeGradientBoosting）由陈天奇于2014年提出，是梯度提升决策树（GBDT）的优化版本。

彩旗工作室·2025-03-14 11:36

深度学习之优化器Optimizer介绍

优化器(Optimizer)是深度学习训练中非常关键的组件,它负责根据损失函数的梯度来更新模型参数,从而使模型性能不断提升。1.优化器的作用和重要性优化器是训练深度学习模型的核心组件之一。

yueguang8·2025-03-14 08:19

深度学习常见优化器

一、基础优化器随机梯度下降（SGD）•核心：∇θJ(θ)=η*∇θJ(θ)•特点：学习率固定，收敛路径震荡大•适用场景：简单凸优化问题•改进方向：动量加速二、动量系优化器2.SGDwithMomentum

Humingway·2025-03-14 07:13

深度学习中常用的优化器

梯度下降是优化神经网络的首选方法。

无能者狂怒·2025-03-14 04:16

模型训练和推理

训练时需要梯度，推理时不需要怎么理解“梯度”？

一杯水果茶！·2025-03-13 12:02

【梯度下降算法】

梯度下降算法：第一章梯度下降的历史沿革1.1优化方法的演进脉络从17世纪牛顿时代的数值解法，到20世纪最优控制理论的发展，直至现代机器学习对优化算法的特殊需求，梯度下降算法在数学优化史上占据重要地位。

蝉叫醒了夏天·2025-03-13 12:01

分布式并行策略概述

每个副本完成自己批次的前向和反向传播计算后，梯度被汇总并同步更新到所有模型副本。优势：易于实现和扩展。可以显著减少训练时间，尤其是当模型较小，而数据集较大时。

灵海之森·2025-03-13 10:11

梯度提升决策树（GBDT）

GBDT（GradientBoostingDecisionTree），全名叫梯度提升决策树，是一种迭代的决策树算法，又叫MART（MultipleAdditiveRegressionTree），它通过构造一组弱的学习器

binggorun·2025-03-12 09:18

深度学习训练中GPU内存管理

文章目录概述常见问题1、设备选择和数据迁移2、显存监控函数3、显存释放函数4、自适应batchsize调节5、梯度累积概述在深度学习模型训练中，主流GPU显存通常为8GB~80GB，内存不足会导致训练中断或

@Mr_LiuYang·2025-03-11 19:24

异地收款被拦截？一文读懂聚合二维码风控解决方案

但近期不少用户反馈"人在外地扫自家二维码付款却被风控拦截"，这不仅影响经营效率，还可能引发资金冻结风险。今天我们就来解析这个问题的成因和应对策略。一、为什么会触发风控？

畅联支付·2025-03-11 12:30

《Natural Actor-Critic》译读笔记

Theactor的更新通过使用Amari的自然梯度方法进行策略梯度的随机估计来实现，而评论家则通过线性回归同时获得自然策略梯度和价值函数的附加参数。

songyuc·2025-03-11 11:21

【氮化镓】p-GaN HEMTs空穴陷阱低温冻结效应

以下是对文章的总结：摘要（Abstract）文章摘要指出，在低温条件下，p-GaNHEMTs表现出一种冻结陷阱效应，导致空穴载流子被捕获在长寿命状态中，从而影响载流子传输。

北行黄金橘·2025-03-11 08:28

基于PyTorch的深度学习——机器学习3

如果搭建的神经网络层数不多，选择sigmoid、tanh、relu、softmax都可以；而如果搭建的网络层次较多，那就需要小心，选择不当就可导致梯度消失问题。

Wis4e·2025-03-11 07:47

神经网络中梯度计算求和公式求导问题

以下是公式一推导出公式二的过程。表达式一∂E∂wjk=−2(tk−ok)⋅sigmoid(∑jwjk⋅oj)⋅(1−sigmoid(∑jwjk⋅oj))⋅∂∂wjk(∑jwjk⋅oj)\frac{\partialE}{\partialw_{jk}}=-2(t_k-o_k)\cdot\text{sigmoid}\left(\sum_jw_{jk}\cdoto_j\right)\cdot(1-\tex

serve the people·2025-03-11 06:09

XGBClassifiler函数介绍

XGBoost是一种高效且灵活的梯度提升决策树（GBDT）实现，它在多种机器学习竞赛中表现出色，尤其擅长处理表格数据。

浊酒南街·2025-03-11 05:32

JavaScript性能优化：DOM操作优化实战

JavaScript性能优化：DOM操作优化实战一重排与重绘的代价问题场景用户点击按钮后，需要动态生成一个包含10,000个选项的下拉列表，但界面出现长达5秒的冻结。

lifire_H·2025-03-10 23:47

【深度学习】Adam（Adaptive Moment Estimation）优化算法

通过动态调整每个参数的学习率，在非平稳目标（如深度神经网络的损失函数）中表现优异目录基本原理和公式笼统说明：为什么Adam算法可以帮助模型找到更好的参数基本概念动量（Momentum）：跟踪梯度的指数衰减平均

辰尘_星启·2025-03-10 20:51

深度学习笔记——Resnet和迁移学习

然而，随着网络深度的增加，一些问题也随之出现，最突出的是梯度消失/爆炸问题。这使得深层网络难以训练。梯度消失：梯度消失是指在训练深度神经网络时，通过多层传递的梯度(误差)变得非常小，接近于零。

肆——·2025-03-10 15:17

推荐频道