LFM梯度下降

Momentum优化器的超参数调优方法

Momentum优化器是一种常用的优化算法，它通过引入动量的概念来加速梯度下降过程，特别是在处理高维数据和复杂模型时表现尤为出色。然而，Momentum优化器的性能高度依赖于其超参数的设置。

AI天才研究院·2025-03-25 03:34

梯度下降法理论理解

梯度下降法：看似原始却透露着机器学习的本质前提：在研究梯度下降方法之前，你要理解矩阵运算（解析解）的方法矩阵运算目前的缺点只能进行对线性函数经行分析，无法对复杂的函数经行分析什么是梯度，以及梯度向量梯度下降的形象例子以及基本思想有三个兄弟被困在山上

伶星37·2025-03-24 14:57

深度学习 Deep Learning 第8章深度学习优化

本章首先介绍了优化在深度学习中的特殊性，然后详细讨论了多种优化算法，包括随机梯度下降（SGD）、动量法、Nesterov动量法、AdaGrad、RMSProp和Adam等。

odoo中国·2025-03-23 10:26

LoRA中黑塞矩阵、Fisher信息矩阵是什么

在机器学习中常用于自然梯度下降（NaturalGradientDescent

ZhangJiQun&MXP·2025-03-20 07:15

java实现卷积神经网络CNN（附带源码）

什么是卷积神经网络（CNN）1.3卷积神经网络的应用场景相关知识与理论基础2.1神经网络与深度学习概述2.2卷积操作与卷积层原理2.3激活函数与池化层2.4全连接层与损失函数2.5前向传播、反向传播与梯度下降项目需求与分析

Katie。·2025-03-17 07:38

机器学习中的梯度下降是什么意思？

梯度下降（GradientDescent）是机器学习中一种常用的优化算法，用于最小化损失函数（LossFunction）。通过迭代调整模型参数，梯度下降帮助模型逐步逼近最优解，从而提升模型的性能。

yuanpan·2025-03-15 15:45

梯度下降法以及随机梯度下降法

梯度下降法就是在更新weight的时候，向函数值下降的最快方向进行更新，具体的原理我就不再写了，就是一个求偏导的过程，有高数基础的都能够很快的理解过程。

HKkuaidou·2025-03-15 01:39

深度学习之优化器Optimizer介绍

2.优化器的基本原理优化器的基本思路是利用梯度下降法来最小化损失函数。每一步都根据当前梯度的方

yueguang8·2025-03-14 08:19

深度学习常见优化器

一、基础优化器随机梯度下降（SGD）•核心：∇θJ(θ)=η*∇θJ(θ)•特点：学习率固定，收敛路径震荡大•适用场景：简单凸优化问题•改进方向：动量加速二、动量系优化器2.SGDwithMomentum

Humingway·2025-03-14 07:13

深度学习中常用的优化器

梯度下降是优化神经网络的首选方法。

无能者狂怒·2025-03-14 04:16

【梯度下降算法】

梯度下降算法：第一章梯度下降的历史沿革1.1优化方法的演进脉络从17世纪牛顿时代的数值解法，到20世纪最优控制理论的发展，直至现代机器学习对优化算法的特殊需求，梯度下降算法在数学优化史上占据重要地位。

蝉叫醒了夏天·2025-03-13 12:01

基于PyTorch的深度学习4——使用numpy实现机器学习vs使用Tensor及Antograd实现机器学习

最后，采用梯度梯度下降法，通过多次迭代，学习到w、b的值。以下为具体步骤：1)导入需要的库。

Wis4e·2025-03-10 09:09

PyTorch 学习路线

机器学习基础：理解神经网络、损失函数、优化器（如梯度下降）等概念。学习资源Python入门：Python官方教程机器学习基础

gorgor在码农·2025-03-09 22:07

特征缩放：统一量纲，提高模型性能

这种量纲不统一会给许多机器学习算法（如梯度下降）带来问题，导致收敛速度慢、模型性能差等。特征缩放（FeatureScaling）就是一种用于解决这个问题的常用数据预处理

AI天才研究院·2025-03-08 03:04

01计算机视觉学习计划

基础夯实✅目标：掌握数学基础、Python/C++编程、基本图像处理1️⃣数学基础（2周）每日2小时线性代数：矩阵运算、特征值分解（推荐《线性代数及其应用》）概率统计：高斯分布、贝叶斯定理微积分：偏导数、梯度下降傅里叶变换

依旧阳光的老码农·2025-03-07 20:15

第37篇Personalized Federated Learning: A Meta-Learning Approach（perfedavg联邦学习+元学习）2020个性化联邦学习使用Hessian

通过寻找一个初始共享模型，让用户基于自身数据执行少量梯度下降步骤就能快速适应

还不秃顶的计科生·2025-03-07 17:44

拓展总结三：SAP MM模块相关底表

MARA2）物料工厂数据MARC3）物料库存地点数据MARD4）物料的计量单位MARM5）仓库/存储类型MLGT2、供应商主数据1）集团数据（一般数据）LFA12）公司代码数据LFB13）采购组织数据LFM13

Jerry.张蒙·2025-03-04 10:28

规控算法工程师的技术图谱和学习路径

微积分：梯度下降、泰勒展开、动态系统建模（支持控制算法推导）。概率论与统计学：贝叶斯理论、马尔可

执于代码·2025-03-03 23:09

图像算法工程师的技术图谱和学习路径

1.基础数学与编程数学基础：线性代数：矩阵运算、特征值、特征向量、奇异值分解（SVD）等概率论与统计：概率分布、贝叶斯定理、最大似然估计（MLE）、假设检验等微积分：导数、梯度、最优化方法（梯度下降、

执于代码·2025-03-03 23:09

强化学习的数学原理-六、随机近似与随机梯度下降

代码来自up主【强化学习的数学原理-作业】GridWorld示例代码（已更新至DQN、REINFORCE、A2C）_哔哩哔哩_bilibiliSGD、GD、MGD举例：#先初始化一个列表，未来要在这100个样本里面再sample出来np.random.seed(0)X=np.linspace(-10,10,1000)Y=2*X**2+3*X+5#用作真实值#定义二次函数，找到一组参数a、b、c使得

儒雅芝士·2025-03-02 15:24

梯度下降法(Gradient Descent) -- 现代机器学习的血液

梯度下降法(GradientDescent)–现代机器学习的血液梯度下降法是现代机器学习最核心的优化引擎。

AOIWB·2025-03-02 04:19

【人工智能】数据挖掘与应用题库（1-100）

答案:错4、关于梯度下降算法，下列说法错误的是（）错误:梯度下降算法能找到函数精确的最小值。5、正弦函数的导数是余弦函数。

奋力向前123·2025-03-01 08:29

神经网络中的Nesterov Momentum

NesterovAcceleratedGradient(NAG)，也称为NesterovMomentum，是一种改进版的动量优化算法，旨在加速梯度下降过程中的收敛速度，并提高对最优解的逼近效率。

化作星辰·2025-02-28 08:31

深度学习重要论文阅读笔记 ResNet （2025.2.26）

当神经网络的深度增加，就会出现梯度消失和梯度下降现象，妨碍模型的收敛。不过，这种情况可以通过归一化的模型初始化和中间的归一化层基本解决。

北岛寒沫·2025-02-27 16:50

ACM算法与竞赛基地：蓝桥备战 --- 二分篇

二分是一种搜索策略，类似于高速中学到的梯度下降法，当我们落在某一点是沿着该点斜率，我们可以像最优处移动，二分也是样的策略，但其更加严格，现代算法，如模拟退火，蚁群算法，BP算法针对的都是存在多种最优解，

NONE-C·2025-02-25 07:54

大模型学习完整路径（一站式汇总），从零基础到精通！新手友好级指南

先来一张整体结构图，越是下面部分，越是基础：可以按以下步骤学习：1.理解基础概念需要了解深度学习的基本原理和常见术语，如神经网络、梯度下降、反向传播、监督学习、无监督学习、分类、回归、聚类

Python程序员罗宾·2025-02-24 22:45

DeepSeek 学习路线图

微积分：了解优化算法中的梯度下降等概念。2.编程基础Python：掌握Python编程，这是深度学习和AI开发的主要语言

CarlowZJ·2025-02-22 09:14

用deepseek学大模型05逻辑回归

deepseek.com:逻辑回归的目标函数，损失函数，梯度下降标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型,数据，预测结果的可视化展示，模型应用场景和优缺点，及如何改进解决及改进方法数据推导

wyg_031113·2025-02-22 00:48

嵌入式人工智能应用-第四章逻辑回归 8

逻辑回归1逻辑回归介绍1.1背景介绍1.2原理1.2.1预测函数1.2.2判定边界1.2.3损失函数1,2,4梯度下降函数1.2.5分类拓展1.2.6正则化2实验代码3实验结果说明1逻辑回归介绍1.1背景介绍逻辑回归的过程可以概括为

数贾电子科技·2025-02-21 16:11

机器学习课程的常见章节结构

强化学习机器学习的产生与发展机器学习的历史与现代应用经验误差与过拟合过拟合与欠拟合的概念及解决方案评估方法与性能度量交叉验证、准确率、召回率、F1分数等偏差与方差偏差-方差权衡及其对模型的影响2.经典机器学习算法2.1线性模型一元线性回归与多元线性回归梯度下降算法

zhangfeng1133·2025-02-21 14:24

机器学习—逻辑回归

基础概念1.1、什么是逻辑回归1.2、逻辑回归与线性回归的区别1.3应用场景2、逻辑回归模型2.1、模型定义2.2、Sigmoid函数2.3、决策边界2.4、概率解释3、模型训练3.1、损失函数3.2、梯度下降法

60岁的程序猿·2025-02-21 14:22

机器学习(四) 本文(2万字) | 梯度下降GD原理 | Python复现 |

第四章梯度下降一引入梯度二从一元到多元2.1一元函数2.1.1引入梯度下降2.1.2学习率2.1.3继续更新迭代2.2二元函数2.3多元函数三多种梯度方法3.1批量梯度下降（BatchGradientDescent

小酒馆燃着灯·2025-02-21 08:36

机器学习杂记

使用随机梯度下降。与标准梯度下降精确计算梯度不同，随机梯度下降算法在计算梯度时加入了随机因素。于是，即使陷入局部

被自己蠢哭了·2025-02-21 08:33

基于python深度学习遥感影像地物分类与目标识别、分割实践技术应用

专题一：深度学习发展与机器学习深度学习的历史发展过程机器学习，深度学习等任务的基本处理流程梯度下降算法讲解不同初始化，学习率对梯度下降算法的实例分析从机器学习到深度学习算法专题二深度卷积网络、卷积神经网络

xiao5kou4chang6kai4·2025-02-20 11:20

【深度学习】学习率调度策略

学习率定义了模型权重（参数）在梯度下降或其他优化算法中的更新步伐。较大的学习率意味着在每次参数更新时，模型会进行更大幅度的调整，而较小的学习率则意味着细致的、渐进的调整。

黑白交界·2025-02-20 02:37

用deepseek学大模型08-长短时记忆网络 (LSTM)

deepseek.com从入门到精通长短时记忆网络(LSTM),着重介绍的目标函数，损失函数，梯度下降标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型,数据，模型应用场景和优缺点，及如何改进解决及改进方法数据推导

wyg_031113·2025-02-19 08:35

用deepseek学大模型08-卷积神经网络(CNN)

yuanbao.tencent.com从入门到精通卷积神经网络(CNN),着重介绍的目标函数，损失函数，梯度下降标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型,数据，预测结果的可视化展示

wyg_031113·2025-02-19 07:30

随机梯度下降一定会收敛么？

1.什么是随机梯度下降？随机梯度下降（StochasticGradientDescent，SGD）是一种用于最小化目标函数的迭代优化算法，在机器学习和深度学习领域应用广泛。

AndrewHZ·2025-02-19 01:36

【机器学习】多元线性回归

本教程将系统性推演多元线性回归，包括向量化处理、特征放缩、梯度下降的收敛性和学习率选择等，并使用numpy实现。最后，我们会通过sklearn快速实现多元线性回归模型。

T0uken·2025-02-17 14:26

优化算法全景解析：从梯度下降到群体智能

一、引言：为什么需要优化算法？在AlphaGo击败人类围棋冠军的背后，在特斯拉自动驾驶系统实时决策的瞬间，在推荐系统精准推送内容的过程中，优化算法始终是推动这些技术落地的核心引擎。无论是机器学习模型的训练，还是复杂系统的参数调优，优化算法的本质是：在给定的约束条件下，找到使目标函数最优的解。本文将深入解析优化算法的核心原理、经典方法、现代进展及实战应用，助你全面掌握这一技术利器。二、优化算法分类图

welcome_123_·2025-02-15 08:31

用大模型学大模型02-数学基础微积分

https://metaso.cn/s/uxPBB9C我正在学习深度学习相关的数学知识,学到了微积分核心概念：导数（尤其是偏导数）、梯度、链式法则；积分与最优化（如梯度下降法的数学推导）给我一个入门级的完整教程和实例好吧

wyg_031113·2025-02-14 22:39

【一起看花书1.3】——第5章机器学习基础

目录：5.7监督学习5.8无监督学习5.9随机梯度下降5.10构建机器学习算法5.11深度学习发展的动力5.7监督学习监督学习，本质上是复杂函数的拟合，即给定特征xxx,我们需要得到标签yyy，这不就是求一个函数的拟合嘛

应有光·2025-02-14 17:03

《探秘Hogwild!算法：无锁并行SGD的神奇之路》

算法作为一种能够实现无锁并行随机梯度下降（SGD）的创新方法，受到了广泛关注。下面就来深入探讨一下Hogwild!算法是如何实现这一壮举的。

·2025-02-14 17:24

9、深度学习-自学之路-损失函数、梯度下降、学习率、权重更新的理解

由《8、深度学习-自学之路-损失函数和梯度下降程序展示》我们看到我们设计了一个程序，这个程序里面由学习率，有损失函数，有梯度下降，权重更新。

小宇爱·2025-02-14 11:16

《深度解析：批量、随机和小批量梯度下降的区别与应用》

在机器学习和深度学习的领域中，梯度下降算法是优化模型参数的核心工具之一。

·2025-02-14 09:40

机器学习算法工程师笔试选择题（1）

1.关于梯度下降的说法正确的是：A.梯度下降法可以确保找到全局最优解。B.随机梯度下降每次使用所有数据来更新参数。C.批量梯度下降（BatchGradientDescent）通常收敛更快。

Ash Butterfield·2025-02-14 00:08

【人工智能】Python中的深度学习优化器：从SGD到Adam

本文将介绍深度学习中常用的优化器，从传统的随机梯度下降（SGD）到现代的自适应优化器（如Adam）。我们将深入探讨每种优化器的原理、优缺点，并通过Python实现

蒙娜丽宁·2025-02-13 08:13

【机器学习】嘿马机器学习（算法篇）第6篇：线性回归,学习目标【附代码文档】...

数据集介绍1案例：鸢尾花种类预测1.8案例：鸢尾花种类预测—流程实现1再识K-近邻算法API1.11案例2：预测facebook签到位置1项目描述线性回归2.3数学:求导1常见函数的导数线性回归2.5梯度下降方法介绍

广江鹏·2025-02-11 21:59

第二章：10.1 高级优化算法 Adam

梯度下降的基本概念：梯度下降是一种优化算法，用于最小化成本函数J(w,b)。在每一步中，通过计算成本函数相对于参数w和b的梯度，并沿着梯度的反方向更新参数，来逐步接近成本函数的最小值。

望云山190·2025-02-10 13:56

AI学习专题（一）LLM技术路线

阶段1：AI及大模型基础（1-2个月）数学基础线性代数（矩阵、特征值分解、SVD）概率论与统计（贝叶斯定理、极大似然估计）最优化方法（梯度下降、拉格朗日乘子法）编程&框架Python（NumPy、Pandas

王钧石的技术博客·2025-02-10 01:39

推荐频道