梯度下降

深度学习--利用梯度下降法进行多变量的二分类（感知机）

白话学生nit·2025-07-22 18:04

飞算JavaAI：力臻开发之本真，破 AI 代码之繁琐，传统项目一键生成

2.1背景与实力2.2飞算JavaAI的“独门绝技”三、飞算JavaAI实战体验3.1IDEA插件安装配置3.2Main中写一个简单的梯度下降算法3.3main函数搭建一个卷积神经网络网络3.4飞算JavaAI

微学AI·2025-07-22 02:11

梯度下降家族：SGD/Adam优化器对比实验与选择策略

摘要：本文系统解析梯度下降优化器的核心原理与演进脉络，构建从理论到实战的完整知识体系。

AI_DL_CODE·2025-07-21 19:56

嵌入式学习-PyTorch（8）-day24

核心组成1.常用优化器优化器作用典型参数torch.optim.SGD标准随机梯度下降，支持momentumlr,momentum,weight_decaytorch.optim.Adam自适应学习

LGGGGGQ·2025-07-20 09:21

【机器学习笔记Ⅰ】9 特征缩放

(1)问题背景量纲不一致：例如：特征1：年龄（范围0-100）特征2：收入（范围0-1,000,000）梯度下降的困境：量纲大的特征（如收入）会导致梯度更新方向偏离最优路径，收敛缓慢。量纲小的特征（如

巴伦是只猫·2025-07-12 05:30

【AI大模型】神经网络反向传播：核心原理与完整实现

参数规模爆炸：现代神经网络有数百万至数十亿参数手动计算不可行：复杂网络梯度计算量指数级增长高效优化需求：梯度下降算法需要精确的梯度计算二、前向传播与反向传播对

我爱一条柴ya·2025-07-08 18:00

深度学习微调中的优化器全景解析：从理论到实践

文章目录一、基础优化器：深度学习微调的基石1.1随机梯度下降（SGD）1.2AdaGrad（自适应梯度算法）二、自适应优化器：现代深度学习的标配2.1RMSProp2.2Adam（自适应矩估计）三、大模型微调专用优化器

北辰alk·2025-07-08 04:13

python实现多元线性回归算法 (附完整源码)

python实现多元线性回归算法1.使用正规方程实现多元线性回归代码说明运行结果示例2.使用梯度下降法实现多元线性回归代码说明运行结果示例进一步优化与注意事项下面是使用Python从头实现多元线性回归算法的完整源码

源代码大师·2025-07-07 03:20

【机器学习&深度学习】前馈神经网络（单隐藏层）

四、NumPy实现前馈神经网络代码示例五、运行结果六、代码解析6.1初始化部分6.2前向传播6.3计算损失（Loss）6.4反向传播（手动）6.5更新参数（梯度下降）6.6循环训练七、训练过程可视化（思维图

一叶千舟·2025-06-29 08:59

【机器学习实战】Datawhale夏令营2：深度学习回顾

#DataWhale夏令营#ai夏令营文章目录1.深度学习的定义1.1深度学习＆图神经网络1.2机器学习和深度学习的关系2.深度学习的训练流程2.1数学基础2.1.1梯度下降法基本原理数学表达步骤学习率

城主_全栈开发·2025-06-28 00:17

深度学习：梯度下降法

一、梯度的概念（1）什么是梯度梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。对于一个多元函数f(x1,x2,...,xn)，其梯度是一个由函数偏导数组成的向量，其梯度表示为：Gradient=(∂f/∂x1,∂f/∂x2,...,∂f/∂xn)其中，∂f/∂xi表示函数f对第i个自变量

数字化与智能化·2025-06-27 13:35

GBDT：梯度提升决策树——集成学习中的预测利器

核心定位：一种通过串行集成弱学习器（决策树）、以梯度下降方式逐步逼近目标函数的机器学习算法，在结构化数据预测任务中表现出色。本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。

大千AI助手·2025-06-25 23:42

用Tensorflow进行线性回归和逻辑回归(一）

我们然后讲梯度下降，解释它如何使损失最小。然后简单的讨论自动微分的算法思想。第二节侧重于介绍基于这些数学思想的TensorFlow概念。包括placeholders,scopes,optimiz

lishaoan77·2025-06-23 07:12

自适应限流算法实战

自适应限流的革命性突破二、自适应限流核心指标体系2.1黄金四维指标2.2指标融合公式三、经典自适应算法解析3.1TCPBBR带宽自适应算法核心限流应用3.2NetflixConcurrencyLimit梯度下降策略智能探针机制四

双囍菜菜·2025-06-22 10:52

05、反向传播算法（Backpropagation）是如何解决了多层神经网络的参数优化问题的？

反向传播算法（Backpropagation，简称BP算法）是深度学习的核心技术之一，其通过高效计算梯度并结合梯度下降法，解决了多层神经网络参数优化的计算复杂度难题。

季截·2025-06-22 03:39

神经网络中的正向传播和反向传播

反向传播与梯度下降：就像是你实际摔倒了（计算出的损失/误差），然后你分析：车子为什么会倒？是因为我身体重心偏左了（某个参数错了）？还是因为车轮打滑了（另一个参数错了）？你根据这个分析

做个专注的工程师·2025-06-21 06:54

数学基础（线性代数、概率统计、微积分）缺乏导致概念难以理解问题大全

数学基础（线性代数、概率统计、微积分）缺乏导致概念难以理解问题大全机器学习/深度学习的核心算法背后，往往需要用到矩阵运算、特征向量、梯度下降等；如果连矩阵乘法、特征值、偏导数都没搞懂，就很难理解模型原理

猫头虎技术团队·2025-06-20 12:56

梯度下降路径平滑算法详解（C++）

算法概述：梯度下降平滑算法是一种常用的路径后处理方法，用于优化通过路径规划算法（如混合A*）得到的初始路径。

自动驾驶小卡·2025-06-20 12:50

AI人工智能深度学习入门指南：从基础到实践_副本

AI人工智能深度学习入门指南：从基础到实践关键词：人工智能、机器学习、深度学习、神经网络、梯度下降、反向传播、实战案例摘要：本文是为零基础或初级学习者打造的深度学习入门指南。

AI大模型应用实战·2025-06-18 11:07

机器学习中常用的数据预处理方法

优点：加速梯度下降，

C7211BA·2025-06-18 08:13

程序员转向人工智能

结合你的编程背景进行优化：1.夯实基础数学基础（选择性补足，边学边用）线性代数：矩阵运算、特征值、张量（深度学习基础）概率与统计：贝叶斯定理、分布、假设检验微积分：梯度、导数（优化算法核心）优化算法：梯度下降

CoderIsArt·2025-06-18 03:45

Pytorch框架——自动微分和反向传播

一、自动微分概念自动微分（AutomaticDifferentiation，AD）是一种利用计算机程序自动计算函数导数的技术，它是机器学习和优化算法中的核心工具（如神经网络的梯度下降），通过反向传播计算并更新梯度

Xyz_Overlord·2025-06-16 23:31

逻辑回归中的损失函数：交叉熵损失详解与推导

逻辑回归中的损失函数：交叉熵损失详解与推导关键词：逻辑回归、交叉熵损失、损失函数、二分类、多分类、极大似然估计、梯度下降摘要：本文深入解析逻辑回归中核心的交叉熵损失函数，从信息论基础出发，逐步推导二分类与多分类场景下的损失函数形式

AI天才研究院·2025-06-16 00:34

AI人工智能优化：梯度下降算法的参数调优指南

AI人工智能优化：梯度下降算法的参数调优指南关键词：梯度下降、学习率、批量大小、参数调优、机器学习优化、收敛速度、过拟合摘要：梯度下降是机器学习的“引擎”，但它的性能高度依赖参数调优——就像开车时需要调整油门和方向盘

AI原生应用开发·2025-06-15 07:12

机器学习与深度学习20-数学优化

目录前文回顾1.梯度下降的基本原理2.什么是损失函数？

my_q·2025-06-14 03:37

亲持红叶·2025-06-13 05:59

斯坦福CS229机器学习笔记-Lecture2-线性回归+梯度下降+正规方程组

CS229的视频和讲义均为互联网公开资源Lecture2这一节主要讲的是三个部分的内容：·LinearRegression（线性回归）·GradientDescent（梯度下降）·NormalEquations

Teeyohuang·2025-06-09 06:24

Levenberg-Marquardt算法详解和C++代码示例

Levenberg-Marquardt（LM）算法是非线性最小二乘问题中常用的一种优化算法，它融合了高斯-牛顿法和梯度下降法的优点，在数值计算与SLAM、图像配准、机器学习等领域中应用广泛。

点云SLAM·2025-06-07 16:57

04 Deep learning神经网络编程基础梯度下降 --吴恩达

梯度下降在深度学习的应用梯度下降是优化神经网络参数的核心算法，通过迭代调整参数最小化损失函数。核心公式参数更新规则：θt+1=θt−η∇J(θ

狂小虎·2025-06-06 16:38

AI应用工程师面试

解释梯度下降算法的原理。梯度下降是一种优化算法，用于最小化损失函数。

道亦无名·2025-06-06 08:46

4）自适应滤波（一）[LMS算法]

自适应滤波器应用：自适应滤波场景：自适应滤波处理逻辑（处理非平稳信号）：3.N阶线性系统：4.维纳滤波器（Wiener）基本推导：优缺点：5.基本LMS算法动机：标准LMS算法的执行流程：LMS算法的基本思想——梯度下降

咕噜咕噜day·2025-06-05 03:26

【高斯拟合最终篇】Levenberg-Marquardt（LM）算法

Levenberg-Marquardt（LM）算法是一种结合高斯-牛顿法和梯度下降法的优化方法，特别适合非线性最小二乘问题，如高斯函数拟合。

白码思·2025-06-04 11:23

【高斯函数拟合】高斯-牛顿法与梯度下降法的 Python 实现

本文通过Python实现高斯-牛顿法和梯度下降法来拟合高斯函数，并比较两种方法的性能。背景给定一

白码思·2025-06-04 11:19

Prompt Tuning与自然语言微调对比解析

输入提示词自然语言微调本质优化连续向量空间中的提示嵌入（不可直接阅读）优化离散自然语言文本（人类可理解）操作对象模型输入嵌入层的连续向量（如WordEmbedding）自然语言文本字符串（如“请判断：{text}”）训练方式端到端梯度下降

ZhangJiQun&MXP·2025-05-31 18:39

DAY33 简单神经网络

你需要知道梯度下降的思想激活函数的作用损失函数的作用优化器神经网络的概念神经网络由于内部比较灵活，所以封装的比较浅，可以对模型做非常多的改进，而不像机器学习三行代码固定。

stay night48·2025-05-29 17:13

神经网络之网络基础

神经网络之网络基础文章目录神经网络之网络基础一、第一关：神经网络概述二、第2关：神经元三、第3关：常见学习方法四、第四关：优化方法：梯度下降一、第一关：神经网络概述1、下列说法错误的是A、激活函数可以使神经元搭建输入到输出之间的映射关系

程序猿只爱喝怡宝·2025-05-27 13:04

在线学习、增量学习和模型适应性优化技术

实现方式：使用随机梯度下降（SGD）或其变体（如Adam、RMSProp）的单样本或小批量更新。示例代码片段（PyTorc

东北豆子哥·2025-05-24 06:44

Nonlinear total variation based noise removal algorithms论文阅读

Nonlineartotalvariationbasednoiseremovalalgorithms1.论文的研究目标与意义1.1研究目标1.2实际意义2.论文的创新方法与核心公式2.1总变差最小化模型2.1.1欧拉-拉格朗日方程2.1.2演化方程（梯度下降法

青铜锁00·2025-05-21 09:05

弹性力学优化算法：蚁群算法(ACO)：弹性力学优化中的ACO算法变种_2024-08-08_07-16-08.Tex

传统的优化方法，如梯度下降法、牛顿法等，往往在处理非线性、多模态的优化问题时显得力不从心。蚁群算法（An

chenjj4003·2025-05-21 05:43

优化算法实战：SGD 与 Adam，该选哪个更适合你？

两种最常见的优化算法是：SGD（随机梯度下降）Adam（AdaptiveMomentEstimation）这两种方式看起来只是几行代码的切换，但对训练速度、收敛

赵青临的辉·2025-05-19 10:01

优化算法的挑战：全局最小值与局部最小值

背景简介在深度学习的误差表面中，优化算法如梯度下降旨在找到全局最小值，即网络可能输出中的最小误差。然而，由于极小值、极大值、平台和鞍部的存在，我们经常陷入局部最小值或卡在鞍部，难以达到全局最优。

多行不易·2025-05-18 00:37

吴恩达机器学习笔记：多维梯度下降实践

1.特征放缩在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。

ちゆきー·2025-05-14 15:33

主流优化算法学习率更新公式总结

1.随机梯度下降（SGD）学习率调整：固定全局学习率，无自适应机制。公式：θt=θt−1−η⋅gtη：全局学习率（需手动设置）。gt=∇θJ(θt−1)：当前梯度。

星光银河·2025-05-12 22:12

深入解析BP神经网络：从理论到实践

本文献深入探讨了BP神经网络的结构、前向传播、激活函数、误差函数、反向传播算法、梯度下降、学习率、权重初始化、过拟合与正则化、早停策略、批量与随机梯度下降、学习率衰减、动量法与Adam优化器，以及训练集

语文乌托邦·2025-05-11 18:36

2024 AI 人工智能完整学习路线表

第二阶段AI数学知识√梯度下降和牛顿法推导√SVD奇异值分解应用第三阶段线性回归算法√代码实现梯度下降求解多元线性回归√保险花销预测案例第四阶段线性分类算法√分类鸢尾花数据集√音乐曲风分类√SV

AI天才研究院·2025-05-11 18:35

《Python星球日记》第44天: 线性回归与逻辑回归

CSDN)（一个喜欢古诗词和编程的Coder）专栏：《Python星球日记》，限时特价订阅中ing目录一、引言：回归方法的重要性二、线性回归原理与损失函数1.线性回归的数学模型2.损失函数：衡量预测误差3.梯度下降优化三

Code_流苏·2025-05-10 16:13

神经网络发展的时间线——积跬步至千里

神经网络类型层创新问题备注感知器单层误差反馈学习阈值函数不可导，构造学习规则与感知器准则等价线性神经元单层梯度下降法训练参数线性函数，多层仍是线性变换本质上是最小二乘准则浅层神经网络（早期）多层Sigmoid

phoenix@Capricornus·2025-05-04 18:32

逻辑回归基本流程及鸢尾花项目实战

逻辑回归步骤：(1)将x的值归一化(2)写权重函数z=w1x1+w2x2+…+wixi(3)写激活函数a=σ(z)(4)写损失函数L=-ylog(a)-(1-y)log(1-a)(5)做梯度下降w=w-αdw

懿小迪·2025-05-04 13:28

常见优化器总结

一、BGD(批量梯度下降)定义：批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。优点：一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。

几两春秋梦_·2025-05-04 09:37

推荐频道