E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
梯度下降
优化算法全景解析:从
梯度下降
到群体智能
一、引言:为什么需要优化算法?在AlphaGo击败人类围棋冠军的背后,在特斯拉自动驾驶系统实时决策的瞬间,在推荐系统精准推送内容的过程中,优化算法始终是推动这些技术落地的核心引擎。无论是机器学习模型的训练,还是复杂系统的参数调优,优化算法的本质是:在给定的约束条件下,找到使目标函数最优的解。本文将深入解析优化算法的核心原理、经典方法、现代进展及实战应用,助你全面掌握这一技术利器。二、优化算法分类图
welcome_123_
·
2025-02-15 08:31
算法
python
人工智能
用大模型学大模型02-数学基础 微积分
https://metaso.cn/s/uxPBB9C我正在学习深度学习相关的数学知识,学到了微积分核心概念:导数(尤其是偏导数)、梯度、链式法则;积分与最优化(如
梯度下降
法的数学推导)给我一个入门级的完整教程和实例好吧
wyg_031113
·
2025-02-14 22:39
人工智能
【一起看花书1.3】——第5章 机器学习基础
目录:5.7监督学习5.8无监督学习5.9随机
梯度下降
5.10构建机器学习算法5.11深度学习发展的动力5.7监督学习监督学习,本质上是复杂函数的拟合,即给定特征xxx,我们需要得到标签yyy,这不就是求一个函数的拟合嘛
应有光
·
2025-02-14 17:03
基础知识
机器学习
人工智能
深度学习
《探秘Hogwild!算法:无锁并行SGD的神奇之路》
算法作为一种能够实现无锁并行随机
梯度下降
(SGD)的创新方法,受到了广泛关注。下面就来深入探讨一下Hogwild!算法是如何实现这一壮举的。
·
2025-02-14 17:24
人工智能深度学习
9、深度学习-自学之路-损失函数、
梯度下降
、学习率、权重更新的理解
由《8、深度学习-自学之路-损失函数和
梯度下降
程序展示》我们看到我们设计了一个程序,这个程序里面由学习率,有损失函数,有
梯度下降
,权重更新。
小宇爱
·
2025-02-14 11:16
深度学习-自学之路
深度学习
学习
人工智能
《深度解析:批量、随机和小批量
梯度下降
的区别与应用》
在机器学习和深度学习的领域中,
梯度下降
算法是优化模型参数的核心工具之一。
·
2025-02-14 09:40
人工智能深度学习
机器学习算法工程师笔试选择题(1)
1.关于
梯度下降
的说法正确的是:A.
梯度下降
法可以确保找到全局最优解。B.随机
梯度下降
每次使用所有数据来更新参数。C.批量
梯度下降
(BatchGradientDescent)通常收敛更快。
Ash Butterfield
·
2025-02-14 00:08
机器学习
算法
人工智能
【人工智能】Python中的深度学习优化器:从SGD到Adam
本文将介绍深度学习中常用的优化器,从传统的随机
梯度下降
(SGD)到现代的自适应优化器(如Adam)。我们将深入探讨每种优化器的原理、优缺点,并通过Python实现
蒙娜丽宁
·
2025-02-13 08:13
Python杂谈
人工智能
人工智能
python
深度学习
【机器学习】嘿马机器学习(算法篇)第6篇:线性回归,学习目标【附代码文档】...
数据集介绍1案例:鸢尾花种类预测1.8案例:鸢尾花种类预测—流程实现1再识K-近邻算法API1.11案例2:预测facebook签到位置1项目描述线性回归2.3数学:求导1常见函数的导数线性回归2.5
梯度下降
方法介绍
广江鹏
·
2025-02-11 21:59
算法
机器学习
线性回归
学习
人工智能
第二章:10.1 高级优化算法 Adam
梯度下降
的基本概念:
梯度下降
是一种优化算法,用于最小化成本函数J(w,b)。在每一步中,通过计算成本函数相对于参数w和b的梯度,并沿着梯度的反方向更新参数,来逐步接近成本函数的最小值。
望云山190
·
2025-02-10 13:56
算法
人工智能
深度学习
Adam
AI学习专题(一)LLM技术路线
阶段1:AI及大模型基础(1-2个月)数学基础线性代数(矩阵、特征值分解、SVD)概率论与统计(贝叶斯定理、极大似然估计)最优化方法(
梯度下降
、拉格朗日乘子法)编程&框架Python(NumPy、Pandas
王钧石的技术博客
·
2025-02-10 01:39
大模型
人工智能
学习
ai
深度学习笔记——pytorch构造数据集 Dataset and Dataloader
系列文章目录机器学习笔记——
梯度下降
、反向传播机器学习笔记——用pytorch实现线性回归机器学习笔记——pytorch实现逻辑斯蒂回归Logisticregression机器学习笔记——多层线性(回归
旺仔喔喔糖
·
2025-02-09 22:19
机器学习
笔记
pytorch
人工智能
深度学习
【人工智能专栏】Stochastic Gradient Descent (SGD) 随机
梯度下降
StochasticGradientDescent(SGD)随机
梯度下降
IntroducingSGDAI:StochasticGradientDescent(SGD)isapopularoptimizationalgorithmusedinmachinelearningforfindingtheminimumofacostfunction.Itisavariantofthegradientdesc
manylinux
·
2025-02-09 17:09
深度学习
机器学习
人工智能
机器学习
逻辑回归
从零开始人工智能Matlab案例-线性回归与
梯度下降
算法
使用线性回归模型拟合历史数据,并通过
梯度下降
算法优化模型参数,动态展示参数更新如何逐步降低预测误差。
算法工程师y
·
2025-02-08 23:28
人工智能
算法
matlab
【单层神经网络】基于MXNet的线性回归实现(底层实现)
写在前面刚开始先从普通的寻优算法开始,熟悉一下学习训练过程下面将使用
梯度下降
法寻优,但这大概只能是局部最优,它并不是一个十分优秀的寻优算法整体流程生成训练数据集(实际工程中,需要从实际对象身上采集数据)
辰尘_星启
·
2025-02-06 11:43
线性回归
mxnet
机器学习
人工智能
深度学习
神经网络
python
自定义数据集 使用pytorch框架实现逻辑回归并保存模型,然后保存模型后再加载模型进行预测,对预测结果计算精确度和召回率及F1分数
训练模型:使用二元交叉熵损失函数BCELoss和随机
梯度下降
优化器SGD进行训练。保存模型:使用torch.save保存模型的参数。加载模型并预测:加载
知识鱼丸
·
2025-02-05 06:42
machine
learning
机器学习
TensorFlow 示例项目实战与源码解析.zip
文章将详细介绍TensorFlow的核心概念,如张量、图计算、会话、变量、
梯度下降
与优化器、损失函数、数据集、模型评估、模型保存与恢复以及KerasAPI。读者可通过实践这些示
ELSON麦香包
·
2025-02-05 01:34
《深度学习入门:
梯度下降
法全解析,小白必看!》
目录一、引言二、什么是
梯度下降
?
Lemon_wxk
·
2025-02-02 12:38
深度学习
对线性回归的补充——正规方程法
目录1.引言2.单变量线性回归的解析解3.多变量线性回归的解析解参考1.引言 在单变量线性回归和多变量线性回归中,参数的更新都使用了
梯度下降
算法进行迭代,但是线性回归的参数最优值可以直接得到解析解。
梦醒沉醉
·
2025-02-01 17:20
数学基础
线性回归
机器学习
重参数化(Reparameterization)的原理
因为隐含变量是从某个分布中采样的,这直接导致了当我们尝试使用
梯度下降
方法优化VAE的参数时,由于采样操作的随机性,无法直接对其求导。重参数化技巧通过将随机采样过程转换为确定性的操作来解决
读思辨
·
2025-01-31 15:21
Python
深度学习知识
python
人工智能
【DL】神经网络与机器学习基础知识介绍(一)
原博客:https://mengwoods.github.io/post/dl/009-dl-fundamental/文章目录基本通用概念
梯度下降
算法数据工程训练技术偏差与方差防止过拟合评估指标决策树基本通用概念机器学习的类型
MengWoods
·
2025-01-30 01:01
深度学习
机器学习
神经网络
人工智能
python3+TensorFlow 2.x(四)反向传播
反向传播算法的核心是基于链式法则的
梯度下降
优化方法,通过计算误差对每个权重的偏导数来更新网络中的参数。反向传播算法基本步骤:前向传播:将输入数据传递通过神经网络的各层,计算每一层的输出。计算损失
刀客123
·
2025-01-29 07:53
python学习
tensorflow
人工智能
python
最小二乘法-线性回归 和
梯度下降
法
最小二乘法一、最小二乘法概念以及应用 最小二乘法(LeastSquaresMethod,LSE)是一种数学优化技术,主要用于寻找最佳拟合给定数据点的函数。它通过最小化观测值与模型预测值之间的差的平方和来估计模型参数。 换成听得懂的话说就是,我们有一组数据(x1,y1),(x2,y2)…(xn,yn),我们也知道他的数学表达式的形式例如y=kx+b(但是不知道k、b的具体值),但是(xn,yn)
梦回楼~
·
2025-01-28 08:19
最小二乘法
算法
机器学习
人工智能
从零推导线性回归:最小二乘法与
梯度下降
的数学原理
欢迎来到我的主页:【Echo-Nie】本篇文章收录于专栏【机器学习】本文所有内容相关代码都可在以下仓库中找到:Github-MachineLearning1线性回归1.1什么是线性回归线性回归是一种用来预测和分析数据之间关系的工具。它的核心思想是找到一条直线(或者一个平面),让这条直线尽可能地“拟合”已有的数据点,通过这条直线,我们可以预测新的数据。eg:假设你想预测房价,你知道房子的大小(面积)
Echo-Nie
·
2025-01-28 07:14
机器学习
机器学习
线性回归
人工智能
梯度下降
数学推导
深度学习探索:ChatGPT数据分析精髓 &
梯度下降
优化方法深度剖析
网罗开发(小红书、快手、视频号同名) 大家好,我是展菲,目前在上市企业从事人工智能项目研发管理工作,平时热衷于分享各种编程领域的软硬技能知识以及前沿技术,包括iOS、前端、HarmonyOS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者:《ESP32-C3物联网工程开发实战》图书作者:《SwiftUI入门,进阶与实战》超级个体:CO
网罗开发
·
2025-01-27 20:22
AI
大模型
人工智能
深度学习
chatgpt
数据分析
AI需要的基础数学知识
2.微积分导数与偏导数:用于优化算法(如
梯度下降
)。链式法则:用于反向传播算法。积分:在概率和统计中有应用。3.概率与统计概率分布:如高斯分布、伯努利分布等。贝叶斯定
大囚长
·
2025-01-24 01:00
机器学习
大模型
人工智能
传感器融合(UWB+IMU+超声波),使用卡尔曼滤波器和3种不同的多点定位算法(最小二乘、递归最小二乘和
梯度下降
)研究(Matlab代码实现)
本文目录如下:目录⛳️赠与读者1概述一、引言二、传感器介绍(一)UWB(超宽带)(二)IMU(惯性测量单元)(三)超声波传感器三、定位算法(一)卡尔曼滤波器(二)多点定位算法1.最小二乘法2.递归最小二乘法3.
梯度下降
法四
科研_研学社
·
2025-01-20 22:47
算法
matlab
开发语言
机器学习-期末测试
拆分训练集和测试集importmatplotlib.pyplotaspltfromsklearn.model_selectionimporttrain_test_split#是线性回归类是sklearn写好的根据
梯度下降
法
难以触及的高度
·
2025-01-19 23:19
机器学习
python
人工智能
推荐算法_隐语义-
梯度下降
importnumpyasnp1.模型实现"""inputrate_matrix:M行N列的评分矩阵,值为P*Q.P:初始化用户特征矩阵M*K.Q:初始化物品特征矩阵K*N.latent_feature_cnt:隐特征的向量个数max_iteration:最大迭代次数alpha:步长lamda:正则化系数output分解之后的P和Q"""defLFM_grad_desc(rate_matrix,l
_feivirus_
·
2024-09-16 07:35
算法
机器学习和数学
推荐算法
机器学习
隐语义
[实践应用] 深度学习之优化器
文章总览:YuanDaiMa2048博客文章总览深度学习之优化器1.随机
梯度下降
(SGD)2.动量优化(Momentum)3.自适应梯度(Adagrad)4.自适应矩估计(Adam)5.RMSprop总结其他介绍在深度学习中
YuanDaima2048
·
2024-09-16 04:38
深度学习
工具使用
pytorch
深度学习
人工智能
机器学习
python
优化器
数学建模、运筹学之非线性规划
数学建模、运筹学之非线性规划一、最优化问题理论体系二、
梯度下降
法——无约束非线性规划三、牛顿法——无约束非线性规划四、只包含等值约束的拉格朗日乘子法五、不等值约束非线性规划与KKT条件一、最优化问题理论体系最优化问题旨在寻找全局最优值
AgentSmart
·
2024-09-15 02:24
算法学习
算法
动态规划
线性代数
线性规划
Python实现
梯度下降
法
博客:Python实现
梯度下降
法目录引言什么是
梯度下降
法?
闲人编程
·
2024-09-14 23:35
python
python
开发语言
梯度下降
算法
优化
每天五分钟玩转深度学习PyTorch:模型参数优化器torch.optim
本文是学习第6步(优化器),参考链接pytorch的学习路线随机
梯度下降
算法在深度学习和机器学习中,
梯度下降
算法是最常用的参数更新方法,它的公式
幻风_huanfeng
·
2024-09-14 23:32
深度学习框架pytorch
深度学习
pytorch
人工智能
神经网络
机器学习
优化算法
深度学习算法,该如何深入,举例说明
微积分:理解
梯度下降
等优化算
liyy614
·
2024-09-11 14:12
深度学习
Adam优化器:深度学习中的自适应方法
常见的优化器包括SGD(随机
梯度下降
)、RMSprop、AdaGrad、AdaDelt
2401_85743969
·
2024-09-10 18:46
深度学习
人工智能
如何在Java中实现高效的分布式
梯度下降
算法
如何在Java中实现高效的分布式
梯度下降
算法大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!在本文中,我们将探讨如何在Java中实现高效的分布式
梯度下降
算法。
省赚客app开发者
·
2024-09-09 08:47
java
分布式
算法
2025秋招计算机视觉面试题(十一) - 为什么输入网络前要对图像做归一化
问题背景在面试的时候,面试官先问的问题是“机器学习中为什么要做特征归一化”,我的回答是“特征归一化可以消除特征之间量纲不同的影响,不然分析出来的结果显然会倾向于数值差别比较大的特征,另外从
梯度下降
的角度理解
微凉的衣柜
·
2024-09-05 20:17
计算机视觉
人工智能
语言模型
机器学习
深度学习--机器学习相关(2)
1.适应性矩估计适应性矩估计(AdaptiveMomentEstimation,Adam)是一种可以代替传统的
梯度下降
(SGD和MBGD)的优化算法。
在下小天n
·
2024-09-05 13:33
深度学习
深度学习
机器学习
人工智能
机器学习系列12:反向传播算法
当我们要运用高级算法进行
梯度下降
时,需要计算两个值,代价函数和代价函数的偏导数:代价函数我们之前已经知道怎么求了,现在只需要求代价函数的偏导数即可。
SuperFengCode
·
2024-09-04 10:40
机器学习系列
机器学习
神经网络
反向传播算法
梯度检验
机器学习笔记
李宏毅机器学习笔记——反向传播算法
反向传播是深度学习中最重要的算法之一,通常与
梯度下降
等优化算法结合使用。反向传播的基本原理反向传播的核心思想是利用链式法则(ChainRule)来高效地计算损失函数相对于每个参数的梯度。
小陈phd
·
2024-09-04 10:07
机器学习
机器学习
算法
神经网络
这项来自中国的AI研究介绍了1位全量化训练(FQT):增强了全量化训练(FQT)的能力至1位
该研究首先从理论上分析了FQT,重点关注了如Adam和随机
梯度下降
(SGD)等知名的优化算法。分析中出现了一个关键发现,那就是FQT收敛
量子位AI
·
2024-09-02 22:16
人工智能
机器学习
深度学习
梯度下降
法
梯度下降
法,最通俗易懂的解释。
小丹丹的梦想后花园
·
2024-09-01 14:19
Datawhale X 李宏毅苹果书 AI夏令营 进阶 Task2-自适应学习率+分类
.自适应学习率1.1AdaGrad1.2RMSProp1.3Adam1.4学习率调度1.5优化策略的总结2.分类2.1分类与回归的关系2.2带有softmax的分类2.3分类损失1.自适应学习率传统的
梯度下降
方法在优化过程中常常面临学习率设置不当的问题
沙雕是沙雕是沙雕
·
2024-08-31 22:57
人工智能
学习
深度学习
【ShuQiHere】从零开始实现逻辑回归:深入理解反向传播与
梯度下降
本文将带你从零开始一步步实现逻辑回归,并深入探讨背后的核心算法——反向传播与
梯度下降
。逻辑回归的数学基础逻辑回归的目标是找到一个逻辑函数,能够将输入特征映射到一个(0,1)之
ShuQiHere
·
2024-08-31 02:37
代码武士的机器学习秘传
逻辑回归
算法
机器学习
梯度下降
算法(Gradient Descent Algorithm)
目录一、
梯度下降
算法简述二、不同函数
梯度下降
算法表示1、一元函数2、二元函数3、任意多元函数三、梯度计算四、常见的
梯度下降
法1、批量
梯度下降
算法(BatchGradientDescent)2、随机
梯度下降
算法
海棠未语
·
2024-08-30 16:35
算法
机器学习
人工智能
python
Datawhale X 李宏毅苹果书AI夏令营深度学习详解进阶Task02
目录一、自适应学习率二、学习率调度三、优化总结四、分类五、问题与解答本文了解到
梯度下降
是深度学习中最为基础的优化算法,其核心思想是沿着损失函数的梯度方向更新模型参数,以最小化损失值。
z are
·
2024-08-30 08:14
人工智能
深度学习
L1正则和L2正则
Hands-OnMachineLearning)上对L1_norm和L2_norm的解释:左上图是L1_norm.背景是损失函数的等高线(圆形),前景是L1_penalty的等高线(菱形),这两个组成了最终的目标函数.在
梯度下降
的过程中
wangke
·
2024-08-29 10:19
【ShuQiHere】SGD vs BGD:搞清楚它们的区别和适用场景
在众多优化算法中,
梯度下降
法是一种最为常见且有效的手段。
ShuQiHere
·
2024-08-28 13:20
机器学习
python
人工智能
反向传播算法:深度神经网络学习的核心机制
反向传播算法的基本概念反向传播算法结合了
梯度下降
优化和链式法则,通过计算损失函数关于网络参数的梯度来更新网络权重。1.损失函数
2402_85758936
·
2024-08-28 08:22
算法
dnn
学习
【机器学习】
梯度下降
算法
梯度下降
算法这篇博客更加详细,以下只是我个人的理解
梯度下降
算法原理讲解——机器学习-CSDN博客
梯度下降
算法是一种优化算法,通过
梯度下降
找到函数最小值时的自变量值。
de-feedback
·
2024-08-27 18:50
机器学习
算法
人工智能
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他