梯度下降算法

【Python机器学习】实验04(2) 机器学习应用实践--手动调参

文章目录机器学习应用实践1.1准备数据此处进行的调整为：要所有数据进行拆分1.2定义假设函数Sigmoid函数1.3定义代价函数1.4定义梯度下降算法gradientdescent(梯度下降)此处进行的调整为
Want595·2023-07-28 22:59

深度学习：常用优化器Optimizer简介

深度学习：常用优化器Optimizer简介随机梯度下降SGD带动量的随机梯度下降SGD-MomentumSGDWAdamAdamW随机梯度下降SGD梯度下降算法是使权重参数沿着整个训练集的梯度方向下降，
cv-player·2023-07-28 11:48

深度学习：梯度裁剪简介

梯度裁剪简介在深度学习模型的训练过程中，通过梯度下降算法更新网络参数。一般地，梯度下降算法分为前向传播和反向更新两个阶段。
cv-player·2023-07-28 11:15

【梯度下降算法】

基本原理梯度下降算法的基本原理是通过迭代的方式，不断调整参数的取值，使目标函数的值逐渐趋近于最优解。
武帝为此·2023-07-28 06:05

深度学习之梯度下降算法

0.1学习视频源于：b站：刘二大人《PyTorch深度学习实践》0.2本章内容为自主学习总结内容，若有错误欢迎指正！1线性模型1.1通过简单的线性模型来举例：1.2如图，简单的一个权重的线性模型，首先通过随机取w的值来找到与trueline重合的w，其中通过MSE来判断w取值是否合理。（最简单的通过评价指标来判断模型的效果如何）1.3但是对于多个权重来说，搜索权重w的数量呈幂函数增长。此时可以想到
Bobbyeyy·2023-07-27 07:21

pytorch学习——多层感知机

解释：如果正确分类，-y小于0，即该分类点对应的损失函数的值为0；如果错误分类，则-y大于等于0，并进入梯度下降算法的计算。
一只小百里·2023-07-27 07:46

【Python机器学习】实验03 logstic回归

文章目录简单分类模型-逻辑回归1.1准备数据1.2定义假设函数Sigmoid函数1.3定义代价函数1.4定义梯度下降算法gradientdescent(梯度下降)1.5绘制决策边界1.6计算准确率1.7
Want595·2023-07-26 21:14

机器学习动量优化算法笔记

在梯度下降算法中，每次更新权重时都是根据当前批次的梯度进行的。然而，当梯度在某个方向上变化剧烈时，传统梯度下降可能会产生震荡，导致收敛缓慢。
Aresiii·2023-07-26 16:43

pytorch实现梯度下降算法例子

如题，利用pytorch，通过代码实现机器学习中的梯度下降算法，求解如下方程：f′(x,y)=x2+20y2{f}'(x,y)=x^2+20y^2f′(x,y)=x2+20y2的最小值。
satadriver·2023-07-26 16:36

BP神经网络拟合非线性函数

本章涉及知识点：1、多层神经网络的数学模型2、前向传播算法3、经典激活函数4、经典损失函数5、神经网络的优化过程6、反向传播算法的推导7、梯度下降算法优化8、衰减学习率的设计9、案例引出—拟合非线性曲线
PrivateEye_zzy·2023-07-26 14:00

哲哲的ML笔记（三十三：批量、随机梯度、小批量梯度下降）

从下图中可以看出，批量梯度下降在一轮iteration中使用了所有个样本随机梯度下降在一轮iteration中使用了1个样本随机梯度下降算法为：对训练集随机“洗牌”，Repeat随机梯度下降算法在每一次计算之后便更新参数
沿哲·2023-07-26 03:15

Adam优化方法

整理动量梯度下降算法的时候，这一类大概有3种：动量梯度下降RMSpropAdam优化算法这里主要记录一下这3个算法的优化过程动量梯度下降RMSpropAdam优化算法t为迭代次数t为迭代次数
噗嗤噗哩噗通·2023-07-25 01:02

机器学习&&深度学习——随机梯度下降算法（及其优化）

梯度下降算法梯度下降法随机梯度下降法随机梯度下降算法的问题标准动量优化Nesterov动量优化梯度下降法梯度下降法是一个一阶最优化算法，通常
布布要成为最负责的男人·2023-07-24 16:48

优化算法之梯度下降｜Matlab实现梯度下降算法

题目要求：使用Matab实现梯度下降法对于函数：min⁡f(x)=2x12+4x22−6x1−2x1x2\minf(x)=2x_{1}^{2}+4x_{2}^{2}-6x_{1}-2x_{1}x_{2}minf(x)=2x12+4x22−6x1−2x1x2试采用MATLAB实现最速下降法求解该问题,给出具体的迭代过程、最终优化结果、涉及的代码,以及自己的心得体会。摘要文章主要通过实现grad()函
@背包·2023-07-20 07:32

特征工程的几种常见方法

特征归一化目的：将所有的数值型特征归一化到一个固定的区间Why：以使用梯度下降算法作为优化算法的模型为例，归一化好的特征能够帮助模型更快的迭代，找到最优解How:线性归一化、均值归一化缺点：对于梯度下降算法的模型比较有用
谦之·2023-07-19 22:31

机器学习1

核心梯度下降算法：importnumpyasnpfromutils.featuresimportprepare_for_trainingclassLinearRegression:def__init__
GocNeverGiveUp·2023-07-18 23:26

特征缩放（归一化处理）

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。
氢气氧气氮气·2023-07-18 18:07

学习率的选择

学会画图去看学习率是否符合梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的值的图表来观测算法在何时趋于收敛。
氢气氧气氮气·2023-07-18 18:07

基于MATLAB的多元线性回归与梯度下降算法探究：从理论基础到实现

第一部分：多元线性回归是一种使用统计方法去评估两种或以上变量之间关系的技术。在实际的科学研究和工程项目中，我们往往会遇到多变量相互影响结果的情况，如气候模型中，温度、湿度、风力等因素对气候的影响；或者在金融模型中，股票的价格受多因素如利率、经济增长率等影响。这种情况下，就需要用到多元线性回归分析。多元线性回归可以帮助我们理解各变量之间的关系，并进行预测分析。实战项目下载在本篇文章中，我们将要讨论的
快撑死的鱼·2023-07-17 12:02

机器学习与深度学习——利用随机梯度下降算法SGD对波士顿房价数据进行线性回归

机器学习与深度学习——利用随机梯度下降算法SGD对波士顿房价数据进行线性回归我们这次使用随机梯度下降（SGD）算法对波士顿房价数据进行线性回归的训练，给出每次迭代的权重、损失和梯度，并且绘制损失loss
星川皆无恙·2023-07-16 09:41

举例说明基于线性回归的单层神经网络网络(以梯度下降算法来求解权重的过程)...

我们将通过一个简单的例子来说明基于线性回归的单层神经网络，以及如何使用梯度下降算法来求解权重。
阿里加多·2023-07-16 09:19

梯度下降（Gradient Descent）

基本思想梯度下降是一个用来求函数最小值的算法，本次，我们将使用梯度下降算法来求出代价函数的最小值。
氢气氧气氮气·2023-07-16 08:57

基于梯度下降的线性回归（Gradient Descent For Linear Regression）

梯度下降算法和线性回归算法比较如图（左边梯度下降，右边是线性回归的目标函数以及代价函数）：计算相关公式：对我们之前的线性回归问题运用梯度下降法，关键在于求出代价函数的导数，将右边线性回归的函数带入到左边的梯度下降
氢气氧气氮气·2023-07-16 08:57

飞控学习笔记-IMU姿态算法

扩展卡尔曼滤波算法传感器融合算法卡尔曼滤波算法最小二乘法毕卡逼近法对上式进行泰勒展开得到四元数各阶近似算法：梯度下降算法梯度下降互补滤波算法chatgpt解释：互补滤波（ComplementaryFilter
Xuan-ZY·2023-07-16 00:43

飞控学习笔记-梯度下降算法（gradient descent algorithm）

简介笔记来源于文章：An_efficient_orientation_filter_for_inertial_and_inertial_magnetic_sensor_arrays共轭：四元数叉乘：欧拉角等式：
Xuan-ZY·2023-07-15 23:07

梯度下降算法

更新：随机梯度下降算法对每一个样本进行更新因为已知三组数据，range100次，且随机梯度下降算法每个样本更新一次，所以，一共w会更新300次，但是原梯度下降算法cost仅将三组算得梯度求均值再进行range100
Yuerya.·2023-07-15 12:58

神经网络参数

10.选择何种梯度下降算法。11.何时停止E
梅逊雪·2023-07-15 09:23

simple RNN pytorch代码实现

的梯度下降代码必须自己去写，simpleRNN的梯度下降不能使用pytorch的默认机制，否则会直接出现梯度消失，博主做了很多实验，一开始一直以为是代码写错了，后面发现，simpleRNN不能使用一般的梯度下降算法去做
Mr Gao·2023-07-14 21:03

深度学习与神经网络

2.4神经元稀疏3.设计神经网络3.1设计思路3.2对隐含层的感性认识4.深度学习4.1什么是深度学习4.2推理和训练4.3训练的相关概念4.4BP神经网络4.5训练的步骤及涉及的问题4.6损失函数4.7梯度下降算法
@kc++·2023-07-13 20:36

深度学习基础入门篇[三]：优化策略梯度下降算法：SGD、MBGD、Momentum、Adam、AdamW

1.梯度下降算法（优化器）1.1原理解释如果我们定义了一个机器学习模型，比如一个三层的神经网络，那么就需要使得这个模型能够尽可能拟合所提供的训练数据。但是我们如何评价模型对于数据的拟合是否足够呢？
·2023-07-13 15:04

基于Scikit-learn的机器学习基本算法（二）梯度下降

梯度下降算法的重要参数：学习率eta:决定了每一步的梯度下降步长，学习率过高时，有可能出现结果不收敛的情况，学习率过低时，无法得到最优值。梯度下降分为批量梯度下降和随机梯度下降。
刘爱玛·2023-06-24 11:17

举例说明什么是随机梯度下降算法

随机梯度下降算法（StochasticGradientDescent,SGD）是一种优化算法，用于求解机器学习和深度学习中的目标函数的最小值。
阿里加多·2023-06-24 07:10

梯度下降算法

梯度下降是一种用于优化目标函数的迭代方法，主要用于求解机器学习和深度学习中的模型参数。简单来说，它的原理是通过不断地沿着梯度的负方向更新参数，最终找到目标函数的最小值。以线性回归为例来解释梯度下降的原理。线性回归模型可以表示为：y=wx+b，其中w和b是模型的参数，我们的目标是找到一组参数w和b，使得模型预测的y值与实际的y值之间的误差最小。假设我们使用均方误差作为目标函数，即：L(w,b)=1/
阿里加多·2023-06-24 07:39

举例说明什么是批量梯度下降算法

批量梯度下降算法（BatchGradientDescent）是一种求解机器学习模型参数的优化算法，主要应用于线性回归、逻辑回归等模型的训练过程中。
阿里加多·2023-06-24 07:39

逻辑回归（Logistic Regression）二

在回归问题中我们使用到了代价函数来衡量假设函数与数据集的拟合程度，使用梯度下降算法来找到代价函数的局部最小值从而得到合适的参数θ，而在分类问题中，我们同样使用代价函数和梯
Patarw_Li·2023-06-20 18:41

Python深度学习027：什么是梯度、梯度消失、梯度爆炸以及如何解决

在深度学习中，梯度尤其重要，因为我们通常使用梯度下降算法来更新神经网络的参数。此时，梯度被用于计算在给定损失函数和当前参数值下，
惊鸿若梦一书生·2023-06-20 07:33

机器学习-学习总结

线性回归和逻辑回归的联系和区别_逻辑回归和线性回归的区别_机器不学习我学习的博客-CSDN博客2.1.2线性回归和逻辑回归重要公式推导从这里开始看：飞桨AIStudio-人工智能学习与实训社区2.1.3梯度下降算法优化版本
lin_FS·2023-06-20 06:45

pytorch神经网络及训练(一)

pytorch神经网络及训练（一）随机梯度下降算法随机梯度下降算法（SGD）是对梯度下降算法的一种改进。直观上SG的方法可能效率上更优。
程序小旭·2023-06-18 01:32

常见优化器详解

先回顾一下经典的梯度下降算法公
zkccpro·2023-06-17 11:13

深度学习入门笔记1--梯度下降之--为什么是负方向--为什么局部下降最快的是负梯度方向

需要的知识储备：一级泰勒展开公式向量内积计算公式1.梯度下降算法无论是在线性回归（LinearRegression）、逻辑回归（LogisticRegression）还是神经网络（NeuralNetwork
闪闪发亮的小星星·2023-06-16 21:58

梯度下降优化

二阶梯度优化1.无约束优化算法1.1最小二乘法1.2梯度下降法1.3牛顿法/拟牛顿法2.一阶梯度优化2.1梯度的数学原理2.2梯度下降算法3.二阶梯度优化梯度优化3.1牛顿法3.2拟牛顿法1.无约束优化算法在机器学习中的无约束优化算法中
好记性＋烂笔头·2023-06-14 16:21

深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型

模型、LEO模型、Reptile模型1.Model-AgnosticMeta-LearningModel-AgnosticMeta-Learning(MAML)：与模型无关的元学习，可兼容于任何一种采用梯度下降算法的模型
·2023-06-14 11:01

深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型

模型、LEO模型、Reptile模型1.Model-AgnosticMeta-LearningModel-AgnosticMeta-Learning(MAML)：与模型无关的元学习，可兼容于任何一种采用梯度下降算法的模型
·2023-06-14 11:01

每天五分钟机器学习：如何确定梯度下降中的学习率？

本文重点学习率是梯度下降算法中的一个重要参数，它控制着每次迭代中参数的更新幅度，因此学习率的大小直接影响着算法的收敛速度和精度。在实际应用中，如何选择合适的学习率是一个非常重要的问题。
幻风_huanfeng·2023-06-13 21:48

每天五分钟机器学习:梯度下降的学习率太大或太小会有什么问题？

本文重点我们前面学习了梯度下降算法，其中有一个重要的参数就是学习率。在使用梯度下降算法时，学习率是一个非常重要的参数。学习率的大小会直接影响梯度下降算法的收敛速度和精度。
幻风_huanfeng·2023-06-13 21:46

吴恩达Deep Learning学习笔记——第三课 结构化机器学习

我们可能会有很多措施，如：  ①收集更多的数据  ②收集更多样性的数据（如不同姿势的猫）  ③让梯度下降算法训练时间更长  ④尝试更大（或更小）的神经网络  ⑤尝试dropout  ⑥
七月七叶·2023-06-13 14:15

PyTorch深度学习实战（1）——神经网络与模型训练过程详解

人工神经网络基础2.1人工神经网络组成2.2神经网络的训练3.前向传播3.1计算隐藏层值3.2执行非线性激活3.3计算输出层值3.4计算损失值3.5实现前向传播4.反向传播4.1反向传播流程4.2梯度下降4.3实现梯度下降算法
盼小辉丶·2023-06-13 09:50

机器学习模型——回归模型

回归模型线性回归模型最小二乘法求解线性回归代码实现引入依赖：导入数据：定义损失函数：定义核心算法拟合函数：测试：画出拟合曲线：多元线性回归梯度下降求线性回归梯度下降和最小二乘法代码实现定义模型的超参数：定义核心梯度下降算法函数
阿牛大牛中·2023-06-11 08:35

Python手写数字识别

训练神经网络通常使用反向传播算法，该算法用于计算网络中每个权重和偏移量的梯度，并用梯度下降算法调整这些参数以最小化损
浩茫·2023-06-10 10:48

深度学习常用损失MSE、RMSE、MAE和MAPE

是深度学习任务中最常用的一种损失函数，也称为L2LossMSE是真实值与预测值的差值的平方然后求和平均范围[0,+∞)，当预测值与真实值完全相同时为0，误差越大，该值越大MSE曲线的特点是光滑连续、可导，便于使用梯度下降算法
zzz_979·2023-06-09 09:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他