梯度下降法

零基础"机器学习"自学笔记|Note3:梯度下降法

写在前面这个系列为我在自学【机器学习】时的个人笔记。因为本人为医学相关专业，故学习过程中可能会有较多的纰漏，希望各位读者不吝赐教。本系列以吴恩达老师的【“机器学习”课程】为纲，辅以黄海广老师的【斯坦福大学2014机器学习教程个人笔记（V5.51）】，中间会穿插相关数理知识。该系列笔记为实时同步更新，故与本人的学习进度息息相关，希望同在学习相关知识的朋友能多多督促，共同进步。03梯度下降3.1梯度下
木舟笔记·2024-01-18 20:40

吴恩达机器学习笔记-Logistic回归模型

如果这里使用梯度下降法，不能保证能得到全局收敛的值，这个函数就是所谓的
Carey_Wu·2024-01-18 16:26

最优化 | 一维搜索与方程求根 | C++实现

文章目录参考资料前言1.二分法求根1.1[a,b]区间二分法求根1.1.1原理1.1.2C++实现1.2区间右侧无穷的二分法求根1.3求含根区间2.牛顿法求根2.1原理2.2c++实现3.梯度下降法求根
CHH3213·2024-01-17 19:47

最优化 | 无约束优化方法 | C++实现

文章目录参考资料1.前言2.梯度下降法2.1原理2.2c++实现2.3共轭梯度法3.牛顿法3.1原理3.2c++实现4.模拟退火算法4.1原理4.2c++实现5.遗传算法参考资料https://blog.csdn.net
CHH3213·2024-01-17 19:17

数学建模常见算法的通俗理解（更新中）

1.2.5求解C.R.值1.2.6判断一致性1.2.7计算总得分2神经网络（正向流通反向反馈，调整系数，预测结果）2.1粗浅理解2.2算法过程2.2.1划分数据集2.2.2前向传播及反向调整系数（利用梯度下降法
菜只因C·2024-01-17 09:19

运筹说 第103期 | 非线性规划经典例题讲解

在实际工作中，我们能发现非线性规划在经济管理中有着许多应用，本期小编选择了其中一些典型例子，包括一维搜索的两种求解方法、梯度下降法以及库恩塔克条件，进行详细讲解。一、一维搜索求
运筹说·2024-01-16 15:45

对简单梯度下降方法的分析总结，有关步长，梯度精度和迭代次数

对简单梯度下降方法的分析总结，有关步长，梯度精度和迭代次数我们对一组数据进行简单函数拟合时，会用到一种基础方法即梯度下降法基本原理现在我们有一组数据xi,yi,zix_i,y_i,z_ixi,yi,zi
_int_me·2024-01-14 20:13

逻辑回归（ROC、AUC、KS）-python实现-内含训练数据-测试数据

一、逻辑回归理论：关注代码上线HypothesisFunction（假设函数）：1.0/(1+exp(-inX))CostFunction（代价函数）：通过梯度下降法，求最小值。
HiBJTiger·2024-01-12 22:02

【深度学习】优化器介绍

文章目录前言一、梯度下降法（GradientDescent）二、动量优化器（Momentum）三、自适应学习率优化器前言深度学习优化器的主要作用是通过调整模型的参数，使模型在训练数据上能够更好地拟合目标函数
行走的学习机器·2024-01-12 15:32

Gradient Descent补充

1、AdaGrad在梯度下降法中，学习率的选择和调整是非常重要的，有时直接决定了训练的质量和收敛的速度。上图展示了学习率过大或过小会产生的问题。
单调不减·2024-01-11 06:15

梯度下降法

前言：在均方差损失函数推导中，我使用到了梯度下降法来优化模型，即迭代优化线性模型中的和。现在进一步了解梯度下降法的含义以及具体用法。
Visual code AlCv·2024-01-10 20:46

使用Scikit Learn 进行识别手写数字

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法机器学习(三
i阿极·2024-01-10 10:59

梯度下降法（Gradient Descent）

梯度下降法（GradientDescent）梯度下降法批量梯度下降法随机梯度下降法scikit-learn中的随机梯度下降法小批量梯度下降法梯度下降法梯度下降法，不是一个机器学习算法（既不是再做监督学习
Debroon·2024-01-10 03:23

凸优化 3：最优化方法

凸优化3：最优化方法最优化方法适用场景对比费马引理一阶优化算法梯度下降最速下降二阶优化算法牛顿法Hessian矩阵Hessian矩阵的逆Hessian矩阵和梯度的区别牛顿法和梯度下降法的区别拟牛顿法DFP
Debroon·2024-01-10 03:21

【ITK库学习】使用itk库进行图像分割（三）：分水岭分割算法

itkMorphologicalWatershedImageFilter形态学分水岭滤波器3、itkIsolatedWatershedImageFilter岛屿分水岭滤波器1、itkWaterShedImageFilter分水岭滤波器分水岭分割对图像特征基于梯度下降法和沿区域边界分析弱点将像素进行分类
leafpipi·2024-01-09 23:51

优化器（一）torch.optim.SGD-随机梯度下降法

torch.optim.SGD-随机梯度下降法importtorchimporttorchvision.datasetsfromtorchimportnnfromtorch.utils.dataimportDataLoaderdataset
Cupid_BB·2024-01-08 07:29

pytorch集智-2单车预测器

控制曲线水平方向位移，w'控制曲线在y方向的幅度1.2多个人工神经元模型如下数学上可证，有限神经元绘制的曲线可以逼近任意有限区间内的曲线（闭区间连续函数有界）1.3模型与代码通过训练可得到逼近真实曲线的神经网络参数通过梯度下降法寻找局部最优
peter6768·2024-01-08 06:10

【最优化方法】无约束优化问题（最速下降法、牛顿法、最小二乘）

该方法也被称为梯度下降法，是一种迭代的一阶优化算法。算法的基本思想是从当前点出发，沿着当前点的负梯度方向，以一定的步长（学习率）移动到新的点，重复这个过程直至达到停止条件。
撕得失败的标签·2024-01-07 20:00

梯度下降法原理小结

二、梯度下降与梯度上升三、梯度下降算法详解1.梯度下降法的直观理解2.梯度下降法的相关概念3.梯度下降的详细算法4.梯度下降的算法调优四、梯度下降法大家族1.批量梯度下降法（BatchGradientDescent
笔写落去·2024-01-07 07:25

Scikit-Learn线性回归(四)

Scikit-Learn线性回归四：梯度下降1、梯度下降1.1、梯度下降概述1.2、梯度下降及原理1.3、梯度下降的实现2、梯度下降法求解线性回归的最优解2.1、梯度下降法求解的原理2.2、梯度下降法求解线性回归的最优解
对许·2024-01-04 12:55

【i阿极送书——第六期】《YOLO目标检测》

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法机器学习(三)：基于线性回归对波士顿房价预
i阿极·2024-01-04 10:02

基于决策树、随机森林和层次聚类对帕尔默企鹅数据分析

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法机器学习(三)：基于线性回归对波士顿房价预测机器学习(
i阿极·2024-01-04 10:28

02 python 实现线性回归-一元线性回归-梯度下降

α在梯度下降法中称作为学习率或者步长需要通过控制α来控制每一步的距离，以保证不要走的太快，错过最低点，也要同时保证速度不能走的太慢importnumpyasnpimportmatplotlib.pyplotasplt
小朋友,你是否有很多问号?·2024-01-04 01:59

我的AI笔记_2（线性回归梯度下降法、参数更新方法）

线性回归问题中，上一节可以看出能求出一个“公式推导结果”，但是由于矩阵的性质，我们只能把它当成一个“巧合”，因为大多数结果是没有这种“巧合”的，无法求解。那么得到一个目标函数Loss_function（也就是J(θ)）我们应该如何求解？这里就引入了“梯度下降”。一、梯度下降通俗解释比如下面山上有个小孩要下山，肯定要往下走（取决于你Loss_function的方向是上升还是下降）正常求“梯度”是“向
xcpppig·2024-01-03 01:52

残差网络(ResNets)（Residual Networks (ResNets)）

如果我们使用标准优化算法训练一个普通网络，比如说梯度下降法，或者其它热门的优化算法。如果没有残差，没有这些捷径或者跳跃连接，凭经验你会发现随着网络深度的加深，训练错误会先减少，然后增多。
丁功春·2024-01-02 10:45

【吴恩达deeplearning】第一门课 - 第二周 - 神经网络的编程基础（笔记+习题+编程作业）

）2.1二分类（BinaryClassification）二分类中的逻辑回归2.2逻辑回归（LogisticRegression）2.3逻辑回归的代价函数损失函数（误差函数）代价函数（成本函数）2.4梯度下降法
卷卷0v0·2024-01-01 02:45

【23-24 秋学期】NNDL 作业12 优化算法2D可视化

编程实现并2D可视化1.被优化函数2.被优化函数3.解释不同轨迹的形成原因分析各个算法的优缺点总结及心得体会简要介绍图中的优化算法，编程实现并2D可视化1.被优化函数（1）SGDSGD优化算法，即随机梯度下降法
.Hypocritical.·2023-12-31 06:51

pytorch 动态调整学习率，学习率自动下降，根据loss下降

我们都知道几乎所有的神经网络采取的是梯度下降法来对模型进行最优化，其中标准的权重更新公式：W+=α∗gradientW+=\alpha*\text{gradient}W+=α∗gradient学习率α\
呆呆象呆呆·2023-12-30 06:07

cs224n-笔记-lecture01-wordvecs

目录人类语言和词语含义词向量Word2Vec语言模型介绍优化方法：梯度下降法人类语言和词语含义1.如何表示一个词定义词语的meaning：用单词、词组表示概念用单词、符号表达观点通过写作、艺术表达内容.
AugBoost·2023-12-30 03:37

梯度下降的直观理解

欢迎关注公众号：数据运营入表资产化服务获取更多算法源码材料2023数据资源入表白皮书，推荐系统源码下载-CSDN博客用友BIP数据资产入表解决方案白皮书，推荐系统源码下载-CSDN博客梯度下降的场景假设梯度下降法的基本思想可以类比为一个下山的过程
Michael_Shentu·2023-12-29 11:03

2019-10-06 梯度下降法Python实践——求函数的最小值

代码还是有很多地方需要完善的，需要近一步的学习importmath#使用梯度下降法求函数的最小值#f=exp(X^2+(y-2)^2)初始点为（1，1）#设计函数deffunction_one(x_input
小郑的学习笔记·2023-12-28 12:11

个人关于机器学习的周记之十一

梯度下降算法和线性回归算法比较如图：对我们之前的线性回归问题运用梯度下降法，关键在于求出代价函数的导数，即：则算法改写成：我们刚刚使用的算法，有时也称为批量梯度下降。实际上，在机器
周围_5d19·2023-12-28 03:06

详解Keras3.0 API: Optimizers(优化器)

在训练神经网络时，我们通常使用梯度下降法来更新参数，而优化器就是实现这一过程的工具。
缘起性空、·2023-12-26 12:30

统计学习方法笔记二---感知机(Perceptron Learning Algorithm,PLA)

目标/目的：求出将训练数据进行线性划分的分类超平面，为此导入误分类的损失函数，利用梯度下降法对损失函数进行最小化，求的感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始
爱科研的徐博士·2023-12-25 23:13

【23-24 秋学期】NNDL 作业12 优化算法2D可视化

AdaGrad算法：一种梯度下降法，是对批量梯度下降法的改进，但并不是对动量法的改进。它的目的是在解决优化问题时自动调整学习率，以便能够更快地收敛。
今天也是元气满满的一天呢·2023-12-24 18:31

神经网络：深度学习基础

1.反向传播算法（BP）的概念及简单推导反向传播（Backpropagation，BP）算法是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见算法。
是Dream呀·2023-12-23 20:38

逻辑回归模型中特征是否需要归一化？

从反向过程来看：逻辑回归模型的参数优化一般采用了梯度下降法，如果不对特征进行归一化，可能会使得损失函数值得等高线呈椭球形，这样花费更多的迭代步数才能到达最优解。
不会念经的木鱼仔·2023-12-23 03:46

网络优化与正则化

引言网络优化高维变量的非凸优化神经网络优化的改善方法优化算法梯度下降法小批量梯度下降批量大小选择学习率调整AdaGrad算法RMSprop算法AdaDelta梯度修正估计动量法Nesterov加速梯度Adam
guanyue.space·2023-12-23 02:49

梯度下降（GD）

一、梯度下降算法概述1、介绍梯度下降法（gradientdescent），又名最速下降法（steepestdescent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量
王荣胜z·2023-12-22 23:53

机器学习--线性回归

目录监督学习算法线性回归损失函数梯度下降目标函数更新参数批量梯度下降随机梯度下降小批量梯度下降法数据预处理特征标准化正弦函数特征多项式特征的函数数据预处理步骤线性回归代码实现初始化步骤实现梯度下降优化模块损失与预测模块完整代码单变量线性回归实例加载数据并划分数据集训练线性回归模型得到损失函数图像测试阶段多特征回归实例非线性回归实例监督学习算法监督学习算法是一种通过学习输入数据和相应的标签之间的关系
llovew.·2023-12-21 12:45

机器学习之逻辑回归，一文掌握逻辑回归算法知识文集

欢迎点赞✍评论⭐收藏文章目录人工智能(逻辑回归算法)一、逻辑回归算法知识01.梯度下降法（GradientDescent）1.1什么是梯度下降法？1.2梯度下降法的具体步骤和算法公式？
普修罗双战士·2023-12-21 07:48

梯度下降法

一、梯度下降法的基本概念梯度下降法是一种常用的优化算法，用于求解最小化目标函数的问题。在机器学习和深度学习中，梯度下降法被广泛应用于求解模型参数的优化问题，例如线性回归、逻辑回归、神经网络等。
调钟师·2023-12-21 01:32

大模型的魔法

momentum是梯度下降法中一种常用的加速技术。对于一
YingJingh·2023-12-21 01:29

【Matlab算法】随机梯度下降法 (Stochastic Gradient Descent，SGD) （附MATLAB完整代码）

随机梯度下降法前言正文代码实现可运行代码结果前言随机梯度下降法(StochasticGradientDescent，SGD)是一种梯度下降法的变种，用于优化损失函数并更新模型参数。
Albert_Lsk·2023-12-20 21:02

MNIST手写数字识别——simple model Y = XW + b

文章目录数据处理MINIST手写数字数据集简单介绍一下数据集将数据集转化为csv文件简单的手写数字识别模型加载数据集定义模型和超参数前向传播sigmoid激活函数softmax函数交叉熵损失函数反向传播梯度下降法链式法则
涵涵不是憨憨~·2023-12-20 18:30

线性回归——lasso回归和岭回归（ridge regression）

References线性回归很简单，用线性函数拟合数据，用meansquareerror(mse)计算损失（cost），然后用梯度下降法找到一组使mse最小的权重。
weixin_30853329·2023-12-20 05:14

线性回归、lasso回归和岭回归（ridge regression）

线性回归很简单，用线性函数拟合数据，用均方差meansquareerror(mse)计算损失（cost），然后用梯度下降法找到一组使mse最小的权重。
呆小呆_·2023-12-20 05:43

Mini-Batch梯度下降

Mini-batch梯度下降是梯度下降法的一种改进版本，它通过每次迭代使用数据集的一个小批量（mini-batch）样本来更新模型参数，从而在训练过程中更加高效。
星宇星静·2023-12-18 12:21

BP神经网络

它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。
unhurried人生——冕临·2023-12-18 10:59

变分自编码器（VAE）初识

它基于反向传播算法与最优化方法（如梯度下降法），AE（Auto-Encoder）的架构可以如下所示;记XXX为整个数据集的集合，xix_{i}xi是数据集中的一个样本。自编码
碧蓝的天空丶·2023-12-18 08:38
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他