梯度下降法

pytorch 深度学习实践 第三讲 梯度下降算法

目录第三讲梯度下降算法gradientDescent梯度下降法gradientDescentgradient.py源码随机梯度下降法s
会游泳的小雁·2023-09-28 13:08

学习笔记-随机梯度下降法

《神经网络和深度学习》：https://nndl.github.io/梯度下降法中，目标函数是整个训练集上的风险函数，这种方式称为批量梯度下降法（BatchGradientDescent，BGD）。
kjasd233·2023-09-28 13:38

深度学习入门笔记（二）梯度下降法

目录上节回顾——logistic回归模型和成本函数梯度下降梯度下降法的执行过程计算图logistic模型中的梯度下降算法上节回顾——logistic回归模型和成本函数是在条件下，的概率。。
_CyberAngel·2023-09-28 13:07

深度学习笔记之优化算法(二)随机梯度下降

深度学习笔记之优化算法——随机梯度下降引言回顾：梯度下降法梯度下降法在机器学习中的问题随机梯度下降随机梯度下降方法的思想随机梯度下降方法的步骤描述关于学习率引言本节将介绍随机梯度下降(StochasticGradientDescent
静静的喝酒·2023-09-28 13:05

线性回归&逻辑回归&正则化

对于的取值可以尝试:运用梯度下降法
susion哒哒·2023-09-27 20:50

机器学习笔记——9.25课堂补充

2.梯度下降法参数更新能否保证损失函数值每次下降？3.以下损失函数表达式中为何有个系数1/2m？4.有关学习率的调整策略？
AgentSmart·2023-09-25 08:33

梯度下降法

梯度下降法对于一个二元一次函数y=ax+b，我们只需要知道两个(x，y)点即可获取到a、b的值，我们称其为精确解，如下图：但是如果该函数中存在已知分布的噪声，那么又该如何求解：我们可以假设a、b为任意值
Hufft·2023-09-25 02:45

最小二乘法

LeastSquareMethod1、相关的矩阵公式2、线性回归3、最小二乘法3.1、损失函数（LossFunction）3.2、多维空间的损失函数3.3、解析法求解3.4、梯度下降法求解1、相关的矩阵公式
__TAT__·2023-09-24 14:09

第五章 多变量线性回归

本章含盖5.1多维特征5.2多元梯度下降法5.3多元梯度下降法演练！
tomas家的小拨浪鼓·2023-09-24 05:59

深度学习自学笔记二：逻辑回归和梯度下降法

目录一、逻辑回归二、逻辑回归的代价函数三、梯度下降法一、逻辑回归逻辑回归是一种常用的二分类算法，用于将输入数据映射到一个概率输出，表示为属于某个类别的概率。
ironmao·2023-09-23 21:54

机器学习（3） K近邻算法（KNN）介绍及C++实现

近邻算法三大要素前言此前已发布的两篇博客，分别记录在假设空间有限、样本空间有限条件下如何计算泛化误差上界，并给出C++代码实现，详情参见机器学习（1）泛化误差上界的实现及分析；以及在线性可分条件下，采用随机梯度下降法收敛分二分类超平面的感知机算法
ProfSnail·2023-09-23 16:09

pytorch学习------常见的优化算法

梯度下降：全局最优2、随机梯度下降法(Stochasticgradientdescent
韭菜盖饭·2023-09-22 22:59

基于tensorflow的MNIST手写字识别（一）--白话卷积神经网络模型

一、卷积神经网络模型知识要点卷积卷积1、卷积2、池化3、全连接4、梯度下降法5、softmax本次就是用最简单的方法给大家讲解这些概念，因为具体的各种论文网上都有，连推导都有，所以本文主要就是给大家做个铺垫
GarfieldEr007·2023-09-22 15:30

吴恩达DL lesson3 week1

例如收集更多训练数据训练集的多样性不够,收集更多的具有多样性的实验数据和更多样化的反例集.使用梯度下降法训练更长的时间尝试一个不同的优化算法,例如Adam优化算法
wyq0717·2023-09-22 02:37

机器学习入门教学——损失函数（交叉熵法）

1、前言我们在训练神经网络时，最常用到的方法就是梯度下降法。在了解梯度下降法前，我们需要了解什么是损失(代价)函数。所谓求的梯度，就是损失函数的梯度。
恣睢s·2023-09-22 01:26

机器学习入门教学——损失函数（极大似然估计法）

1、前言我们在训练神经网络时，最常用到的方法就是梯度下降法。在了解梯度下降法前，我们需要了解什么是损失(代价)函数。所谓求的梯度，就是损失函数的梯度。
恣睢s·2023-09-21 02:10

机器学习入门教学——损失函数（最小二乘法）

1、前言我们在训练神经网络时，最常用到的方法就是梯度下降法。在了解梯度下降法前，我们需要了解什么是损失(代价)函数。所谓求的梯度，就是损失函数的梯度。
恣睢s·2023-09-21 02:40

【深度学习实验】线性模型（二）：使用NumPy实现线性模型：梯度下降法

linear_model3.损失函数loss_function4.梯度计算函数compute_gradients5.梯度下降函数gradient_descent6.调用函数一、实验介绍使用NumPy实现线性模型：梯度下降法二
QomolangmaH·2023-09-18 00:25

神经网络权重是什么意思,神经网络权值和阈值

2、以看一下在matlab中BP神经网络的训练函数，有梯度下降法traingd,弹性梯度下降法trainrp，自适应lr梯度下降法traingda等。
快乐的小肥熊·2023-09-17 21:20

1 参悟深度学习-梯度下降法

数学知识导函数本质上梯度下降法是在解决极值的问题而在数学上求极值，需要知道导函数就很容易求的比如函数y=x^2+4x+4的最大/小值是在其导函数等于0时的x的值即2*x+4=0是x=-2存在最大/小值y
InnoTech·2023-09-16 20:01

Python数据分析入门--线性规划和非线性规划学习笔记

文章目录一、线性规划简介二、线性规划常用求解方法三、线性规划实现流程1.明确问题和变量2.建立数学模型四、Python实现线性规划五、非线性规划简介六、非线性规划常用求解方法1.拉格朗日乘数法2.梯度下降法七
szu_ljm·2023-09-15 02:00

深度学习-详解梯度下降从BGD到ADAM - [北邮鲁鹏]

二、梯度下降的运行过程批量梯度下降法(BGD)随机梯度下降法(SGD)小批量梯度下降法(MBGD)梯度算法的改进梯度下降算法存在的问题动量法(Momentum)动量法还有什么效果？
古董a·2023-09-14 09:16

【线性回归】梯度下降

也就是梯度方向一、梯度下降法算法描述注意：新的θ0、θ1是依据上一次的θ0、θ1同时更新的。
阿瑟琴·2023-09-13 05:16

神经网络 06(优化方法)

二、梯度下降方法梯度下降法简单来说就是一种寻找使损失函数最小化的方法。
Darren_pty·2023-09-13 05:25

2019-03-03

如何让线离点为了使用梯度下降法，我们需要使用连续误差函数，为此还需要
_mora·2023-09-13 01:34

Batch normalization和Layer normalization

深度学习的归一化方法1归一化的目的当我们使用梯度下降法做优化时，随着网络深度的增加，输入数据的特征分布会不断发生变化，为了保证数据特征分布的稳定性，会加入Normalization。
Mariooooooooooo·2023-09-12 16:51

【AI】机器学习——感知机

文章目录4.1感知机基本概念4.2策略4.2.1数据集的线性可分性4.2.2学习策略目标损失函数的构造关于距离的解释4.3算法4.3.1原始形式损失函数的梯度下降法4.3.2PLA例题4.3.3算法收敛性
AmosTian·2023-09-11 08:14

python实现线性回归的梯度下降法

但损失函数一般都比较复杂，难以从函数本身找到最优的参数，因此实际应用过程中使用得较多的就是梯度下降法。通过逐渐改变参数，使损失函数逐渐收敛，最终确定参数值使损失函数的值最小。
yy辰·2023-09-10 21:46

【深度学习】Mini-Batch梯度下降法

Mini-Batch梯度下降法在开始Mini-Batch算法开始之前，请确保你已经掌握梯度下降的最优化算法。
NormalConfidence_Man·2023-09-10 08:07

机器学习之感知机

感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求
是小橙子呀·2023-09-09 22:54

【AI】机器学习——线性模型（线性回归）

又能构造出功能更加强大的非线性模型文章目录3.1线性模型3.1.1数据3.1.2目标/应用3.2线性回归3.2.1回归模型历史3.2.2回归分析研究内容回归分析步骤3.2.3回归分析分类3.2.4回归模型3.2.5损失函数梯度下降法一元回归模型的梯度下降多元回归模型梯度下降不同特征尺度不同
AmosTian·2023-09-08 10:33

逻辑回归

假设：使用极大似然法来估计模型参数：其对数似然函数为：对求极大值，得到的估计值通常使用梯度下降法和你牛顿法求解
菜鸟learn编程·2023-09-08 03:19

【数学建模竞赛】优化类赛题常用算法解析

模型分析和求解方法选择：对建立的数学模型进行分析，可以使用数学工具和方法，例如最优化算法、梯度下降法、遗传算法、模拟退火等。根据问题的性质和模型的特点，选择适当的优化方法来求解问题。
CaojunjiaOnly·2023-09-06 23:08

机器学习笔记之最优化理论与方法(七)无约束优化问题——常用求解方法(上)

机器学习笔记之最优化理论与方法——基于无约束优化问题的常用求解方法[上]引言总体介绍回顾：线搜索下降算法收敛速度的衡量方式线性收敛范围高阶收敛范围二次终止性朴素算法：坐标轴交替下降法最速下降法(梯度下降法
静静的喝酒·2023-09-06 16:17

转载自http://www.cnblogs.com/pinard/p/5970503.html---梯度下降讲解

这里就对梯度下降法做一个完整的总结。1.梯度在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。
_codedreamer·2023-09-04 22:49

构建机器学习项目

如果例子的效果不理想，你的脑海里会涌现出很多提升准确率的思路：1.收集更多的数据2.增大训练样本多样性3.使用梯度下降法训练更长的时间4.换一种优化算法，比如Adam算法5.尝试更复杂或更简单的神经网络
带刺的小花_ea97·2023-09-04 19:15

关于凸优化与机器学习理解笔记

梯度下降法和牛顿法等基于导数作为判断依据的优化算法，找到的都是导数为0的点，但是梯度为0只是取得极值的必要条件而非充分条件。
淘尽黄沙后·2023-09-04 10:52

机器学习笔记之最优化理论与方法(四) 凸函数：定义与基本性质

本文是关于梯度下降法：凸函数VS\text{VS}VS强凸函数的逻辑补充。涉及的证明过程如：凸函数的一阶条件；凸函数的梯度单调性；凸函数的二阶条件详见上述链接。凸函数的定义关于凸函
静静的喝酒·2023-09-03 07:36

神经网络--感知机

感知机单层感知机原理单层感知机:解决二分类问题，激活函数一般使用sign函数,基于误分类点到超平面的距离总和来构造损失函数,由损失函数推导出模型中损失函数对参数www和bbb的梯度，利用梯度下降法从而进行参数更新
JaxHur·2023-09-03 05:41

VSLAM（3）：最优化问题与优化问题的代码实现

目录一.最优化问题1.1SLAM状态估计问题的定义1.2最优化问题1.3迭代法解决最优化问题1.3.1梯度下降法1.3.2高斯牛顿法（Gassion-Newton）1.3.3阻尼牛顿法LM（Levenberge-Marquadt
聪明的笨小子·2023-09-03 01:27

三维空间刚体运动4-5：四元数多点离散数值解插值方法：Sping

三维空间刚体运动4-5：四元数多点离散数值解插值方法：Sping1.正切曲率κ(γ,t)\kappa(\gamma,t)κ(γ,t)在H1H_{1}H1上的离散数值解——Sping1.1离散版解决方案1.2梯度下降法求解
shao918516·2023-09-03 01:25

机器人中的数值优化（六）—— 线搜索最速下降法

机器人中的数值优化》和高立编著的《数值最优化方法》等，本系列文章篇数较多，不定期更新，上半部分介绍无约束优化，下半部分介绍带约束的优化，中间会穿插一些路径规划方面的应用实例  八、线搜索最速下降法  1、最速梯度下降法简介
慕羽★·2023-09-03 01:24

大数据课程K16——Spark的梯度下降法

文章作者邮箱：[email protected]地址：广东惠州▲本章节目的⚪了解Spark的梯度下降法；⚪了解Spark的梯度下降法家族（BGD，SGD，MBGD）；⚪掌握Spark的MLlib实现
伟雄·2023-09-02 01:17

【数值计算方法】导论

线性代数方程组求解（等价变换）b.矩阵特征值特征向量（相似变换）c.二次型（合同变换）2.数值逼近a.插值b.曲线拟合c.数值积分d.数值微分e.迭代法f.近似求解常微分方程3.数值优化a.最优化问题的建模b.梯度下降法
QomolangmaH·2023-09-01 05:14

人工神经网络的学习方式

调整权重使用的方法有梯度下降法，和随机梯度下降法两种。GradientDescent简称GD。stochasticGradientDescent简称SGD。两者的差异在于效率和收敛速度。
懒生活·2023-08-30 22:13

神经网络中的优化算法

【嵌牛正文】首先，我们惯用的方法是“梯度下降法”，称为GradientDecent，就是把所有的训练样本丢进去训练一次之后，把W和b更新一次，然后重复这个过程，具体重复多少次就看我们的“迭代次数”是多少
张小文_f7d4·2023-08-30 19:47

各种 Optimizer 梯度下降优化算法总结

写在前面当前使用的许多优化算法，是对梯度下降法的衍生和优化。在微积分中，对多元函数的参数求偏导数，把求得
无忧获客01·2023-08-30 19:24

机器学习第五周-梯度下降

在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。顾名思义，梯
繁华落幕_0f7c·2023-08-29 18:36

机器学习笔记之优化算法(十九)经典牛顿法的收敛性分析

机器学习笔记之优化算法——经典牛顿法的收敛性分析引言回顾：算法的收敛性分析Wolfe\text{Wolfe}Wolfe准则的收敛性分析梯度下降法在凸函数的收敛性分析梯度下降法在强凸函数的收敛性分析经典牛顿法的收敛性分析收敛性定理介绍证明过程关于隐含条件的说明引言上一节整体介绍了经典牛顿法
静静的喝酒·2023-08-27 19:09

机器学习与数学基础知识（二）

本文是机器学习与数学基础知识的第二集视频，主要内容是微积分选讲，共三部分知识点，与机器学习直接相关的是第二部分知识点微积分中的两个机器学习算法——牛顿法和梯度下降法。
22世纪冲刺·2023-08-27 09:18
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他