梯度下降算法

随机梯度下降算法 入门介绍（最通俗易懂）

文章目录1.什么是梯度2.什么是梯度下降算法3.什么是随机梯度下降算法1.什么是梯度首先给出高数课程中梯度的定义：如果对上面的定义没有理解也没有关系，用通俗的语言来说，梯度实际上就是一个向量，向量中的各个元素表示多元函数在某一个点对于其中一个自变量的偏导数
北岛寒沫·2023-01-25 12:28

吴恩达机器学习 2022新版

2022吴恩达机器学习第一周一.机器学习的定义二.机器学习的分类2.1.监督学习【回归算法】【分类算法】三.lossfunction3.1.损失函数公式四.梯度下降4.1.梯度下降算法4.2.理解梯度下降
X'- Shirley. X·2023-01-24 15:35

关于深度学习中的梯度下降，了解一下

这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这
麦田里的守望者_zhg·2023-01-23 21:45

从数学上推导神经网络BP算法（向后传播）的矩阵形式————思考记录

BP算法主要使用的权值更新方法就是梯度下降算法，先求对权值的导数（图太大，放在下面）：解释：左上角是神经网络示意图，X为输入，其中X3==1.W和T分别为第一层和第二层权值。
qq_45589982·2023-01-23 13:16

深度学习中的batch的大小对学习效果与时间的影响

随机梯度下降算法的原理如下：n是批量大小（batchsize),η是学习率(learningrate)。可知道除了梯度本身，这两个因子直接决定了模型的权
旺仔的算法coding笔记·2023-01-22 13:13

学习率为什么要逐渐衰减？

这个问题其实是个很简单的问题，首先回顾一下梯度下降算法的优化原理(batchsize)：对于Batchsize和公式的理解可以参考上一篇Blog:https://blog.csdn.net/m0_51339444
Emiliano Martínez·2023-01-22 13:12

路径规划算法仿真 A星算法 传统A*(Astar)算法+改进后的A*算法 Matlab代码

A星算法传统A*(Astar)算法+改进后的A算法Matlab代码可以固定栅格地图与起点终点可以进行定量比较改进：①提升搜索效率（引入权重系数）②冗余拐角优化（可显示拐角优化次数）③路径平滑处理（引入梯度下降算法配合
「已注销」·2023-01-22 08:19

梅飞飞飞的假期学习日记day3

但更好的梯度下降算法巧妙通过导数等数学理论简化了这一过程随机梯
飞呀飞呀飞飞飞·2023-01-22 07:00

通俗理解 Adam 优化器

Adam吸收了Adagrad（自适应学习率的梯度下降算法）和动量梯度下降算法的优点，既能适应稀疏梯度（即自然语言和计算机视觉问题），又能缓解梯度震荡的问题常见优化器的详细解析请参考此文章->#深度解析#
energy_百分百·2023-01-21 19:04

SGD和带momentum的SGD算法

参考：https://crazyang.blog.csdn.net/article/details/846185361、关于SGD算法：随机梯度下降算法的出现是因为，BGD的迭代速度在大数据量下会变得很慢
_Skylar_·2023-01-21 19:03

python人工智能数据算法（下）

文章目录差分法逼近微分背景引入差分法简介差分的不同形式及其代码实现蒙特卡罗方法背景引入蒙特卡罗方法原理蒙特卡罗方法应用计算圆周率计算定积分梯度下降算法算法简介方向导数与梯度梯度下降基于梯度下降算法的线性回归算法总结差分法逼近微分背景引入几乎所有的机器学习算法在训练或者预测式都是求解最优化问题
心随而动·2023-01-21 17:12

吴恩达机器学习笔记 多元梯度下降法

与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是所有建模误差的平方和，多变量线性回归的批量梯度下降算法为注意多个变量的变化也是要同时计算更新。
桃木————·2023-01-20 15:23

Pytorch 模拟卷积网络(CNN)的梯度下降过程

前言在我们训练神经网络时，通常使用的优化算法就是梯度下降，在这篇文章中，我以卷积神经网络为例，来具体展示一下在Pytorch中如何使用梯度下降算法来进行卷积神经网络的参数优化。
胡小白的数据科学之路·2023-01-20 09:21

深入浅出——人工智能基础

所以就来总结总结以前学到的东西以及自己的理解，避免遗忘，这篇文章主要讲解神经网路结构，卷积神经网络的原理（卷积层、池化层、全连接神经网络），梯度下降算法和应用卷积神经网络的一个机器学习入门列子——基于MNIST
AI小白·2023-01-19 19:04

梯度下降算法_批梯度下降法，Minibatch梯度下降法和随机梯度下降法之间的区别...

什么是梯度下降法？梯度下降法是一种机器学习中常用的优化算法，用来找到一个函数(f)的参数(系数)的值，使成本函数(cost)最小。当参数不能解析计算时(如使用线性代数)，并且必须通过优化算法搜索时，它是最佳选择。批梯度下降法batch梯度下降针对每次梯度下降迭代处理所有训练实例。如果训练样本的数量很大，那么批梯度下降在计算上将非常昂贵。因此，如果训练实例的数量很大，则批梯度下降不是首选。相反，我们
weixin_39531183·2023-01-18 22:47

梯度下降算法_梯度下降法的简单介绍以及实现

这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，同理，如
weixin_39548193·2023-01-18 22:47

梯度下降算法

（一）梯度下降的原理：梯度下降是一个一阶优化算法，又称为最速下降法。梯度下降法是最小化目标函数（假设为J（θ））的一种方法，其中θ为模型的参数，梯度下降法利用目标函数的梯度∇θJ(θ)的反方向来更新参数。学习率α是指每次更新梯度时所指定的步长，η的大小直接决定了函数最终会收敛于全局最小值还是局部最小值（待会儿笔者将详细介绍这里的最小值和极小值）。常见的梯度下降有三中形式，他们之间的区别在于计算目标
【敛芳尊】·2023-01-18 22:45

PyTorch深度学习实践部分代码示例

Pytorch基础教程：B站刘二大人视频PyTorch深度学习实践线性模型1.穷举法2.梯度下降算法（贪心法）3.反向传播4.用PyTorch实现线性回归5.逻辑斯蒂回归6.处理多维特征输入神经网络1.
SDUer_DZL·2023-01-18 17:32

线性逻辑回归的梯度下降算法python实现

线性逻辑回归的梯度下降算法python实现前言：逻辑回归是解决分类问题的一种的方法，关于逻辑回归的具体理论知识请至我的博文中查看一、逻辑回归python实现示例代码importmatplotlib.pyplotaspltimportnumpyasnpfromsklearn.metricsimportclassification_reportfromsklearnimportpreprocessin
Mekeater·2023-01-16 17:26

机器学习常见术语汇总

AdaGrad一种复杂的梯度下降算法，重新调节每个参数的梯度，高效地给每个参数一个单独的学习率。
youzhouliu·2023-01-16 06:43

神经网络与深度学习笔记——梯度消失问题

神经网络与深度学习笔记系列一共有五个专题，分别是第一章使用神经网络识别手写数字——梯度下降算法是什么。主要介绍了神经网络的基础例如感知器激活函数等概念，最主要介绍了梯度下降算法。
刘爱然·2023-01-16 06:04

PyTorch深度学习实践——梯度下降

学习总结：这一课在B站上学习了梯度下降，对于其中认识总结如下：在初入深度学习坑时，我们经常会听到一个词语叫”梯度下降算法“，老实说，在没有学习这一章节我也对此毫无头绪，在学习玩之后，对此有了以下总结：对于一个问题而言
不见当年灰太狼·2023-01-16 06:00

机器学习：Logistic回归

目录一、基于Logistic回归和Sigmoid函数的分类1.1Logistic回归的一般过程1.2Sigmoid函数二、基于优化方法的最佳回归系数确定2.1梯度上升算法2.2梯度下降算法2.3使用梯度上升找到最佳参数
Laker 23·2023-01-15 17:27

机器学习（正在更新）

---容易错误的点：训练集、验证集、测试集训练集验证集测试集以下视频地址：[中英字幕]吴恩达机器学习系列课程_哔哩哔哩_bilibili第二章2.1线性回归2-2代价函数（类似误差一样）2.5-2.6梯度下降算法
小小怪将军！·2023-01-15 11:23

梯度下降算法综述

目录：简介梯度下降算法。介绍梯度下降算法的不同变体。总结在优化过程面临的一些挑战。介绍最常见的梯度优化算法。
我会像蜗牛一样努力·2023-01-15 10:28

【深度学习基础】02梯度下降算法改进：SGD、Momentum、NAG、RMSProp、Adam等

目录1.优化算法背景1.1常见优化问题1.1.1梯度消失或梯度爆炸1.1.2局部最小值1.2常用解决办法1.2.1参数初始化策略1.2.2小批量梯度下降1.2.3梯度下降算法优化（本文关注）1.2.4其他非算法优化方式
TianleiShi·2023-01-15 10:28

梯度下降算法及其改进

2.梯度下降算法给定和初始点重复执行以下过程直到满足条件这里的就是求的梯度是学习率普通梯度下降容易陷入局部最优，所以需要改进。3.基于冲量的梯度下降算法冲量其实叫动量更合适，加了
鹿与狼·2023-01-15 10:57

深度学习 | 梯度下降法

梯度下降法（Gradientdescentoptimization)理想的梯度下降算法要满足两点：收敛速度要快；能全局收敛重点问题：如何调整搜索的步长（也叫学习率，LearningRate）、如何加快收敛速度
TwilightZrui·2023-01-15 09:24

梯度下降算法改进

1.动量法目标:改进梯度下降算法存在的问题，即见效振荡，加速通向谷底。改进思想：利用累加历史梯度信息更新梯度。优势：可以冲出局部最小点和鞍点，找到最优解。
XZKEKEO·2023-01-15 09:24

深度学习 11 梯度下降算法改进

数据初始化要点:1.梯度下降算法的三种方式:批量梯度下降法(batch)，即同时处理整个训练集.小批量梯度下降法（Mini-Batch）每次同时处理固定大小的数据集.随机梯度下降法（stochasticgradientdescent
处女座_三月·2023-01-15 09:53

（二）机器学习的流程概述，线性规划，图像分类

3.梯度下降算法4.随机梯度下降5.小批量随机梯度下降数据集1.数据集划分2.数据集预处理前言  本文主要讲述机器学习的大致流程，以及针对图像的线性分类器，包括线性规划
BoyCZ·2023-01-14 09:06

梯度下降算法与随机梯度下降算法：实现波士顿房价问题

梯度下降算法：importrandomimportnumpyasnpk1=random.random()k2=random.random()k0=random.random()a=0.01x=np.array
.bigship·2023-01-14 08:29

机器学习梯度下降法应用波士顿房价预测

目录1线性回归api介绍小结2波士顿房价预测2.1案例背景介绍2.2案例分析2.3回归性能评估2.4代码实现2.4.1正规方程2.4.2梯度下降法2.5小结1线性回归api介绍机器学习梯度下降算法：https
赵广陆·2023-01-14 08:28

梯度下降法介绍（ 案列：波士顿放假预测）

目录一、详解梯度下降算法1.1梯度下降饿相关概念复习1.2梯度下降法流程的推导二、梯度下降法大家族2.1全梯度下降算法(FG)2.2随机梯度下降算法(SG)2.3小批量梯度下降算法(mini-batch
莱维贝贝、·2023-01-14 08:27

梯度下降⽅法介绍

1详解梯度下降算法1.1梯度下降的相关概念复习相关概念步⻓(Learningrate)：步⻓决定了在梯度下降迭代的过程中，每⼀步沿梯度负⽅向前进的⻓度。
小玩偶啊·2023-01-14 07:03

pytorch模型构建（四）——常用的回归损失函数

一、简介损失函数的作用：主要用于深度学习中predict与Truelabel“距离”度量或者“相似度度量”，并通过反向传播求梯度，进而通过梯度下降算法更新网络参数，周而复始，通过损失值和评估值反映模型的好坏
要坚持写博客呀·2023-01-14 00:01

神经网络是如何运用梯度下降算法进行学习

梯度下降算法：一步步地改变w与b的值，新的w与b会使得损失函数的输出结果更小，即一步一步让预测更加精准。我们所谓的训练神经网络其实就是找到一组w与b，使得这个损失函数
zha_zha_wei·2023-01-13 22:08

最小二乘法公式推导以及在线性回归中的应用

线性回归，最推荐的做法其实是使用梯度下降算法，这种算法比较通用，对数据要求不高，可以离散不连续。
luffy5459·2023-01-13 21:38

【深度学习技巧】学习率-余弦退火

1.2CosineAnneal梯度下降算法优化目标函
努力的袁·2023-01-13 09:45

刘二大人 《PyTorch深度学习实践》第3讲 梯度下降算法

指路☞《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili知识补充：1、预设一个w值，然后算斜率（梯度），如果梯度大于0，我们要往梯度小的方向进行，即减去它，反之一样。α是学习率，此处设为0.012、梯度下降法只能算出局部最优，没办法得到全局最优3、鞍点，梯度为04、如果cost随epoch曲线上升了，原因可能是α取大了；加权均值可以让曲线更圆滑5、随机梯度下降公式6、梯度下降与随机
qq_39705798·2023-01-12 11:47

概率图算法-EM算法

1.引言EM算法，也就是期望最大算法，分为E步和M步，作为一种算法，和模型当然有着本质的区别，类似于梯度下降算法，去求解模型的参数。EM算法多用于概率图生成模型，像HMM，GMM。。。
qq_33588413·2023-01-11 20:05

【算法】梯度下降算法及python实现

目录1.概述2.梯度下降算法2.1场景假设2.1梯度下降2.1.1微分2.2.2梯度2.3数学解释2.3.1α2.3.2梯度要乘以一个负号3.实例3.2多变量函数的梯度下降4.代码实现4.1场景分析4.2
卓小白…·2023-01-11 19:12

【从零开始学习深度学习】40. 算法优化之AdaGrad算法介绍及其Pytorch实现

之前介绍的梯度下降算法中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。
阿_旭·2023-01-10 20:29

（三）PyTorch深度学习：反向传播梯度下降

反向传播梯度下降1、在比较简单线性模型函数（y=wx+b），根据损失函数（loss=y_pred-y）**2）来写梯度下降算法是比较容易直接处理。
Kkh_8686·2023-01-10 16:18

torch.optim.SGD()

其中的SGD就是optim中的一个算法（优化器）：随机梯度下降算法PyTorch的优化器基本都继承于"classOptimizer"，这是所有optimizer的baseclasstorch.optim
echo_gou·2023-01-09 21:34

机器学习模型（线性回归、逻辑回归、决策树和随机森林、SVM&向量机）

梯度下降算法逻辑回归推导机器学习模型--决策树和随机森林决策树：level信息熵随机森林是一个简单的混合模型香农信息熵神经网络SVM&向量机线性可分向
Nefelibat·2023-01-09 18:38

神经网络的主题

当使用足够强的计算芯片（例如GPU图形加速卡）时，梯度下降算法以及反向传播算法在多层神经网络中的训练中仍然工作的很好。
樱武苏·2023-01-09 15:22

02梯度下降

参考：http://biranda.top/Pytorch学习笔记004——梯度下降算法/#随机梯度下降补充：五折交叉验证如下右图，在不同的训练集和测试集划分方法下，testMSE的变动是很大的，而且对应的最优
Cyanide11·2023-01-09 14:17

【人工智能深度学习】人工智能中的梯度下降算法和反向传播教程

【人工智能深度学习】人工智能中的梯度下降算法和反向传播教程梯度下降优化算法参数化模型用方块图表达参数模型的计算图损失函数梯度下降在传统神经网络中随机梯度下降和反向传播算法的优势随机梯度下降的优势传统神经网络通过非线性函数进行反向传播通过加权和进行反向传播一个神经网络和反向传播的
王子王子聪·2023-01-09 09:29

吴恩达-deep learning 01.神经网络与深度学习Week3

逻辑回归梯度下降算法——正向传播和反向传播两个过程假设某个样本有两个特征x1,x2x_1,x_2x1,x2，如下图所示：正向传播(黑线)：z=wTx+by^=a=σ(z)L(a,y)=−(ylog(a)
Paul-Huang·2023-01-08 09:12
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他