梯度下降法

吴恩达深度学习课程第一课 — 神经网络与深度学习

SupervisedLearningwithNeuralNetworks）2.神经网络基础（BasicsofNeuralNetworkProgramming）2.1.逻辑回归（LogisticRegression）2.2.损失函数（LossFunction）2.3.梯度下降法
你的莽莽没我的好吃·2023-02-03 11:10

从一条曲线谈损失函数优化方法

我们将在这篇文章中讨论以下算法：随机梯度下降法（批
breezedancer·2023-02-03 08:34

第六章 机器学习技巧——参数的更新&权重的初始值&Batch Normalization&正则化&超参数的验证

1.参数的更新*神经网络的学习目的是找到使损失函数的值尽可能小的参数，这是寻找最优参数的问题，解决这个问题的过程称为最优化（1）SGD（随机梯度下降法）（2）Momentumv对应物理上的速度，表示了物体在梯度方向上受力
桃桃tao·2023-02-02 08:53

机器学习笔记（15）— 基本概念batch、batchsize、epoch、iteration

为了解决这个问题，目前使用较多的是mini-batch梯度下降法。（关于梯度下
开门儿大弟子·2023-02-02 08:23

机器学习——动量与学习率衰减

动量动量法是梯度下降法的变式，在随机梯度下降的同时，增加动量。
左小田^O^·2023-02-02 08:22

机器学习算法 - 线性模型（公式推导+代码）

文章目录一、线性回归1.线性回归描述2.线性回归公式（正规方程求解）2.1一元回归公式推导2.2多元回归公式推导3.梯度下降法求解3.1一元线性回归3.1.1梯度下降法求解线性回归（推导过程）3.2多元线性回归之梯度下降法
why do not·2023-02-02 08:38

吴恩达机器学习_第一周笔记

2ModelandCostFunctionModelRepresentationCostFunction(代价函数)代价函数的图像3ParameterLearning(GradientDescent：梯度下降法
weixin_Saturn·2023-02-01 20:17

李宏毅深度学习笔记（各种优化方法）

主要思路有两种：固定学习率和动态变化学习率固定学习率：代表算法SGD,SGDM（SGDwithMomentum）动量梯度下降法SGD最大的缺点是下降速度慢，而且可能会在沟壑的两边持续震荡，停留在一个局部最优点
在水一方_果爸·2023-02-01 20:09

学习笔记（1):5天搞定深度学习入门系列-网络优化-线性神经网络，delta学习规则，梯度下降法...

立即学习:https://edu.csdn.net/course/play/5444/99914?utm_source=blogtoedu输入是否相同？那岂不是重复了
Hyperspectralnetwork·2023-02-01 19:33

深度学习导论--线性神经网络、delta学习规则、梯度下降法（python实现）

输出任意值，使用LMS（最小均方）调整权值和偏置purelin函数（y=x）LMS学习规则：最小均方规则线性神经网络结构purelin用于训练sign用于预测delta学习规则：连续感知器学习规则利用梯度下降法的一般性学习法则代价函数
Zun-·2023-02-01 19:32

Pytorch ---- 反向传播 学习笔记~~~~~

前两天学习了线性模型，穷举权重和使用梯度下降法求权重。今天学反向传播。反向传播损失公式：W1为权重矩阵。b1（bias）为偏置向量。解释一下为什么这里的W不再是前面学过的单一的权重值而是变成了矩阵。
深度不学习！！·2023-02-01 19:01

优化算法详解

文章目录1、机器学习要求解的数学模型2、最优化算法2.1分类2.2通用的优化框架3公式解3.1费马定理3.2拉格朗日乘数法3.3KKT条件4数值优化算法4.1梯度下降法4.1.1SGD、BGD、MBGD
望百川归海·2023-02-01 19:30

神将网络(3)反向传播算法及推导

现在为了计算使用梯度下降法就要计算偏导数∂θi,j(l)J(θ)\frac{\partial}{\theta^{(l)}_{i,j}}J(\theta)θi,j(l)∂J(θ),我们需要采用一种反向传播的算法
是忘生啊·2023-02-01 19:59

机器学习之求解无约束最优化问题方法(手推公式版)

文章目录前言1.基础知识1.1方向导数1.2梯度1.3方向导数与梯度的关系1.4泰勒展开公式1.5Jacobian矩阵与Hessian矩阵1.6正定矩阵2.梯度下降法3.牛顿法4.拟牛顿法5.代码实现结束语前言
夏小悠·2023-02-01 12:52

数据分析-深度学习Pytorch Day11

梯度下降法(gradientdescent)是一阶最优化算法，通常也称为最速下降法，是通过函数当前点对应梯度(或者是近似梯度)的反方向，使用规定步长距离进例行迭代搜索，从而找到一一个函数的局部极小值的算法
小浩码出未来！·2023-02-01 12:13

【机器学习-周志华】学习笔记-第五章

它其实是对梯度计算结果的一个解释，用的其实还是梯度下降法。也就是说，主要还是微积分多元函数的计算。头疼.jpg可以看到这里是多输出问题，但
vircorns·2023-01-31 08:24

基于MAML的改进方法总结

MAML在训练任务上学习一个易于调节的初始化参数，面对新的测试任务时迁移该初始化参数，并利用梯度下降法微调该参
keive13·2023-01-30 13:10

机器学习初学心得——梯度下降法

回归与梯度下降：回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locallyweighted回归，logistic回归，等等，这个将在后面去讲。用一个很简单的例子来说明回归，这个例子来自很多的地方，也在很多的opensource的软件中看到，比如说weka。大概就是，做一个房屋价值
weixin_30815427·2023-01-30 12:02

关于随机梯度下降法小心得

上述代码一次运行后的结果如下表明陷入了loss的局部极小值其他几次运行的结果也不稳定为了解释上述原因首先上面用的loss是梯度下降法就是每次迭代时计算的是训练样本的误差的和（也叫批量学习batchlearning
深海的幽灵·2023-01-30 12:00

梯度下降法推导

**梯度下降法公式推导**梯度下降法简单的来说就是一种寻找最小值的点的方法，是机器学习和深度学习中常用的优化器，具体又可分为批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（MBGD），本文不对这些问题做讨论只是从数学角度来推导神经网络中的数学武器
废话会浪费话费·2023-01-30 12:29

梯度下降法总结

前言：网上查了大量写梯度下降法的文章，但是总是发现文章中存在很多问题，所以这里总结一下，更正错误。不然理解起来真的很困难。
kissgoodbye2012·2023-01-30 12:24

梯度下降算法学习总结——机器学习

算法的个人印象1.2为什么用这个算法2.梯度下降算法2.1场景设定2.2梯度下降2.2.1梯度2.2.2梯度指出了定点上升的最快方向2.3数学解释2.3.12.3.2η2.3.3怎么停下来——阈值/迭代次数2.4梯度下降法的一般步骤
图灵的加菲·2023-01-30 12:53

机器学习实战(基于scikit-learn和TensorFlow)学习心得(20)--Lasso Regression,梯度下降法

lasso可能会使某一个θ变成0,具体原因下一个学习笔记会写道.而lasso成本函数在θi=0时是不可微的(对于i=1，2，…，n),所以我们要使用次梯度矢量g代替任何θ=0,让梯度下降仍然可以正常工作2.梯度下降法梯度下降法是一种很
带刀的骑士·2023-01-30 12:22

梯度下降法学习心得

随机梯度下降法（SGD）是训练深度学习模型最常用的优化方法。在前期文章中我们讲了梯度是如何计算的，主要采用BP算法，或者说利用链式法则。
曦微熹未·2023-01-30 12:19

深度学习基础知识（七）:神经网络基础之梯度下降法

4.梯度下降法4.1定义通过对参数（如w，b）进行求导，用于训练模型中的各种参数（如线性回归的w和b参数），从而达到成本函数值的最低点（也就是函数图像的最低点）。
Chou_pijiang·2023-01-30 11:26

梯度上升和梯度下降

关于梯度上升法和梯度下降法的原理，大多数都是纯理论的解释和公式的推导，没有一种直观的表达方式。
风筝__·2023-01-30 11:55

简述梯度下降法在神经网络中的作用

在已经熟悉神经网络的相关知识的前提下：使用激活函数以后，除了能将输入信号转换为输出信号以后，还能回传损失函数中的误差，可以使用梯度下降更新权重值，通过计算误差函数E相对于权重参数W的梯度，在损失函数梯度的相反方向上更新权重参数v2-ad943c338270e34bed0b67222f245168_b.png上图显示了权重更新过程与梯度矢量误差的方向相反，其中U形曲线为梯度。要注意到，当权重值W太小
NLP_Song·2023-01-30 11:25

梯度下降法

梯度下降法的步骤是：1.赋予初值k,b;2.对函数中分别对k,b求偏导得到和3.然后我们将i和j分别再赋值给b0和k0然后反复计算。4.我们是根据的值的取值来调节我们的代价函数的大小的。
城峰·2023-01-30 08:32

BP神经网络的结构

它的学习规则是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型
vili_sky·2023-01-29 17:56

初学者之路——————回归问题

对于回归问题，寻找损失函数最小的常用方法是梯度下降法，通过计算梯度然后对权重值进行不断更新，找到局部最低点。回归问题可能会出现过拟合和欠拟合问题。过拟合时，需要尽量选择泛
MapleCL·2023-01-29 14:17

Perceptual Losses for Real-Time Style Transfer and Super-Resolution

图像转换网络是一个深度残差卷积网络，将输入图像转换成输出图像，使用随机梯度下降法来训练为了克服像素损失的缺点，使损失方程能够更好的度量感知和语义相关的信息。
LuDon·2023-01-29 11:33

2021-03-05 大数据课程笔记 day44

@R星校长机器学习04【机器学习】主要内容道路拥堵预测梯度下降法逻辑回归优化模型评估学习目标第一节道路拥堵情况预测1.构建训练集：每条道路的拥堵情况不仅和当前道路前一个时间点拥堵情况有关系，还和与这条道路临近的其他道路的拥堵情况有关
Rich Dad·2023-01-29 09:26

机器学习--线性回归

我们如何找到合适的尝试方法来找到这组参数呢,目前使用梯度下降法梯度下
下雨天的蓝·2023-01-29 09:16

【PyTorch深度学习实践】深度学习之线性模型和梯度下降算法

文章目录前言一、线性模型二、梯度下降法总结前言在学习深度学习过程中，我们需要知道一个基本的流程，首先需要准备数据集（Dataset），然后选择模型（Model），再用该模型进行训练（Training），
今天又干了些什么呢·2023-01-29 07:31

NLP对抗文本攻击分类

攻击分类文献来源白盒攻击基于梯度的攻击黑盒攻击基于置信度的攻击基于迁移性的攻击基于模型决策的攻击总结文献来源[1]李进锋.面向自然语言处理系统的对抗攻击与防御研究[D].浙江大学,2020.白盒攻击基于梯度的攻击goodfellow提出经典的FGSM（快速梯度下降法
流水不争先_争的是滔滔不绝·2023-01-28 14:53

导数，偏导数，方向导数，梯度的理解---微积分数学基础

1.导数的概念那这里就产生了一个疑问：为什么使用梯度下降法求解？为什么使用梯度下降法，就能够得到最优解(全局或者局部)？
java_prinln·2023-01-28 09:22

数学必知必会----导数、梯度与积分

复合函数求导1.2.1链式法则1.2.2多元函数求导：偏导数（偏微分）二、积分定积分不定积分拓展三、均方误差3.1导数应用3.2线性回归的应用四、梯度4.1导入4.2定义：4.3事例4.4理解方法4.5梯度下降法定义
sakura小樱·2023-01-28 09:49

基于tensorflow的MNIST手写字识别

一、卷积神经网络模型知识要点卷积卷积1、卷积2、池化3、全连接4、梯度下降法5、softmax本次就是用最简单的方法给大家讲解这些概念，因为具体的各种论文网上都有，连推导都有，所以本文主要就是给大家做个铺垫
c2a2o2·2023-01-27 08:42

PyTorch 深度学习实践 第3讲

B站刘二大人，传送门PyTorch深度学习实践梯度下降法梯度下降法importmatplotlib.pyplotasplt#preparethetrainingsetx_data=[1.0,2.0,3.0
夕阳落林中·2023-01-27 08:32

自然语言学习路线图

自然语言处理的现状与前景2.自然语言处理应用3.自然语言处理经典任务第二章：数据结构与算法基础4.时间复杂度、空间复杂度5.动态规划6.贪心算法7.各种排序算法第三章：分类与逻辑回归逻辑回归最大似然估计优化与梯度下降法随机梯度下降法第四章
Gavin_hello·2023-01-27 01:54

（深度学习快速入门）第三章第三节3：深度学习必备组件之优化器和优化算法

文章目录一：优化算法（1）优化算法概述（2）梯度下降法二：优化器一：优化算法（1）优化算法概述优化算法：对于深度学习问题，我们通常会先定义损失函数。
快乐江湖·2023-01-27 00:17

MATLAB最小二乘法

一个简单的线性回归例子：x3033353739444650y3034373942464851¯y=a_0+a_1x用最小二乘法、梯度下降法去拟合。
CDUT-yanggeng·2023-01-26 16:41

固定学习速率的梯度下降法MATLAB实例

以函数为例，以梯度下降法求
CDUT-yanggeng·2023-01-26 16:41

梯度下降算法有哪些？有什么区别？【背景、原理、公式、代码】

在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来
Emiliano Martínez·2023-01-26 13:41

机器学习001---线性回归

线性回归基本步骤数据特征归一化(FeatureNormalize)假设模型(HypothesisFunction)代价函数(CostFunction)梯度下降法(GradientDecent)正规方程法
LXTTTTTTTT·2023-01-26 12:57

Pytorch从入门到精通(一)：线性模型

我们借助Python的numpy包，然后用梯度下降法计算出结果：importnumpyasnpx_data=[1.0,2.0,3.0]y_data=[2.0,4.0,6.0]w=1.
nudt_qxx·2023-01-26 10:12

统计学习方法读书笔记3-感知机SVM

文章目录1.感知机模型2.感知机的学习策略1.数据集的线性可分性2.感知机学习策略3.感知机学习算法1.原始形式-随机梯度下降法2.对偶形式4.感知机算法收敛性证明感知机是二类分类的线性分类模型，其输入是实例的特征向量
哎呦-_-不错·2023-01-25 12:34

统计学习方法 学习笔记（2）感知机

感知机算法通过随机梯度下降法进行求解。感知机算法的优点在于简单且易于实现。感知机算法是神经网络算法和支持向量机算法的基础。2.1.感知机模型感知机的定义：假设输入空间包含于
北岛寒沫·2023-01-25 12:26

常见学习率衰减方式

梯度下降法是一个广泛被用来最小化模型误差的参数优化算法。梯度下降法通过多次迭代，并在每一步中最小化成本函数（cost来估计模型的参数。
Cpp编程小茶馆·2023-01-25 10:11

机器学习：如何找到最优学习率

原文见点击打开链接学习率的重要性目前深度学习使用的都是非常简单的一阶收敛算法，梯度下降法，不管有多少自适应的优化算法，本质上都是对梯度下降法的各种变形，所以初始学习率对深层网络的收敛起着决定性的作用，下面就是梯度下降法的公式
whut_ldz·2023-01-25 10:11
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他