梯度下降

手写python实现梯度下降算法（base问题：多元线性回归）

手写python实现梯度下降算法因为课程设计的原因，接触了很多和机器学习相关的事情在学习的时候发现，机器学习如果只是听不写代码基本什么都学习不到于是自己利用python手写了大部分的常见的基础的算法很有趣呢
小野堂·2024-01-04 01:29

[动手学深度学习-PyTorch版]-7.2优化算法-梯度下降和随机梯度下降

7.2梯度下降和随机梯度下降在本节中，我们将介绍梯度下降（gradientdescent）的工作原理。
蒸饺与白茶·2024-01-03 15:47

机器学习与深度学习——使用paddle实现随机梯度下降算法SGD对波士顿房价数据进行线性回归和预测

文章目录机器学习与深度学习——使用paddle实现随机梯度下降算法SGD对波士顿房价数据进行线性回归和预测一、任务二、流程三、完整代码四、代码解析五、效果截图机器学习与深度学习——使用paddle实现随机梯度下降算法
星川皆无恙·2024-01-03 12:12

梯度下降算法2 学习率 梯度

学习率是在梯度下降算法中的一个非常重要的参数，它决定了在寻找最小值（或最优解）过程中我们每一步移动的距离。你可以将学习率理解为步伐的大小。想象一下，你在山上寻找最低点（即最优解）。
小黄人软件·2024-01-03 08:31

简易机器学习笔记（四）初识卷积神经网络

首先我们要知道之前写的那些东西都是什么，之前写的我们称之为简单神经网络，也就是简单一层连接输出和输出，通过前向计算和逆向传播，以及梯度下降的方式让结果慢慢滑向我们期望的终点。
Leventure_轩先生·2024-01-03 05:40

简易机器学习笔记（六）不同优化算法器

前言我们之前不是说了有关梯度下降公式的事嘛，就是那个这样梯度下降公式涉及两个问题，一是梯度下降的策略，二是涉及到参数的选择，如果我们选择固定步长的时候，就会发现我们求的值一直在最小值左右震荡，很难选择到我们期望的值
Leventure_轩先生·2024-01-03 05:40

我的AI笔记_2（线性回归梯度下降法、参数更新方法）

这里就引入了“梯度下降”。一、梯度下降通俗解释比如下面山上有个小孩要下山，肯定要往下走（取决于你Loss_function的方向是上升还是下降）正常求“梯度”是“向
xcpppig·2024-01-03 01:52

深度学习｜2.4 梯度下降

如上图，J(w,b)J(w,b)J(w,b)是由w和b两个参数共同控制的损失函数，损失是不好的东西，所以应该求取合适的w和b使得损失最小化。为了简单考虑，可以先忽略参数b。斜率可以理解成在朝着x正方向移动单位距离所形成的损失值的变化，如果损失值变大，那么x往负方向移动；如果斜率为负，损失值变小，说明可以继续往正方向移动，应该要加上一个正值。（负负得正）其中学习率用于控制变化的过程。学习率越小，参数
晓源Galois·2024-01-02 16:38

残差网络(ResNets)（Residual Networks (ResNets)）

如果我们使用标准优化算法训练一个普通网络，比如说梯度下降法，或者其它热门的优化算法。如果没有残差，没有这些捷径或者跳跃连接，凭经验你会发现随着网络深度的加深，训练错误会先减少，然后增多。
丁功春·2024-01-02 10:45

PyTorch官网demo解读——第一个神经网络（4）

上一篇：PyTorch官网demo解读——第一个神经网络（3）-CSDN博客上一篇我们聊了手写数字识别神经网络的损失函数和梯度下降算法，这一篇我们来聊聊激活函数。
骑猪等风·2024-01-02 06:09

多元线性回归

找到最优解，即损失最小目标函数（损失函数）J()=MSE=(-)求损失函数的方式1>解析解（有求逆的运算，不是所有的矩阵都有逆运算，并且维度太高，逆运算太慢如果用这种方式，没必要用归一化）2>梯度下降
王金松·2024-01-01 21:15

第二十四周：文献阅读笔记（VIT）

1.3引言1.4VIT1.4.1Embedding层结构详解1.4.2BN和LN算法1.4.3TransformerEncoder详解1.4.4MLPHead（全连接头）1.5实验1.6文献总结2.随机梯度下降
@默然·2024-01-01 16:53

前馈神经网络复习

习题4-1对于一个神经元(wx+b),并使用梯度下降优化参数w时如果输入x恒大于0,其收敛速度会比零均值化的输入更慢在全连接网络模型中，将输入的x值进行零均值化是一种预处理方法，旨在将训练集中的每个输入值
Simon52314·2024-01-01 07:47

机器学习基础知识和常用名词解释

机器学习入门的基础知识，包括常见名词的解释（线性回归、容量、过拟合欠拟合、正则化、超参数和验证集、估计、偏差和方差、最大似然估计、KL散度、随机梯度下降）欢迎关注我的微信公众号“人小路远”哦，在这里我将会记录自己日常学习的点滴收获与大家分享
湖大李桂桂·2024-01-01 05:59

【吴恩达deeplearning】第一门课 - 第二周 - 神经网络的编程基础（笔记+习题+编程作业）

）2.1二分类（BinaryClassification）二分类中的逻辑回归2.2逻辑回归（LogisticRegression）2.3逻辑回归的代价函数损失函数（误差函数）代价函数（成本函数）2.4梯度下降法
卷卷0v0·2024-01-01 02:45

17.大量数据机器学习（Large scale machine learning)

第10周Lecture17大量数据机器学习随机梯度下降（stochasticgradientdescent)步骤：a.）训练数据重新随机排列（Randomlyshuffle(reorder)trainingexamples
justinwei·2023-12-31 21:18

nndl 作业12 优化算法2D可视化

1.被优化函数SGD算法SGD又称为随机梯度下降算法，用于求解损失函数最小值，对于SGD而言，每次使用的损失函数只是通过这一个小批量的数据确定的，其函数图像与真实
szf03·2023-12-31 06:51

【23-24 秋学期】NNDL 作业12 优化算法2D可视化

编程实现并2D可视化1.被优化函数2.被优化函数3.解释不同轨迹的形成原因分析各个算法的优缺点总结及心得体会简要介绍图中的优化算法，编程实现并2D可视化1.被优化函数（1）SGDSGD优化算法，即随机梯度下降法
.Hypocritical.·2023-12-31 06:51

tensorflow相关知识

反向传播就是梯度下降使用reverse-modeautodiffreverse-modeautodiff：反向模式自动微分（autodiff），通常称为反向传播，是一种用于训练人工神经网络的技术。
不做梵高417·2023-12-30 10:37

神经网络分类与回归任务

优化器：常见的有梯度下降
不做梵高417·2023-12-30 10:04

pytorch 动态调整学习率，学习率自动下降，根据loss下降

我们都知道几乎所有的神经网络采取的是梯度下降法来对模型进行最优化，其中标准的权重更新公式：W+=α∗gradientW+=\alpha*\text{gradient}W+=α∗gradient学习率α\
呆呆象呆呆·2023-12-30 06:07

机器学习之BP神经网络精讲（Backpropagation Neural Network（附案例代码））

这种网络结构包含输入层、隐藏层和输出层，使用梯度下降算法来优化权重。
贾斯汀玛尔斯·2023-12-30 05:33

cs224n-笔记-lecture01-wordvecs

目录人类语言和词语含义词向量Word2Vec语言模型介绍优化方法：梯度下降法人类语言和词语含义1.如何表示一个词定义词语的meaning：用单词、词组表示概念用单词、符号表达观点通过写作、艺术表达内容.
AugBoost·2023-12-30 03:37

感知机

为了求这个超平面需要用到基于误分类的损失函数和梯度下降的优化策略。
将_4c15·2023-12-29 15:15

机器学习中常用的矩阵公式

模型学习的过程是求使得loss函数L(f(x),y)最小的参数，这是一个优化问题，一般采用和梯度相关的最优化方法，如梯度下降。一、矩阵迹的定义矩阵的迹：就是矩阵的主对角线上所有元素的和。
ᝰꫛꪮꪮꫜ hm·2023-12-29 11:38

梯度下降的直观理解

欢迎关注公众号：数据运营入表资产化服务获取更多算法源码材料2023数据资源入表白皮书，推荐系统源码下载-CSDN博客用友BIP数据资产入表解决方案白皮书，推荐系统源码下载-CSDN博客梯度下降的场景假设梯度下降法的基本思想可以类比为一个下山的过程
Michael_Shentu·2023-12-29 11:03

模型优化方法

在构建完模型后，通过一下几种步骤进行模型优化训练过程优化器随机梯度下降（SGD）优点：（1）每次只用一个样本更新模型参数，训练速度快（2）随机梯度下降所带来的波动有利于优化的方向从当前的局部极小值点跳到另一个更好的局部极小值点
alstonlou·2023-12-28 23:12

卷积神经网络 反向传播

成功求解损失梯度后，要通过梯度下降的方法来更新我
pythonSuperman·2023-12-28 17:43

2019-10-06 梯度下降法Python实践——求函数的最小值

代码还是有很多地方需要完善的，需要近一步的学习importmath#使用梯度下降法求函数的最小值#f=exp(X^2+(y-2)^2)初始点为（1，1）#设计函数deffunction_one(x_input
小郑的学习笔记·2023-12-28 12:11

个人关于机器学习的周记之十一

在以前的周记我们谈到关于梯度下降算法，梯度下降是很常用的算法，它不仅被用在线性回归上和线性回归模型、平方误差代价函数。在这周，我们要将梯度下降和代价函数结合。
周围_5d19·2023-12-28 03:06

BP算法与淋浴器的温度调节

BP算法之所以能够训练神经网络，是因为它基于梯度下降的思想，通过最小化损失函数来优化网络参数。
人工智能教学实践·2023-12-27 19:37

机器学习——线性模型（二）

1、优化方法线性回归最小二乘法的两种求解方法(即优化方法)分别是正规方程和梯度下降。
风月雅颂·2023-12-27 18:04

特征工程——特征归一化

在现实生活中，我们需要处理的数据大部分的量纲都是不一样的，如果不做归一化的话就会会出现的问题是，不同量纲的数据在梯度下降过程中下降的速度是不一样的，但是如果数据都是同一量纲下的数据的话，找到最优解的迭代次数会少很多
乔大叶_803e·2023-12-26 20:13

详解Keras3.0 API: Optimizers(优化器)

在训练神经网络时，我们通常使用梯度下降法来更新参数，而优化器就是实现这一过程的工具。
缘起性空、·2023-12-26 12:30

机器学习笔记 八：Matlab实现神经网络的手写数字识别

OctaveCode需要解决的问题（3个）:1.数据加载及可视化1.1displayData.m2.参数加载3.基于前向传播算法计算代价4.正则化4.1nnCostFunction.m5.梯度下降函数5.1sigmoid.m5.2sigmoidGradient.m6
Amyniez·2023-12-26 08:20

统计学习方法笔记二---感知机(Perceptron Learning Algorithm,PLA)

目标/目的：求出将训练数据进行线性划分的分类超平面，为此导入误分类的损失函数，利用梯度下降法对损失函数进行最小化，求的感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始
爱科研的徐博士·2023-12-25 23:13

神经网络和深度学习(吴恩达) 第二周课程提炼

本篇主要是第二周课程中讲到的：二分分类、Logistic回归、损失函数、梯度下降、向量化。
北冥丶有鱼·2023-12-25 19:24

神经网络和深度学习（四）—反向传播工作原理

20012100032学院：竹园三号书院【嵌牛导读】简要介绍反向传播算法【嵌牛鼻子】深度学习神经网络反向传播算法【嵌牛提问】如何将反向传播算法应用到神经网络反向传播算法工作原理在上一篇文章，我们看到了神经网络如何通过梯度下降算法学习
吴丞楚20012100032·2023-12-25 08:28

PyTorch官网demo解读——第一个神经网络（3）

上一篇：PyTorch官网demo解读——第一个神经网络（2）-CSDN博客上一篇文章我们讲解了第一个神经网络的模型，这一篇我们来聊聊梯度下降。
骑猪等风·2023-12-25 06:30

优化算法2D可视化

为什么叫随机梯度下降算法呢？这里的随机是指每次迭代过程中，样本都要被随机打乱，这个也很容易理解，打乱是有效减小样本之间造
Simon52314·2023-12-24 18:04

【23-24 秋学期】NNDL 作业12 优化算法2D可视化

1.简要介绍图中的优化算法，编程实现并2D可视化SGD：随机梯度下降，每次迭代采集1个样本（随机）。AdaGrad算法：一种梯度下降法，是对批量梯度下降法的改进，但并不是对动量法的改进。
今天也是元气满满的一天呢·2023-12-24 18:31

梯度下降算法在Python中的详细解析及示例代码

梯度下降算法是一种常用的优化算法，用于在机器学习和深度学习中最小化损失函数。它通过迭代的方式找到损失函数的局部最小值点。在本篇文章中，我们将详细解析梯度下降算法的原理，并提供Python示例代码。
TechGlide·2023-12-24 17:32

梯度下降求解逻辑回归

需要数据集可以私信我为了便于展示结果，省去繁琐的复制粘贴，采用notebook截屏的方式，带来不便还请谅解。
UlissesJr·2023-12-23 22:10

神经网络：深度学习基础

1.反向传播算法（BP）的概念及简单推导反向传播（Backpropagation，BP）算法是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见算法。
是Dream呀·2023-12-23 20:38

共轭梯度法Matlab的实现

最近最优化课一直在讲共轭梯度，雅克比，梯度下降啊，课上没听太懂，就课下花了点时间好好学一下，在此记录一下。这篇博客主要介绍了共轭梯度的matlab实现，代码可以运行看到效果。
RDSunday·2023-12-23 18:23

【机器学习】【线性回归】梯度下降

文章目录@[toc]数据集实际值估计值估计误差代价函数学习率参数更新`Python`实现线性拟合结果代价结果数据集(x(i),y(i)),i=1,2,⋯ ,m\left(x^{(i)},y^{(i)}\right),i=1,2,\cdots,m(x(i),y(i)),i=1,2,⋯,m实际值y(i)y^{(i)}y(i)估计值hθ(x(i))=θ0+θ1x(i)h_{\theta}{\left(x
丷从心·2023-12-23 16:43

机器学习笔记（二）使用paddlepaddle，再探波士顿房价预测

目标用paddlepaddle来重写之前那个手写的梯度下降方案，简化内容流程实际上就做了几个事：数据准备：将一个批次的数据先转换成nparray格式，再转换成Tensor格式前向计算：将一个批次的样本数据灌入网络中
Leventure_轩先生·2023-12-23 16:52

强化学习--DQN

某种意义上来说，神经网络就是一个函数，只不过不同于一般的数值函数，它的输入输出都是向量，并且拥有可以学习的参数，这些参数可以通过梯度下降的方式来优化，从而使得神经网络能够逼近任意函数。
无盐薯片·2023-12-23 13:33

机器学习笔记（一）从波士顿房价预测开始，梯度下降

从波士顿房价开始目标其实这一章节比较简单，主要是概念，首先在波士顿房价这个问题中，我们假设了一组线性关系，也就是如图所示我们假定结果房价和这些参数之间有线性关系，即:然后我们假定这个函数的损失函数为均方差，即：那么就是说，我们现在是已知y和x，来求使得这个损失函数Loss最小化的一个w和b的组合读取数据点击查看代码defload_data():#从文件导入数据datafile='./work/ho
Leventure_轩先生·2023-12-23 09:37

机器学习优化器（公式+代码）

随机梯度下降（StochasticGradientDescent，SGD）随机梯度下降（StochasticGradientDescent，SGD）是一种常用的优化算法，用于训练机器学习模型。
New___dream·2023-12-23 06:59
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他