小批量梯度下降

机器学习之BP神经网络精讲（Backpropagation Neural Network（附案例代码））

这种网络结构包含输入层、隐藏层和输出层，使用梯度下降算法来优化权重。
贾斯汀玛尔斯·2023-12-30 05:33

cs224n-笔记-lecture01-wordvecs

目录人类语言和词语含义词向量Word2Vec语言模型介绍优化方法：梯度下降法人类语言和词语含义1.如何表示一个词定义词语的meaning：用单词、词组表示概念用单词、符号表达观点通过写作、艺术表达内容.
AugBoost·2023-12-30 03:37

感知机

为了求这个超平面需要用到基于误分类的损失函数和梯度下降的优化策略。
将_4c15·2023-12-29 15:15

机器学习中常用的矩阵公式

模型学习的过程是求使得loss函数L(f(x),y)最小的参数，这是一个优化问题，一般采用和梯度相关的最优化方法，如梯度下降。一、矩阵迹的定义矩阵的迹：就是矩阵的主对角线上所有元素的和。
ᝰꫛꪮꪮꫜ hm·2023-12-29 11:38

梯度下降的直观理解

欢迎关注公众号：数据运营入表资产化服务获取更多算法源码材料2023数据资源入表白皮书，推荐系统源码下载-CSDN博客用友BIP数据资产入表解决方案白皮书，推荐系统源码下载-CSDN博客梯度下降的场景假设梯度下降法的基本思想可以类比为一个下山的过程
Michael_Shentu·2023-12-29 11:03

模型优化方法

在构建完模型后，通过一下几种步骤进行模型优化训练过程优化器随机梯度下降（SGD）优点：（1）每次只用一个样本更新模型参数，训练速度快（2）随机梯度下降所带来的波动有利于优化的方向从当前的局部极小值点跳到另一个更好的局部极小值点
alstonlou·2023-12-28 23:12

卷积神经网络 反向传播

成功求解损失梯度后，要通过梯度下降的方法来更新我
pythonSuperman·2023-12-28 17:43

2019-10-06 梯度下降法Python实践——求函数的最小值

代码还是有很多地方需要完善的，需要近一步的学习importmath#使用梯度下降法求函数的最小值#f=exp(X^2+(y-2)^2)初始点为（1，1）#设计函数deffunction_one(x_input
小郑的学习笔记·2023-12-28 12:11

大模型的实践应用14-大语言模型的分布式训练并行策略，(数据、模型、张量)并行的原理介绍

数据并行是指将训练数据划分为多个小批量，然后将这些小批量分配给不同的计算设备进行并行处理。
微学AI·2023-12-28 11:12

个人关于机器学习的周记之十一

在以前的周记我们谈到关于梯度下降算法，梯度下降是很常用的算法，它不仅被用在线性回归上和线性回归模型、平方误差代价函数。在这周，我们要将梯度下降和代价函数结合。
周围_5d19·2023-12-28 03:06

linux运维的面试题一

1.小批量设备，使用U盘安装（调整bios参数从U盘启动）2.大批量设备搭建PXE装机系统，从网络批量安装（调整网络启动项，从网络启动）3.进程和线
藻头男·2023-12-27 21:15

BP算法与淋浴器的温度调节

BP算法之所以能够训练神经网络，是因为它基于梯度下降的思想，通过最小化损失函数来优化网络参数。
人工智能教学实践·2023-12-27 19:37

机器学习——线性模型（二）

1、优化方法线性回归最小二乘法的两种求解方法(即优化方法)分别是正规方程和梯度下降。
风月雅颂·2023-12-27 18:04

特征工程——特征归一化

在现实生活中，我们需要处理的数据大部分的量纲都是不一样的，如果不做归一化的话就会会出现的问题是，不同量纲的数据在梯度下降过程中下降的速度是不一样的，但是如果数据都是同一量纲下的数据的话，找到最优解的迭代次数会少很多
乔大叶_803e·2023-12-26 20:13

详解Keras3.0 API: Optimizers(优化器)

在训练神经网络时，我们通常使用梯度下降法来更新参数，而优化器就是实现这一过程的工具。
缘起性空、·2023-12-26 12:30

机器学习笔记 八：Matlab实现神经网络的手写数字识别

OctaveCode需要解决的问题（3个）:1.数据加载及可视化1.1displayData.m2.参数加载3.基于前向传播算法计算代价4.正则化4.1nnCostFunction.m5.梯度下降函数5.1sigmoid.m5.2sigmoidGradient.m6
Amyniez·2023-12-26 08:20

统计学习方法笔记二---感知机(Perceptron Learning Algorithm,PLA)

目标/目的：求出将训练数据进行线性划分的分类超平面，为此导入误分类的损失函数，利用梯度下降法对损失函数进行最小化，求的感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始
爱科研的徐博士·2023-12-25 23:13

神经网络和深度学习(吴恩达) 第二周课程提炼

本篇主要是第二周课程中讲到的：二分分类、Logistic回归、损失函数、梯度下降、向量化。
北冥丶有鱼·2023-12-25 19:24

神经网络和深度学习（四）—反向传播工作原理

20012100032学院：竹园三号书院【嵌牛导读】简要介绍反向传播算法【嵌牛鼻子】深度学习神经网络反向传播算法【嵌牛提问】如何将反向传播算法应用到神经网络反向传播算法工作原理在上一篇文章，我们看到了神经网络如何通过梯度下降算法学习
吴丞楚20012100032·2023-12-25 08:28

PyTorch官网demo解读——第一个神经网络（3）

上一篇：PyTorch官网demo解读——第一个神经网络（2）-CSDN博客上一篇文章我们讲解了第一个神经网络的模型，这一篇我们来聊聊梯度下降。
骑猪等风·2023-12-25 06:30

人生任意门，不如创业去，中小企业如何策划上市？

第二，采取多品种小批量的进货策略，避免占用资金太多，找到最盈利产品后，再逐步放弃销路不畅的产品，这就是考验资金周转能力。第三，创业者应该能够看懂资产负债表和损益表，重视关注现金流，就是
去图书馆好运来·2023-12-25 02:21

优化算法2D可视化

为什么叫随机梯度下降算法呢？这里的随机是指每次迭代过程中，样本都要被随机打乱，这个也很容易理解，打乱是有效减小样本之间造
Simon52314·2023-12-24 18:04

【23-24 秋学期】NNDL 作业12 优化算法2D可视化

1.简要介绍图中的优化算法，编程实现并2D可视化SGD：随机梯度下降，每次迭代采集1个样本（随机）。AdaGrad算法：一种梯度下降法，是对批量梯度下降法的改进，但并不是对动量法的改进。
今天也是元气满满的一天呢·2023-12-24 18:31

梯度下降算法在Python中的详细解析及示例代码

梯度下降算法是一种常用的优化算法，用于在机器学习和深度学习中最小化损失函数。它通过迭代的方式找到损失函数的局部最小值点。在本篇文章中，我们将详细解析梯度下降算法的原理，并提供Python示例代码。
TechGlide·2023-12-24 17:32

梯度下降求解逻辑回归

需要数据集可以私信我为了便于展示结果，省去繁琐的复制粘贴，采用notebook截屏的方式，带来不便还请谅解。
UlissesJr·2023-12-23 22:10

神经网络：深度学习基础

1.反向传播算法（BP）的概念及简单推导反向传播（Backpropagation，BP）算法是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见算法。
是Dream呀·2023-12-23 20:38

共轭梯度法Matlab的实现

最近最优化课一直在讲共轭梯度，雅克比，梯度下降啊，课上没听太懂，就课下花了点时间好好学一下，在此记录一下。这篇博客主要介绍了共轭梯度的matlab实现，代码可以运行看到效果。
RDSunday·2023-12-23 18:23

【机器学习】【线性回归】梯度下降

文章目录@[toc]数据集实际值估计值估计误差代价函数学习率参数更新`Python`实现线性拟合结果代价结果数据集(x(i),y(i)),i=1,2,⋯ ,m\left(x^{(i)},y^{(i)}\right),i=1,2,\cdots,m(x(i),y(i)),i=1,2,⋯,m实际值y(i)y^{(i)}y(i)估计值hθ(x(i))=θ0+θ1x(i)h_{\theta}{\left(x
丷从心·2023-12-23 16:43

机器学习笔记（二）使用paddlepaddle，再探波士顿房价预测

目标用paddlepaddle来重写之前那个手写的梯度下降方案，简化内容流程实际上就做了几个事：数据准备：将一个批次的数据先转换成nparray格式，再转换成Tensor格式前向计算：将一个批次的样本数据灌入网络中
Leventure_轩先生·2023-12-23 16:52

强化学习--DQN

某种意义上来说，神经网络就是一个函数，只不过不同于一般的数值函数，它的输入输出都是向量，并且拥有可以学习的参数，这些参数可以通过梯度下降的方式来优化，从而使得神经网络能够逼近任意函数。
无盐薯片·2023-12-23 13:33

机器学习笔记（一）从波士顿房价预测开始，梯度下降

从波士顿房价开始目标其实这一章节比较简单，主要是概念，首先在波士顿房价这个问题中，我们假设了一组线性关系，也就是如图所示我们假定结果房价和这些参数之间有线性关系，即:然后我们假定这个函数的损失函数为均方差，即：那么就是说，我们现在是已知y和x，来求使得这个损失函数Loss最小化的一个w和b的组合读取数据点击查看代码defload_data():#从文件导入数据datafile='./work/ho
Leventure_轩先生·2023-12-23 09:37

机器学习优化器（公式+代码）

随机梯度下降（StochasticGradientDescent，SGD）随机梯度下降（StochasticGradientDescent，SGD）是一种常用的优化算法，用于训练机器学习模型。
New___dream·2023-12-23 06:59

逻辑回归模型中特征是否需要归一化？

从反向过程来看：逻辑回归模型的参数优化一般采用了梯度下降法，如果不对特征进行归一化，可能会使得损失函数值得等高线呈椭球形，这样花费更多的迭代步数才能到达最优解。
不会念经的木鱼仔·2023-12-23 03:46

网络优化与正则化

引言网络优化高维变量的非凸优化神经网络优化的改善方法优化算法梯度下降法小批量梯度下降批量大小选择学习率调整AdaGrad算法RMSprop算法AdaDelta梯度修正估计动量法Nesterov加速梯度Adam
guanyue.space·2023-12-23 02:49

梯度下降（GD）

一、梯度下降算法概述1、介绍梯度下降法（gradientdescent），又名最速下降法（steepestdescent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量
王荣胜z·2023-12-22 23:53

第八章 使用matplotlib绘制高级图表

常见于山谷，山峰或梯度下降算法的场景。等高线图包含3个主要的信息，分别为坐标点的x值，y值及高度。
笔触狂放·2023-12-22 21:27

激活函数\梯度下降\损失函数

一个痛心疾首的发现：这些知识不管学多少遍还是会忘记……为了加深印象，再再再再看一遍并记录下来。一、激活函数激活函数是每一层神经网络之后用的非线性函数，因为神经网络本身是线型的，利用激活函数可以使之实现非线性。激活函数主要有四个:sigmoid,tanh,RELU,LeakyRELU.还有一位博主将softmax也加了进来。也有一定的道理，因为这五个小兄弟都是将一个维的向量映射为另一个维的向量。接下
阮恒·2023-12-22 18:49

可能是全网最详细的线性回归原理讲解！！！

用梯度下降慢慢逼近这个最小值点本文图片来源于可能是全网最详细的线性回归原理讲解！！！_哔哩哔哩_bilibili可以结合视频来学习，本文是一个图片教程，有错误欢迎大家指正，多多交流！
你若盛开，清风自来！·2023-12-22 15:56

损失函数中正则化中的平方项的作用！！

在损失函数中添加正则化项时，通常会使用平方项作为正则化项，原因主要有以下几点：平方项可以方便地进行梯度下降优化。在计算梯度时，平
小桥流水---人工智能·2023-12-22 09:42

100天搞定机器学习|day37 无公式理解反向传播算法之精髓

image100天搞定机器学习（Day1-34）image100天搞定机器学习|Day35深度学习之神经网络的结构image100天搞定机器学习|Day36深度学习之梯度下降算法本篇为100天搞定机器学习之第
统计学家·2023-12-22 00:57

支持向量机SVM介绍——基于机器学习_周志华

首先从生物学神经元出发，引出了它的数学抽象模型–MP神经元以及由两层神经元组成的感知机模型，并基于梯度下降的方法描述了感知机模型的权值调整规则。
Pandy Bright·2023-12-21 22:47

机器学习--线性回归

目录监督学习算法线性回归损失函数梯度下降目标函数更新参数批量梯度下降随机梯度下降小批量梯度下降法数据预处理特征标准化正弦函数特征多项式特征的函数数据预处理步骤线性回归代码实现初始化步骤实现梯度下降优化模块损失与预测模块完整代码单变量线性回归实例加载数据并划分数据集训练线性回归模型得到损失函数图像测试阶段多特征回归实例非线性回归实例监督学习算法监督学习算法是一种通过学习输入数据和相应的标签之间的关系
llovew.·2023-12-21 12:45

神经网络：优化器和全连接层

SGD（随机梯度下降）随机梯度下降的优化算法在科研和工业界是很常用的。很多理论和工程问题都能转化成对目标函数进行最小化的数学问题。
是Dream呀·2023-12-21 11:08

Pytorch：backward()函数详解

在深度学习中，我们通常使用梯度下降算法来更新模型参数，使得模型能够逐步逼近最优解。在梯度下降算法中，我们需要计算损失函数关于模型参数的梯度，以便确定参数更新的方向和大小。
北方骑马的萝卜·2023-12-21 08:52

机器学习之逻辑回归，一文掌握逻辑回归算法知识文集

欢迎点赞✍评论⭐收藏文章目录人工智能(逻辑回归算法)一、逻辑回归算法知识01.梯度下降法（GradientDescent）1.1什么是梯度下降法？1.2梯度下降法的具体步骤和算法公式？
普修罗双战士·2023-12-21 07:48

梯度下降法

一、梯度下降法的基本概念梯度下降法是一种常用的优化算法，用于求解最小化目标函数的问题。在机器学习和深度学习中，梯度下降法被广泛应用于求解模型参数的优化问题，例如线性回归、逻辑回归、神经网络等。
调钟师·2023-12-21 01:32

大模型的魔法

momentum是梯度下降法中一种常用的加速技术。对于一
YingJingh·2023-12-21 01:29

【Matlab算法】随机梯度下降法 (Stochastic Gradient Descent，SGD) （附MATLAB完整代码）

随机梯度下降法前言正文代码实现可运行代码结果前言随机梯度下降法(StochasticGradientDescent，SGD)是一种梯度下降法的变种，用于优化损失函数并更新模型参数。
Albert_Lsk·2023-12-20 21:02

大数据机器学习：从理论到实战，探索学习率的调整策略

大数据机器学习：从理论到实战，探索学习率的调整策略全文目录大数据机器学习：从理论到实战，探索学习率的调整策略一、引言二、学习率基础定义与解释学习率与梯度下降学习率对模型性能的影响三、学习率调整策略常量学习率时间衰减自适应学习率
星川皆无恙·2023-12-20 18:43

MNIST手写数字识别——simple model Y = XW + b

文章目录数据处理MINIST手写数字数据集简单介绍一下数据集将数据集转化为csv文件简单的手写数字识别模型加载数据集定义模型和超参数前向传播sigmoid激活函数softmax函数交叉熵损失函数反向传播梯度下降法链式法则
涵涵不是憨憨~·2023-12-20 18:30
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他