梯度下降

机器学习——向量化

对应的C++的向量化例子：线性回归算法梯度下降的更新规则的向量化梯度下降确定θ参数时，需要同时对所有的θ进行更新，θ的方程如上图所示，一般编程时可能需要写for循环，对所有的θ进行处理，如果是向量化的形式
BioLearner·2024-01-14 09:40

李沐《动手学深度学习》线性神经网络 线性回归

系列文章李沐《动手学深度学习》预备知识张量操作及数据处理李沐《动手学深度学习》预备知识线性代数及微积分目录系列文章一、线性回归（一）线性回归的基本元素（二）随机梯度下降（三）矢量化加速（实例化说明）（四
丁希希哇·2024-01-14 06:01

深度学习笔记（三）——NN网络基础概念（神经元模型，梯度下降，反向传播，张量处理）

文中程序以Tensorflow-2.6.0为例部分概念包含笔者个人理解，如有遗漏或错误，欢迎评论或私信指正。截图部分引用自北京大学机器学习公开课人工智能算法的主流分类首先明白一个概念，广义上的人工智能算法并不是只有MachineLearning或DeepLearning，而是一个相对的，能够使用计算机模拟人类智能在一定场景下自动实现一些功能。所以系统控制论中的很多最优控制算法同样可以称之为智能算法
絮沫·2024-01-14 00:39

UCB Data100：数据科学的原理和技巧：第十三章到第十五章

十三、梯度下降原文：GradientDescent译者：飞龙协议：CCBY-NC-SA4.0学习成果优化复杂模型识别直接微积分或几何论证无法帮助解决损失函数的情况应用梯度下降进行数值优化到目前为止，我们已经非常熟悉选择模型和相应损失函数的过程
绝不原创的飞龙·2024-01-13 20:26

贝叶斯优化的基本流程

1我们可以对()求导、令其一阶导数为0来求解其最小值函数()可微，且微分方程可以直接被求解2我们可以通过梯度下降等优化方法迭代出()的最小值函数()可微，且函数本身为凸函数3我们将全域的带入()计算出所有可能的结果
今天也要加油丫·2024-01-13 13:39

初始化网络的权重和偏置的方法有哪些？

一个好的初始化方法可以帮助加速梯度下降的收敛速度，减少训练时间，甚至有助于避免训练过程中的问题，比如梯度消失或梯度爆炸。
CA&AI-drugdesign·2024-01-13 06:46

逻辑回归（ROC、AUC、KS）-python实现-内含训练数据-测试数据

一、逻辑回归理论：关注代码上线HypothesisFunction（假设函数）：1.0/(1+exp(-inX))CostFunction（代价函数）：通过梯度下降法，求最小值。
HiBJTiger·2024-01-12 22:02

最小二乘法，极大似然估计，交叉熵

这个最小值找到了，就是相当于神经网络中和人脑中判断猫的模型最相近的那个结果了缺点：用这个作为损失函数非常麻烦，不适合梯度下降。
你若盛开，清风自来！·2024-01-12 21:38

【强化学习的数学原理-赵世钰】课程笔记（六）随机近似与随机梯度下降

.说明性实例（llustrativeexamples）3.收敛性分析（Convergenceanalysis）4.在平均值估计中的应用（Applicationtomeanestimation）四.随机梯度下降
leaf_leaves_leaf·2024-01-12 21:00

【深度学习】优化器介绍

文章目录前言一、梯度下降法（GradientDescent）二、动量优化器（Momentum）三、自适应学习率优化器前言深度学习优化器的主要作用是通过调整模型的参数，使模型在训练数据上能够更好地拟合目标函数
行走的学习机器·2024-01-12 15:32

易 AI - 机器学习计算机视觉基础

原文：http://makeoptim.com/deep-learning/yiai-cv计算机视觉表达黑白图灰度图彩色图操作卷积均值滤波归一化统一量纲加速模型训练梯度下降GPU浮点运算小结参考链接上一篇讲解了机器学习数据集的概念以及如何收集图片数据集
CatchZeng·2024-01-12 09:41

matlab的BP神经网络例子程序

1.BP神经网络的设计实例例1.采用动量梯度下降算法训练BP网络。
bluesky140·2024-01-11 20:30

【Machine Learning】Optimization

本笔记基于清华大学《机器学习》的课程讲义梯度下降相关部分，基本为笔者在考试前一两天所作的CheatSheet。内容较多，并不详细，主要作为复习和记忆的资料。
YiPeng_Deng·2024-01-11 15:30

Gradient Descent补充

1、AdaGrad在梯度下降法中，学习率的选择和调整是非常重要的，有时直接决定了训练的质量和收敛的速度。上图展示了学习率过大或过小会产生的问题。
单调不减·2024-01-11 06:15

AlexNet论文精读

使用SGD（随机梯度下降）来训练，每个batch128，动量为0.9，权重衰减为0.0005（防止过拟合，
warren@伟_·2024-01-11 02:02

机器学习-线性回归实践

目标：使用Sklearn、numpy模块实现展现数据预处理、线性拟合、得到拟合模型，展现预测值与目标值，展现梯度下降；一、导入模块importnumpyasnpnp.set_printoptions(precision
Visual code AlCv·2024-01-10 20:17

梯度下降法

前言：在均方差损失函数推导中，我使用到了梯度下降法来优化模型，即迭代优化线性模型中的和。现在进一步了解梯度下降法的含义以及具体用法。
Visual code AlCv·2024-01-10 20:46

矢量，矢量化的梯度下降以及多元线性回归

一、矢量定义：按照特定顺序排列的元素集合。可以被视为一维数组。在机器学习中的作用：特征表示：在机器学习任务中，输入数据通常以矢量的形式表示。例如，图像可以表示为像素值的矢量，文本可以表示为词向量的矢量。矢量工具可以用来处理和表示这些特征向量，以便机器学习模型能够对其进行处理和学习。模型参数表示：在机器学习模型中，参数通常以矢量的形式表示。例如，线性回归模型的参数可以表示为一个包含权重和偏置的矢量。
Visual code AlCv·2024-01-10 20:46

深度学习与Pytorch实战（二） 预测房价--线性回归

PyTorch实例：线性回归我们将实现一个线性回归模型，并用梯度下降算法求解该模型，从而给出预测曲线。
volcanical·2024-01-10 10:33

使用Scikit Learn 进行识别手写数字

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法机器学习(三
i阿极·2024-01-10 10:59

1.4.1机器学习——梯度下降+α学习率大小判定

1.4.1梯度下降4.1、梯度下降的概念※【总结一句话】：系统通过自动的调节参数w和b的值，得到最小的损失函数值J。如下：是梯度下降的概念图。
帅翰GG·2024-01-10 10:24

2.2.3机器学习—— 判定梯度下降是否收敛 + α学习率的选择

2.2.3判定梯度下降是否收敛+α学习率的选择2.1、判定梯度下降是否收敛有两种方法，如下图：方法一：如图，随着迭代次数的增加，J(W,b)损失函数不断下降当iterations=300之后，下降的就不太明显了
帅翰GG·2024-01-10 10:24

Softmax回归

目录1.Softmax回归的从零开始实现2.softmax回归的简洁实现对重新审视softmax的实现的思考：对交叉熵损失函数的思考：小批量随机梯度下降算法的理解：1.Softmax回归的从零开始实现importtorchfromIPythonimportdisplayfromd2limporttorchasd2l
sendmeasong_ying·2024-01-10 06:54

梯度下降和反向传播：能改

一、背景1.问题通过顶点坐标公式，求解出抛物线最低点的w坐标，得到了让误差代价最小的w。同样的，也通过算数说明了这种一步到位求解的方式固然是好，但是在输入特征过多、样本数量过大的时候，却非常消耗计算资源。2.思考抛物线最低点的寻找过程，其实不必一步到位，大可以采用一点点挪动的方式。通过在代价函数e与神经元的权重w图像上挪动w过程中发现，在最低点左侧，需要不断将w调大，在最低点右边，需要不断把w调小
一米阳光_Angel·2024-01-10 06:35

梯度下降法（Gradient Descent）

梯度下降法（GradientDescent）梯度下降法批量梯度下降法随机梯度下降法scikit-learn中的随机梯度下降法小批量梯度下降法梯度下降法梯度下降法，不是一个机器学习算法（既不是再做监督学习
Debroon·2024-01-10 03:23

凸优化 3：最优化方法

凸优化3：最优化方法最优化方法适用场景对比费马引理一阶优化算法梯度下降最速下降二阶优化算法牛顿法Hessian矩阵Hessian矩阵的逆Hessian矩阵和梯度的区别牛顿法和梯度下降法的区别拟牛顿法DFP
Debroon·2024-01-10 03:21

【ITK库学习】使用itk库进行图像分割（三）：分水岭分割算法

itkMorphologicalWatershedImageFilter形态学分水岭滤波器3、itkIsolatedWatershedImageFilter岛屿分水岭滤波器1、itkWaterShedImageFilter分水岭滤波器分水岭分割对图像特征基于梯度下降法和沿区域边界分析弱点将像素进行分类
leafpipi·2024-01-09 23:51

梯度下降 梯度消失 梯度爆炸 通俗易懂讲解对比

梯度下降、梯度消失和梯度爆炸都是深度学习中的重要概念，它们与神经网络的训练过程密切相关。下面我会尽量用通俗易懂的方式来解释这三个概念，并进行对比。
香至-人生万事须自为，跬步江山即寥廓。·2024-01-09 13:33

机器学模型 预训练模型 为什么要使用预训练模型呢？

这通常通过定义一个损失函数来衡量模型预测与真实目标之间的差距，并使用优化算法（如梯度下降）来调整模型参数，以最小化这个差距。
香至-人生万事须自为，跬步江山即寥廓。·2024-01-09 13:33

【机器学习：Stochastic gradient descent 随机梯度下降 】机器学习中随机梯度下降的理解和应用

【机器学习：随机梯度下降Stochasticgradientdescent】机器学习中随机梯度下降的理解和应用背景随机梯度下降的基本原理SGD的工作流程迭代方法示例：线性回归中的SGD历史主要应用扩展和变体隐式更新
jcfszxc·2024-01-09 09:49

卷积神经网络|迁移学习-猫狗分类完整代码实现

我们仍然按照这个步骤开始我们的模型的训练准备一个可迭代的数据集定义一个神经网络将数据集输入到神经网络进行处理计算损失通过梯度下降算法更新参数imp
霜溪·2024-01-09 09:10

强化学习的数学原理学习笔记 - 时序差分学习（Temporal Difference）

TDforactionvalues)BasicSarsa变体1：ExpectedSarsa变体2：n-stepSarsaQ-learing(TDforoptimalactionvalues)TD算法汇总*随机近似（SA）&随机梯度下降
Green Lv·2024-01-08 15:40

反向传播和梯度下降-1

反向传播是梯度下降的一种，许多教科书中通常互换使用这两个术语。首先，让我们探讨一下梯度。本质上，训练是对权重集的搜索，这将使神经网络对于训练集具有最小的误差。
人工智能教学实践·2024-01-08 14:48

反向传播与梯度下降

反向传播和梯度下降是两个关键步骤，用于计算并更新这些参数。反向传播是一种计算梯度的方法，它基于链式法则来计算每个参数对网络误差的贡献。
人工智能教学实践·2024-01-08 14:17

小白学习深度学习之（一）——线性回归

线性回归什么是回归线性模型损失函数解析解随机梯度下降矢量化加速从线性回归到深度网络神经网络图线性回归的简洁实现生成数据集读取数据集定义模型初始化模型参数定义损失函数定义优化算法训练什么是回归回归问题是能为一个或多个自变量与因变量之间关系建模的一类方法
维斯德尔·2024-01-08 12:10

神经网络中参数与超参数的区别是什么?

在训练过程中，通过反向传播和梯度下降等方法不断更新这些参数，以最小化损失函数。作用：参数直接决定了
CA&AI-drugdesign·2024-01-08 11:21

第二章 神经网络的数学基础

要理解深度学习，需要熟悉很多的数学概念：张量、张量运算、微分、梯度下降等。初始神经网络关于类和标签的说明在机器学习中，分类问题中某个类别称为类（class）。
庵下桃花仙·2024-01-08 10:50

2019-01-29 大数据处理学习

假设要训练一个线性回归模型或者是逻辑回归模型，当m是一个亿的时候，用求一亿个项目总和的计算量来计算仅仅一步的梯度下降，这显然效率不高。
奈何qiao·2024-01-08 10:55

优化器（一）torch.optim.SGD-随机梯度下降法

torch.optim.SGD-随机梯度下降法importtorchimporttorchvision.datasetsfromtorchimportnnfromtorch.utils.dataimportDataLoaderdataset
Cupid_BB·2024-01-08 07:29

pytorch集智-2单车预测器

控制曲线水平方向位移，w'控制曲线在y方向的幅度1.2多个人工神经元模型如下数学上可证，有限神经元绘制的曲线可以逼近任意有限区间内的曲线（闭区间连续函数有界）1.3模型与代码通过训练可得到逼近真实曲线的神经网络参数通过梯度下降法寻找局部最优
peter6768·2024-01-08 06:10

线性回归与神经网络的联系与区别：理解线性梯度反向传播

虽然它没有像深度神经网络那样多层结构，但它依然包含了输入层、输出层和可调参数（权重和偏置项），并且也需要使用梯度下降算法来训练模型。
Aitrainee·2024-01-07 22:35

【最优化方法】无约束优化问题（最速下降法、牛顿法、最小二乘）

该方法也被称为梯度下降法，是一种迭代的一阶优化算法。算法的基本思想是从当前点出发，沿着当前点的负梯度方向，以一定的步长（学习率）移动到新的点，重复这个过程直至达到停止条件。
撕得失败的标签·2024-01-07 20:00

深度学习

PyTorch初级教程PyTorch深度学习开发环境搭建全教程深度学习bug笔记深度学习基本理论1：（MLP/激活函数/softmax/损失函数/梯度/梯度下降/学习率/反向传播/深度学习面试）深度学习基本理论
机器学习杨卓越·2024-01-07 19:14

【BI&AI】lecture 3 - GD & BP & CNN & Hands-on

GD&BP&CNN&Hands-on专业术语gradientdescent(GD)梯度下降backpropagation(BP)向传播ConvolutionalNeuralNetwork(CNN)卷积神经网络
头发没了还会再长·2024-01-07 11:24

梯度下降法原理小结

二、梯度下降与梯度上升三、梯度下降算法详解1.梯度下降法的直观理解2.梯度下降法的相关概念3.梯度下降的详细算法4.梯度下降的算法调优四、梯度下降法大家族1.批量梯度下降法（BatchGradientDescent
笔写落去·2024-01-07 07:25

卷积神经网络|完整代码实现

通常，训练一个神经网络需要这些步骤：定义一个神经网络准备一个可迭代的数据集将数据集输入到神经网络进行处理计算损失通过梯度下降算法更新参数好吧，明白大致步骤之后，就可以简单实现一个神经网络，并训练这个神经网络
霜溪·2024-01-07 02:31

深度学习之矩阵形式的链式法则推导

深度学习之矩阵形式的链式法则推导对于深度学习的基础“梯度下降”和“自动微分”的数学原理网上讲解的博客有很多了，但是目前没看到有讲关于矩阵形式的链式法则的内容，所以写了这篇笔记，供自己学习和复习。
月见团子tsukimi·2024-01-06 12:09

PyTorch|transforms.Normalize

在训练时对图片数据进行归一化可以在梯度下降算法中更好的寻优，这是普遍认为的。那么PyTorch中的transforms.Normalize，究竟做了什么，这是应该知道的。
霜溪·2024-01-06 06:42

Pytorch之梯度下降算法

目录复习：线性模型：分治法:优化问题：梯度下降算法的难题：梯度下降算法的优势：求损失函数的过程：代码及运行结果如下：代码：运行结果：随机梯度下降：为什么要使用随机梯度下降算法:代码如下：运行结果如下：注意
丘小羽·2024-01-05 07:06

动手学深度学习(八) 优化算法进阶

因此，梯度下降也叫作最陡下降（steepestdescent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。
致Great·2024-01-05 00:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他