梯度

AlexNet论文精读

使用SGD（随机梯度下降）来训练，每个batch128，动量为0.9，权重衰减为0.0005（防止过拟合，
warren@伟_·2024-01-11 02:02

【机器视觉】机器视觉实验一——图像边缘检测

构建一个简单的基于梯度的边缘检测器，包括以下功能;function[mag,theta]=gradientMagnitude(im,sigma)此函数应将R
yuzhangfeng·2024-01-10 22:48

RayMarching2：给球加上光照

接上文：RayMarching1：用射线的方式画一个圆四、法线与光照如果对偏导或者梯度场有了解，那么对于一个规则的平面想要得到某一点的法线就不是难题考虑到第一节SDF函数，我们知道：对于刚好在当前表面上的点
Jaihk662·2024-01-10 20:51

机器学习-线性回归实践

目标：使用Sklearn、numpy模块实现展现数据预处理、线性拟合、得到拟合模型，展现预测值与目标值，展现梯度下降；一、导入模块importnumpyasnpnp.set_printoptions(precision
Visual code AlCv·2024-01-10 20:17

梯度下降法

前言：在均方差损失函数推导中，我使用到了梯度下降法来优化模型，即迭代优化线性模型中的和。现在进一步了解梯度下降法的含义以及具体用法。
Visual code AlCv·2024-01-10 20:46

矢量，矢量化的梯度下降以及多元线性回归

一、矢量定义：按照特定顺序排列的元素集合。可以被视为一维数组。在机器学习中的作用：特征表示：在机器学习任务中，输入数据通常以矢量的形式表示。例如，图像可以表示为像素值的矢量，文本可以表示为词向量的矢量。矢量工具可以用来处理和表示这些特征向量，以便机器学习模型能够对其进行处理和学习。模型参数表示：在机器学习模型中，参数通常以矢量的形式表示。例如，线性回归模型的参数可以表示为一个包含权重和偏置的矢量。
Visual code AlCv·2024-01-10 20:46

为什么说葡萄酒的知识博大精深？

您可以引入加号和减号来修改这些基本梯度。葡萄酒的香味和口味是一回事，当我们认为在品尝覆盆子的味道时，我们实际上只是闻到了覆盆子的味道。人类只尝甜味、咸味、苦味、酸味和鲜味。虽然这只
zuifeiyan·2024-01-10 16:53

高等数学第七版总结（同济大学版）

目录导数公式基本积分表一些初等函数两个重要极限三角函数公式诱导公式和差化角公式和差化积公式倍角公式半角公式正弦定理余弦定理反三角函数性质高阶导数公式——莱布尼兹（Leibniz）公式中值定理与导数应用曲率定积分的近似计算定积分应用相关公式空间解析几何和向量代数多元函数微分法及应用微分法在几何上的应用方向导数与梯度多元函数的极值及其求法重积分及其应用柱面坐标和球面坐标曲线积分与曲面积分曲线积分曲面积
是yu不是jin·2024-01-10 12:10

深度学习与Pytorch实战（二） 预测房价--线性回归

PyTorch实例：线性回归我们将实现一个线性回归模型，并用梯度下降算法求解该模型，从而给出预测曲线。
volcanical·2024-01-10 10:33

使用Scikit Learn 进行识别手写数字

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法机器学习(三
i阿极·2024-01-10 10:59

1.4.1机器学习——梯度下降+α学习率大小判定

1.4.1梯度下降4.1、梯度下降的概念※【总结一句话】：系统通过自动的调节参数w和b的值，得到最小的损失函数值J。如下：是梯度下降的概念图。
帅翰GG·2024-01-10 10:24

2.2.3机器学习—— 判定梯度下降是否收敛 + α学习率的选择

2.2.3判定梯度下降是否收敛+α学习率的选择2.1、判定梯度下降是否收敛有两种方法，如下图：方法一：如图，随着迭代次数的增加，J(W,b)损失函数不断下降当iterations=300之后，下降的就不太明显了
帅翰GG·2024-01-10 10:24

梯度提升决策树（Gradient Boosting Decision Trees，GBDT）

梯度提升决策树（GradientBoostingDecisionTrees，GBDT）提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一。
孤嶋·2024-01-10 08:08

Softmax回归

目录1.Softmax回归的从零开始实现2.softmax回归的简洁实现对重新审视softmax的实现的思考：对交叉熵损失函数的思考：小批量随机梯度下降算法的理解：1.Softmax回归的从零开始实现importtorchfromIPythonimportdisplayfromd2limporttorchasd2l
sendmeasong_ying·2024-01-10 06:54

李沐之数值稳定性+模型初始化和激活函数

目录1.数值稳定性1.1梯度爆炸1.2梯度消失2.模型初始化和激活函数2.1让训练更加稳定3.补充一点导数知识：1.数值稳定性层记为t,这里的y不是预测，还包括了损失函数，y是优化函数，不是预测的结果y
sendmeasong_ying·2024-01-10 06:54

09 Softmax回归+损失函数+图片分类数据集

绿色是似然函数，近似高斯分布，橙色是损失函数的梯度。L2损失函数的意义：当靠近原点的时候，梯度就
sendmeasong_ying·2024-01-10 06:53

梯度下降和反向传播：能改

一、背景1.问题通过顶点坐标公式，求解出抛物线最低点的w坐标，得到了让误差代价最小的w。同样的，也通过算数说明了这种一步到位求解的方式固然是好，但是在输入特征过多、样本数量过大的时候，却非常消耗计算资源。2.思考抛物线最低点的寻找过程，其实不必一步到位，大可以采用一点点挪动的方式。通过在代价函数e与神经元的权重w图像上挪动w过程中发现，在最低点左侧，需要不断将w调大，在最低点右边，需要不断把w调小
一米阳光_Angel·2024-01-10 06:35

AI量化策略 篇一：方向综述

文章目录简述特点传统AI方向循环神经网络(RNN)卷积神经网络(CNN)深度自回归网络（DeepAR）其他长短时记忆网络(LSTM)线性回归模型自回归模型（ARIMA,GARCH）随机森林（RandomForests）梯度提升决策树
李小白杂货铺·2024-01-10 04:08

梯度下降法（Gradient Descent）

梯度下降法（GradientDescent）梯度下降法批量梯度下降法随机梯度下降法scikit-learn中的随机梯度下降法小批量梯度下降法梯度下降法梯度下降法，不是一个机器学习算法（既不是再做监督学习
Debroon·2024-01-10 03:23

凸优化 3：最优化方法

凸优化3：最优化方法最优化方法适用场景对比费马引理一阶优化算法梯度下降最速下降二阶优化算法牛顿法Hessian矩阵Hessian矩阵的逆Hessian矩阵和梯度的区别牛顿法和梯度下降法的区别拟牛顿法DFP
Debroon·2024-01-10 03:21

分析transformer模型的参数量、计算量、中间激活、KV cache

难得一遇的好文，转载自https://zhuanlan.zhihu.com/p/624740065，先做个简单总结：训练时的参数量由以下模型参数、前向的中间激活、后向的梯度、优化器参数组成：模型参数假设
taoqick·2024-01-10 03:13

论文阅读：Bag of Tricks for Image Classification with Convolutional Neural Networks

用启发式的方法来解决Linearscalinglearningrate增大batch-size之后，梯度的期望不变，但是方差
涂山容容·2024-01-10 01:26

模型创建与nn.Module

nn.Parameter是一种特殊的张量，它被自动注册为模型的参数，可以进行梯度计算和优化。parameters属性是一个可迭代对象，可以通过遍历它来访问模型的所有参数。modu
-恰饭第一名-·2024-01-10 00:04

Sobel算子

图像梯度–Sobel算子dst=cv2.Sobel(src,ddepth,dx,dy,ksize)src:：表示图片的路径ddepth：表示图像的深度，一般取值为-1dx和dy分别表示水平和竖直方向，一般水平方向为
易水潇潇666·2024-01-09 23:53

HOG特征人体检测

1.引言HOG（HistogramofOrientedGradient），即方向梯度直方图。它通过计算和统计局部区域的梯度方向直方图来构成特征，一般与SVM分类器结合用于目标的图像识别。
lingllllove·2024-01-09 23:23

opencv入门到精通——图像梯度

目录目标理论1.Sobel和Scharr算子2.Laplacian算子代码一个重要事项目标在本章中，我们将学习：查找图像梯度，边缘等我们将看到以下函数：cv.Sobel()，cv.Scharr()，cv.Laplacian
陈子迩·2024-01-09 23:21

【ITK库学习】使用itk库进行图像分割（三）：分水岭分割算法

itkMorphologicalWatershedImageFilter形态学分水岭滤波器3、itkIsolatedWatershedImageFilter岛屿分水岭滤波器1、itkWaterShedImageFilter分水岭滤波器分水岭分割对图像特征基于梯度下降法和沿区域边界分析弱点将像素进行分类
leafpipi·2024-01-09 23:51

【YOLO系列】 YOLOv4之Mish函数

ReLU与Mish相比，Mish的梯度更平滑，有助于更好
江湖小张·2024-01-09 17:57

梯度下降 梯度消失 梯度爆炸 通俗易懂讲解对比

梯度下降、梯度消失和梯度爆炸都是深度学习中的重要概念，它们与神经网络的训练过程密切相关。下面我会尽量用通俗易懂的方式来解释这三个概念，并进行对比。
香至-人生万事须自为，跬步江山即寥廓。·2024-01-09 13:33

机器学模型 预训练模型 为什么要使用预训练模型呢？

这通常通过定义一个损失函数来衡量模型预测与真实目标之间的差距，并使用优化算法（如梯度下降）来调整模型参数，以最小化这个差距。
香至-人生万事须自为，跬步江山即寥廓。·2024-01-09 13:33

梯度、散度、旋度

目录梯度Gradient——Scalar->Vector散度Divergence——Vector->Scalar旋度Curl——Vector->Vector梯度Gradient——Scalar->Vector
挨代码·2024-01-09 13:31

【机器学习：Stochastic gradient descent 随机梯度下降 】机器学习中随机梯度下降的理解和应用

【机器学习：随机梯度下降Stochasticgradientdescent】机器学习中随机梯度下降的理解和应用背景随机梯度下降的基本原理SGD的工作流程迭代方法示例：线性回归中的SGD历史主要应用扩展和变体隐式更新
jcfszxc·2024-01-09 09:49

卷积神经网络|迁移学习-猫狗分类完整代码实现

我们仍然按照这个步骤开始我们的模型的训练准备一个可迭代的数据集定义一个神经网络将数据集输入到神经网络进行处理计算损失通过梯度下降算法更新参数imp
霜溪·2024-01-09 09:10

【python】神经网络

构建神经网络的典型流程1.定义一个拥有可学习参数的神经网络2.遍历训练数据集3.处理输入数据使其流经神经网络4.计算损失值5.将网络参数的梯度进行反向传播6.以一定的规则更新网络的权重卷积神经网络（pytorch
岩塘·2024-01-09 08:43

探索PyTorch优化和剪枝技术相关的api函数

torch.nn子模块Utilities解析clip_grad_norm_torch.nn.utils.clip_grad_norm_是PyTorch深度学习框架中的一个函数，它主要用于控制神经网络训练过程中的梯度爆炸问题
E寻数据·2024-01-09 07:06

MATLAB强化学习工具箱（十一）训练DDPG智能体控制飞行机器人

训练DDPG智能体控制飞行器飞行机器人模型创建集成模型动作与观察创建环境接口重置函数创建DDPG智能体训练智能体DDPG智能体仿真本示例说明如何训练深度确定性策略梯度（DDPG）智能体，并为飞行机器人生成轨迹
王莽v2·2024-01-09 01:46

MATLAB强化学习工具箱(三)-创建Simulink环境并训练智能体

使用强化学习深度确定性策略梯度（DDPG）智能体。水箱模型此示例的原始模型是水箱模型。目的是控制水箱中的水位。通过进行以下更改来修改原始模型：删除PID控制器。插入RLAgent块。
王莽v2·2024-01-09 01:16

ReLu函数中inplace参数的理解

例如：上面的代码中的意思v(x)进行relu之后赋值给x优点：节省内存缺点：进行梯度回归的时候传回失败，原来的变量被覆盖了，找不到原来的变量。
爱科研的瞌睡虫·2024-01-09 00:57

强化学习的数学原理学习笔记 - 策略梯度（Policy Gradient）

文章目录概览：RL方法分类策略梯度（PolicyGradient）BasicPolicyGradient目标函数1：平均状态值目标函数2：平均单步奖励PG梯度计算REINFORCE本系列文章介绍强化学习基础知识与经典算法原理
Green Lv·2024-01-09 00:24

Canny算法原理和应用

Canny算法的原理使用高斯滤波器滤波使用Sobel滤波器滤波获得在x和y方向上的输出，在此基础上求出梯度的强度和梯度的角度edge为边缘强度，tan为梯度方向上图表示的是中心点的梯度向量、方位角以及边缘方向
资料加载中·2024-01-08 20:43

【每日论文阅读】Do Perceptually Aligned Gradients Imply Robustness?

近似人眼梯度https://icml.cc/virtual/2023/oral/25482对抗性鲁棒分类器具有非鲁棒模型所没有的特征——感知对齐梯度（PAG）。
prinTao·2024-01-08 15:16

强化学习的数学原理学习笔记 - 时序差分学习（Temporal Difference）

TDforactionvalues)BasicSarsa变体1：ExpectedSarsa变体2：n-stepSarsaQ-learing(TDforoptimalactionvalues)TD算法汇总*随机近似（SA）&随机梯度下降
Green Lv·2024-01-08 15:40

反向传播

反向传播（Backpropagation）是一种用于训练神经网络的算法，它通过计算损失函数对网络中每个参数的梯度，从而更新参数以最小化损失函数。反向传播算法可以分为线性反向传播和非线性反向传播。
人工智能教学实践·2024-01-08 14:18

反向传播和梯度下降-1

反向传播是梯度下降的一种，许多教科书中通常互换使用这两个术语。首先，让我们探讨一下梯度。本质上，训练是对权重集的搜索，这将使神经网络对于训练集具有最小的误差。
人工智能教学实践·2024-01-08 14:48

反向传播与梯度下降

反向传播和梯度下降是两个关键步骤，用于计算并更新这些参数。反向传播是一种计算梯度的方法，它基于链式法则来计算每个参数对网络误差的贡献。
人工智能教学实践·2024-01-08 14:17

李宏毅机器学习第一周_初识机器学习

利用Linearmodel二、定义更复杂的函数表达式三、ReLU函数四、Sigmoid函数与ReLU函数的对比三、反向传播(Backpropagation)一、反向传播的基本思想(正向计算-误差计算-梯度计算
Nyctophiliaa·2024-01-08 14:04

小白学习深度学习之（一）——线性回归

线性回归什么是回归线性模型损失函数解析解随机梯度下降矢量化加速从线性回归到深度网络神经网络图线性回归的简洁实现生成数据集读取数据集定义模型初始化模型参数定义损失函数定义优化算法训练什么是回归回归问题是能为一个或多个自变量与因变量之间关系建模的一类方法
维斯德尔·2024-01-08 12:10

神经网络中参数与超参数的区别是什么?

在训练过程中，通过反向传播和梯度下降等方法不断更新这些参数，以最小化损失函数。作用：参数直接决定了
CA&AI-drugdesign·2024-01-08 11:21

第二章 神经网络的数学基础

要理解深度学习，需要熟悉很多的数学概念：张量、张量运算、微分、梯度下降等。初始神经网络关于类和标签的说明在机器学习中，分类问题中某个类别称为类（class）。
庵下桃花仙·2024-01-08 10:50

2019-01-29 大数据处理学习

假设要训练一个线性回归模型或者是逻辑回归模型，当m是一个亿的时候，用求一亿个项目总和的计算量来计算仅仅一步的梯度下降，这显然效率不高。
奈何qiao·2024-01-08 10:55
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他