梯度算子第2页

深度学习常见优化器

一、基础优化器随机梯度下降（SGD）•核心：∇θJ(θ)=η*∇θJ(θ)•特点：学习率固定，收敛路径震荡大•适用场景：简单凸优化问题•改进方向：动量加速二、动量系优化器2.SGDwithMomentum

Humingway·2025-03-14 07:13

深度学习中常用的优化器

梯度下降是优化神经网络的首选方法。

无能者狂怒·2025-03-14 04:16

67-OpenCVSharp 创建实现Halcon的tile_images_offset算子（用于图像拼接，对每张图像设置偏移量）

以下是基于OpenCvSharp实现的Halcontile_images_offset算子的高性能函数。该函数不仅支持图像拼接，还允许对每张图像设置偏移量（offset），以灵活布局图像。

搬码驿站·2025-03-13 17:39

模型训练和推理

训练时需要梯度，推理时不需要怎么理解“梯度”？

一杯水果茶！·2025-03-13 12:02

【梯度下降算法】

梯度下降算法：第一章梯度下降的历史沿革1.1优化方法的演进脉络从17世纪牛顿时代的数值解法，到20世纪最优控制理论的发展，直至现代机器学习对优化算法的特殊需求，梯度下降算法在数学优化史上占据重要地位。

蝉叫醒了夏天·2025-03-13 12:01

onnx处理和TensorRT量化推理相关代码工具

一.说明在模型量化过程中，经常要使用一些工具对onnx或者量化后的模型（这里以TensorRT为例）进行推理，往往需要一些处理工具，比如：拆分或者合并onnx；修改onnx中的量算子QuantizeLinear

天亮换季·2025-03-13 12:26

分布式并行策略概述

每个副本完成自己批次的前向和反向传播计算后，梯度被汇总并同步更新到所有模型副本。优势：易于实现和扩展。可以显著减少训练时间，尤其是当模型较小，而数据集较大时。

灵海之森·2025-03-13 10:11

计算机视觉图像处理面试笔试题整理——边缘检测

目录1.边缘检测综述2.Roberts算子3.Prewitt算子4.Sobel算子5.Laplace算子6.Canny1.边缘检测综述边缘检测是图像处理和计算机视觉中，尤其是特征提取中的一个研究领域。

fpga和matlab·2025-03-12 09:18

梯度提升决策树（GBDT）

GBDT（GradientBoostingDecisionTree），全名叫梯度提升决策树，是一种迭代的决策树算法，又叫MART（MultipleAdditiveRegressionTree），它通过构造一组弱的学习器

binggorun·2025-03-12 09:18

量子计算基础数学

文章目录前言一、向量表示和向量运算向量的表示向量的运算二、线性算子和矩阵线性算子几个简单的常用算子三、特征值和特征向量谱分解（SpecialDecomposition）谱分解的作用四、张量积与迹向量的张量积矩阵的张量积张量积操作规则迹

诸葛思颖·2025-03-12 05:48

RDD 行动算子

行动算子会触发实际的计算并返回结果或执行某些操作。以下是Scala中常见的RDD行动算子：1.collect()将RDD中的所有数据收集到驱动程序中，并返回一个数组。

阿强77·2025-03-12 03:02

【TVM教程】为 Mobile GPU 自动调优卷积网络

TVM中MobileGPU的算子实现是以template形式编写的。该template有许多可调参数（tile因子

·2025-03-11 19:35

深度学习训练中GPU内存管理

文章目录概述常见问题1、设备选择和数据迁移2、显存监控函数3、显存释放函数4、自适应batchsize调节5、梯度累积概述在深度学习模型训练中，主流GPU显存通常为8GB~80GB，内存不足会导致训练中断或

@Mr_LiuYang·2025-03-11 19:24

《Natural Actor-Critic》译读笔记

Theactor的更新通过使用Amari的自然梯度方法进行策略梯度的随机估计来实现，而评论家则通过线性回归同时获得自然策略梯度和价值函数的附加参数。

songyuc·2025-03-11 11:21

基于PyTorch的深度学习——机器学习3

如果搭建的神经网络层数不多，选择sigmoid、tanh、relu、softmax都可以；而如果搭建的网络层次较多，那就需要小心，选择不当就可导致梯度消失问题。

Wis4e·2025-03-11 07:47

神经网络中梯度计算求和公式求导问题

以下是公式一推导出公式二的过程。表达式一∂E∂wjk=−2(tk−ok)⋅sigmoid(∑jwjk⋅oj)⋅(1−sigmoid(∑jwjk⋅oj))⋅∂∂wjk(∑jwjk⋅oj)\frac{\partialE}{\partialw_{jk}}=-2(t_k-o_k)\cdot\text{sigmoid}\left(\sum_jw_{jk}\cdoto_j\right)\cdot(1-\tex

serve the people·2025-03-11 06:09

XGBClassifiler函数介绍

XGBoost是一种高效且灵活的梯度提升决策树（GBDT）实现，它在多种机器学习竞赛中表现出色，尤其擅长处理表格数据。

浊酒南街·2025-03-11 05:32

【深度学习】Adam（Adaptive Moment Estimation）优化算法

通过动态调整每个参数的学习率，在非平稳目标（如深度神经网络的损失函数）中表现优异目录基本原理和公式笼统说明：为什么Adam算法可以帮助模型找到更好的参数基本概念动量（Momentum）：跟踪梯度的指数衰减平均

辰尘_星启·2025-03-10 20:51

深度学习笔记——Resnet和迁移学习

然而，随着网络深度的增加，一些问题也随之出现，最突出的是梯度消失/爆炸问题。这使得深层网络难以训练。梯度消失：梯度消失是指在训练深度神经网络时，通过多层传递的梯度(误差)变得非常小，接近于零。

肆——·2025-03-10 15:17

基于PyTorch的深度学习4——使用numpy实现机器学习vs使用Tensor及Antograd实现机器学习

最后，采用梯度梯度下降法，通过多次迭代，学习到w、b的值。以下为具体步骤：1)导入需要的库。

Wis4e·2025-03-10 09:09

Pytorch 第九回：卷积神经网络——ResNet模型

该模型是基于解决因网络加深而出现的梯度消失和网络退化而进行设计的。接下来给大家分享具体思路。

Start_Present·2025-03-10 09:05

PyTorch 学习路线

机器学习基础：理解神经网络、损失函数、优化器（如梯度下降）等概念。学习资源Python入门：Python官方教程机器学习基础

gorgor在码农·2025-03-09 22:07

PyTorch：Python深度学习框架使用详解

自动微分：自动计算梯度，简化了机器学习模型的训练过程。丰富的API：提供了丰富的神经网络层、函数和损失函数。跨平

零度°·2025-03-09 21:25

搜广推校招面经三十八

二、Transformer中对梯度消失或者梯度爆炸的处理在Transformer模型中，梯度消失和梯度爆炸是深度学习中常见的问题，尤其是在处理长序列数据时。

Y1nhl·2025-03-09 12:45

OpenCV计算摄影学（16）调整图像光照效果函数illuminationChange()

操作系统：ubuntu22.04OpenCV版本：OpenCV4.9IDE:VisualStudioCode编程语言：C++11算法描述对选定区域内的梯度场应用适当的非线性变换，然后通过泊松求解器重新积分

村北头的码农·2025-03-09 09:23

tensorflow keras 报错：No gradients provided for any variable 原因与解决办法

错误分析Nogradientsprovidedforanyvariable这个意思是没有梯度给已知的所有函数，为什么会出现这个错误呢，因为在深度学习中，梯度的更新是由于反向传播算法的实现的，如果损失函数没有与已知的任何

研志必有功·2025-03-09 06:26

图像处理篇---opencv中的图像特征

优点5.缺点二、形状特征：Hu矩1.Hu矩简介2.Hu矩计算步骤3.OpenCV实现4.优点5.缺点三、其他可用于传统机器学习的特征1.颜色特征颜色直方图颜色矩2.边缘特征Canny边缘检测HOG（方向梯度直方图

Ronin-Lotus·2025-03-08 19:35

python前闭后开_opencv 形态学变换(开运算，闭运算，梯度运算)

形态学里把腐蚀和膨胀单独拿了出来，其他操作(保括膨胀和腐蚀的组合操作)都叫形态学变换。opencv里有包：cv2.morphologyEx()morphology：译文形态学使用python+opencv讲解开运算开运算：对图像先进行腐蚀，然后对腐蚀后的图进行膨胀morphologyEx运算结果=cv2.morphologyEx(源图像img,cv2.MORPH_OPEN,卷积核k)cv2.MOR

weixin_39814126·2025-03-08 05:09

特征缩放：统一量纲，提高模型性能

这种量纲不统一会给许多机器学习算法（如梯度下降）带来问题，导致收敛速度慢、模型性能差等。特征缩放（FeatureScaling）就是一种用于解决这个问题的常用数据预处理

AI天才研究院·2025-03-08 03:04

01计算机视觉学习计划

基础夯实✅目标：掌握数学基础、Python/C++编程、基本图像处理1️⃣数学基础（2周）每日2小时线性代数：矩阵运算、特征值分解（推荐《线性代数及其应用》）概率统计：高斯分布、贝叶斯定理微积分：偏导数、梯度下降傅里叶变换

依旧阳光的老码农·2025-03-07 20:15

flink分发策略详解

一、分发策略核心逻辑与分类Flink的数据分发策略决定了数据在算子间上下游的传输方式，直接影响作业的并行度利用、负载均衡、网络开销。

24k小善·2025-03-07 18:53

第37篇Personalized Federated Learning: A Meta-Learning Approach（perfedavg联邦学习+元学习）2020个性化联邦学习使用Hessian

通过寻找一个初始共享模型，让用户基于自身数据执行少量梯度下降步骤就能快速适应

还不秃顶的计科生·2025-03-07 17:44

2021年7月初，深圳TPlink图像算法工程师面试题分享

梯度爆炸和梯度消失现象也得到了一些缓解（我自己加上去的）。bat

niuyunpang·2025-03-07 11:16

C#+Halcon 垂直拼接/裁切避免频繁开辟内存

单单单单点·2025-03-07 04:45

深度学习_第二轮

在计算损失函数的梯度（即关于权重的偏导数）时，需要考虑整个数据集中的所有样本。对于每个样本((x_i),(y_i))，我们计算其对损失函数的贡献，并通过求和或平均这些贡献

Humingway·2025-03-06 22:16

对深度学习中的基本概念—梯度的理解

本文讨论一下对“梯度”的理解。“梯度”是深度学习中基本又非常核心的概念，没有它就没有人工智能的今天。

Humingway·2025-03-06 22:15

遗传算法基础讲解

无需梯度信息：对目标函数的数学性质要求低，适合黑箱优化。全局搜索能力：通过种群并行搜索，避免陷入局部最优，适合多维优化。

HH予·2025-03-06 18:42

图像识别技术与应用课后总结（14）

常用的优化算法如梯度

一元钱面包·2025-03-06 12:15

8.1 从28GB到7GB！大模型显存暴降4倍的量化实战指南

以LLaMA-7B模型为例，其参数规模为70亿（7B），若使用FP32（32位浮点数）存储，单参数占用4字节，总显存需求为：7B×4Bytes=28GB实际场景中，模型训练还需额外存储梯度（Gradients

少林码僧·2025-03-06 11:42

INA(In-Network Aggregation)技术

核心原理在传统分布式训练中，计算节点（如GPU）需要将本地计算的梯度或中间结果发送到中心节点（如参数服务器）进行聚合，这会产生大量的网络传输。In-NetworkAggregation则是通过可编

一只积极向上的小咸鱼·2025-03-06 01:22

征程 6 工具链 BEVPoolV2 算子使用教程 1 - BEVPoolV2 算子详解

1.引言当前，地平线征程6工具链已经全面支持了BEVPoolingV2算子，并与mmdetection3d的实现完成了精准对齐。

·2025-03-06 00:03

13-Halcon-- segment_contours_xld函数功能（用于将连续的亚像素轮廓（XLD）分割为直线段、圆弧或混合形状的局部片段）

Halcon中segment_contours_xld算子详解1.核心功能segment_contours_xld用于将连续的亚像素轮廓（XLD）分割为直线段、圆弧或混合形状的局部片段。

搬码驿站·2025-03-05 15:27

大模型训练内存预估计算方法

671B参数总显存≈6710亿×2字节≈1,342GB实际训练时需额外存储梯度、优化器

junjunzai123·2025-03-05 13:29

Python | Pytorch | Tensor知识点总结

如是我闻：Tensor是我们接触Pytorch了解到的第一个概念，这里是一个关于PyTorchTensor主题的知识点总结，涵盖了Tensor的基本概念、创建方式、运算操作、梯度计算和GPU加速等内容。

漂亮_大男孩·2025-03-05 08:27

Flink keyBy 算子源码与设计理念分析

今天我们来探究一下Flink使用keyBy算子的时候到底发生了什么，看完这篇文章，你会豁然开朗。

·2025-03-05 03:27

大语言模型原理与工程实践：大语言模型推理工程推理加速：算子优化

1.背景介绍近年来，大语言模型（LargeLanguageModel，LLM）在自然语言处理（NLP）领域取得了显著的进展。其中，推理（Inference）过程是大语言模型的核心环节之一。然而，随着模型规模的不断扩大，推理过程中的计算复杂度和延时也逐渐成为制约模型应用的重要因素。因此，如何实现大语言模型推理工程的推理加速，成为研究者和工程师迫切需要解决的问题。2.核心概念与联系在本文中，我们将深入

AI天才研究院·2025-03-04 22:32

规控算法工程师的技术图谱和学习路径

微积分：梯度下降、泰勒展开、动态系统建模（支持控制算法推导）。概率论与统计学：贝叶斯理论、马尔可

执于代码·2025-03-03 23:09

图像算法工程师的技术图谱和学习路径

1.基础数学与编程数学基础：线性代数：矩阵运算、特征值、特征向量、奇异值分解（SVD）等概率论与统计：概率分布、贝叶斯定理、最大似然估计（MLE）、假设检验等微积分：导数、梯度、最优化方法（梯度下降、