共轭梯度

《探秘Hogwild!算法：无锁并行SGD的神奇之路》

算法作为一种能够实现无锁并行随机梯度下降（SGD）的创新方法，受到了广泛关注。下面就来深入探讨一下Hogwild!算法是如何实现这一壮举的。
·2025-02-14 17:24

【深入探讨 ResNet：解决深度神经网络训练问题的革命性架构】

然而，随着网络层数的增加，训练深层网络变得愈加困难，主要问题是“梯度消失”和“梯度爆炸”问题。
机器学习司猫白·2025-02-14 16:26

9、深度学习-自学之路-损失函数、梯度下降、学习率、权重更新的理解

由《8、深度学习-自学之路-损失函数和梯度下降程序展示》我们看到我们设计了一个程序，这个程序里面由学习率，有损失函数，有梯度下降，权重更新。
小宇爱·2025-02-14 11:16

Eigen3的库使用

文章目录eigen3lib的使用向量向量一元操作向量二元操作共轭矩阵矩阵赋值转置矩阵块操作取行取列取任意大小的块矩阵分解Cholesky分解坐标变换坐标轴旋转旋转矩阵旋转四元数欧拉角旋转向量数据类型转化
憨憨2号·2025-02-14 10:14

《深度解析：批量、随机和小批量梯度下降的区别与应用》

在机器学习和深度学习的领域中，梯度下降算法是优化模型参数的核心工具之一。
·2025-02-14 09:40

从VGG到Transformer：深度神经网络层级演进对模型性能的深度解析与技术实践指南

深度网络可表达复杂函数：f(x)=fL(fL−1(⋯f1(x)))f(x)=f_L(f_{L-1}(\cdotsf_1(x)))f(x)=fL(fL−1(⋯f1(x)))层数L增加时，函数空间指数级扩大梯度传播挑战
燃灯工作室·2025-02-14 05:57

Pytorch的自动求导模块

文章目录torch.autograd.backward()基本用法非标量张量的反向传播保留计算图指定输入张量高阶梯度计算与y.backward()的区别torch.autograd.grad()基本用法非标量张量的梯度高阶梯度计算多输入
zoujiahui_2018·2025-02-14 05:57

机器学习算法工程师笔试选择题（1）

1.关于梯度下降的说法正确的是：A.梯度下降法可以确保找到全局最优解。B.随机梯度下降每次使用所有数据来更新参数。C.批量梯度下降（BatchGradientDescent）通常收敛更快。
Ash Butterfield·2025-02-14 00:08

神经网络常见激活函数 9-CELU函数

连续可微指数线性单元：CELU（ContinuouslyDifferentiableExponentialLinearUnit）,是一种连续可导的激活函数，结合了ELU和ReLU的特点，旨在解决ELU在某些情况下的梯度问题
亲持红叶·2025-02-13 15:37

23、深度学习-自学之路-激活函数relu、tanh、sigmoid、softmax函数的正向传播和反向梯度。

反向梯度传播：当输出值大于0，那么反向梯度值就等于输出值乘以1如果小于0，那反向梯度值就等于0.通俗的来说就是，如果输入值是0或小于0，那么输出值的反向增强就没有。
小宇爱·2025-02-13 13:22

【人工智能】Python中的深度学习优化器：从SGD到Adam

本文将介绍深度学习中常用的优化器，从传统的随机梯度下降（SGD）到现代的自适应优化器（如Adam）。我们将深入探讨每种优化器的原理、优缺点，并通过Python实现
蒙娜丽宁·2025-02-13 08:13

Python中LSTM算法的实现与应用

首先解释了LSTM的工作原理，重点在于其门结构如何有效解决传统RNN的梯度问题，并通过控制信息流动以学习长期依赖。
昊叔Crescdim·2025-02-12 19:01

深入解析ReLU激活函数的优缺点及其平衡策略

影响：这有助于模型更快地收敛，因为梯度不会因为负值而减小，从而避免负向因素对模型训练的不良影响。结论：这使得
weixin_40941102·2025-02-12 15:08

深度学习算法informer（时序预测）（一）（数据编码讲解）

informer代码中数据编码包括三部分，位置编码、数据编码、时间编码目标：时序数据有7个特征，通过24个时间点（可以是年、月、日、时、分、秒）的数据预测未来1个时间点的数据一、位置编码1.pe不需要计算梯度
槑槑紫·2025-02-12 05:33

【机器学习】嘿马机器学习（算法篇）第6篇：线性回归,学习目标【附代码文档】...

数据集介绍1案例：鸢尾花种类预测1.8案例：鸢尾花种类预测—流程实现1再识K-近邻算法API1.11案例2：预测facebook签到位置1项目描述线性回归2.3数学:求导1常见函数的导数线性回归2.5梯度下降方法介绍
广江鹏·2025-02-11 21:59

DARTS算法笔记（论文+代码）

DARTS通过两次近似，将问题简单化，以减少GPU计算天数，局部最优近似全局最优，有限差分近似求梯度。摘要：在CIFAR-10、ImageNet、PennTreebank和
朴公英不会飞·2025-02-11 19:42

深度学习｜表示学习｜Batch Normalization 详解：数学、代码与经验总结｜22

BN通过对mini-batch数据进行归一化，使每层的输入数据分布保持稳定，从而缓解梯度消失/爆炸问题，同时减少对权重初始化的敏感性。
漂亮_大男孩·2025-02-11 08:56

AGI方向研究

**数学与理论基础**-**数学基础**：线性代数（矩阵运算、特征值）、概率统计（贝叶斯理论、分布模型）、微积分（梯度优化）、信息论（熵、KL散度）。-**计
微醺欧耶·2025-02-11 07:44

第二章：10.1 高级优化算法 Adam

梯度下降的基本概念：梯度下降是一种优化算法，用于最小化成本函数J(w,b)。在每一步中，通过计算成本函数相对于参数w和b的梯度，并沿着梯度的反方向更新参数，来逐步接近成本函数的最小值。
望云山190·2025-02-10 13:56

大模型学习笔记 - LLM 对齐优化算法 DPO

LLM-DPOLLM-DPODPO概述DPO目标函数推导DPO目标函数梯度的推导DPO概述大模型预训练是从大量语料中进行无监督学习，语料库内容混杂，训练的目标是语言模型损失，任务是nexttokenprediction
JL_Jessie·2025-02-10 03:54

AI学习专题（一）LLM技术路线

阶段1：AI及大模型基础（1-2个月）数学基础线性代数（矩阵、特征值分解、SVD）概率论与统计（贝叶斯定理、极大似然估计）最优化方法（梯度下降、拉格朗日乘子法）编程&框架Python（NumPy、Pandas
王钧石的技术博客·2025-02-10 01:39

深度学习笔记——pytorch构造数据集 Dataset and Dataloader

系列文章目录机器学习笔记——梯度下降、反向传播机器学习笔记——用pytorch实现线性回归机器学习笔记——pytorch实现逻辑斯蒂回归Logisticregression机器学习笔记——多层线性（回归
旺仔喔喔糖·2025-02-09 22:19

数值型特征处理 - 归一化和分桶

而分桶可能是指把连续的数值分成不同的区间，比如年龄段分成0-18，19-30这样的区间消除特征间的量纲差异，使不同特征具有可比性，适用于依赖距离或梯度的模型（如SVM、神经网络、KNN）最大最小归一化（
Ivanqhz·2025-02-09 18:50

【人工智能专栏】Stochastic Gradient Descent (SGD) 随机梯度下降

StochasticGradientDescent(SGD)随机梯度下降IntroducingSGDAI:StochasticGradientDescent(SGD)isapopularoptimizationalgorithmusedinmachinelearningforfindingtheminimumofacostfunction.Itisavariantofthegradientdesc
manylinux·2025-02-09 17:09

音频进阶学习九——离散时间傅里叶变换DTFT

DTFT公式2.DTFT右边释义1）复指数e−jωne^{-j\omegan}e−jωn2）序列与复指数相乘x[n]∗e−jωnx[n]*e^{-j\omegan}x[n]∗e−jωn复指数序列复数的共轭正交正交集
山河君·2025-02-09 09:46

从零开始人工智能Matlab案例-线性回归与梯度下降算法

使用线性回归模型拟合历史数据，并通过梯度下降算法优化模型参数，动态展示参数更新如何逐步降低预测误差。
算法工程师y·2025-02-08 23:28

Nesterov加速梯度法 (NAG, Nesterov Accelerated Gradient) 算法详解及案例分析

Nesterov加速梯度法(NAG,NesterovAcceleratedGradient)算法详解及案例分析目录Nesterov加速梯度法(NAG,NesterovAcceleratedGradient
闲人编程·2025-02-08 22:27

十八、计算机视觉-canny边缘检测

文章目录前言一、canny检测的流程1.高斯滤波（GaussianSmoothing）2.梯度计算（GradientCalculation）3.非极大值抑制（Non-maximumSuppression
云峰天际·2025-02-08 19:01

从零学习pytorch——4.基础概念讲解及神经网络模块

nn.Module会自动管理模型的参数，包括参数的初始化、梯度计算和更新等
PyTorch 研习社·2025-02-07 22:05

《用DOTS解决实际需求》集锦

思路是先消除使用门槛后，再有梯度挖掘DOTS底层实现，学习过程非常平滑，并精细准备了进度条字幕，想看哪里点哪里
·2025-02-07 13:56

RNN/LSTM/GRU 学习笔记

6、BPTT和BP的区别二、LSTM1、LSTM简介2、LSTM如何缓解梯度消失与梯度爆炸？三、GRU四、参考文献RNN/LSTM/GRU一、RNN1、为何引入RNN？
Curz酥·2025-02-07 02:52

【单层神经网络】基于MXNet的线性回归实现（底层实现）

写在前面刚开始先从普通的寻优算法开始，熟悉一下学习训练过程下面将使用梯度下降法寻优，但这大概只能是局部最优，它并不是一个十分优秀的寻优算法整体流程生成训练数据集（实际工程中，需要从实际对象身上采集数据）
辰尘_星启·2025-02-06 11:43

遗传算法与深度学习实战（33）——WGAN详解与实现

遗传算法与深度学习实战（33）——WGAN详解与实现0.前言1.训练生成对抗网络的挑战2.GAN优化问题2.1梯度消失2.2模式崩溃2.3无法收敛3WassersteinGAN3.1Wasserstein
盼小辉丶·2025-02-06 09:29

大规模语言模型从理论到实践 DeepSpeed实践

1.2训练和部署LLM的挑战1.3DeepSpeed：赋能LLM规模化1.4本文结构2.核心概念与联系2.1模型规模与性能的关系2.2模型并行化：数据并行、模型并行和流水线并行2.3混合精度训练2.4梯度累积
AI天才研究院·2025-02-06 01:59

Transformers解决RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

在使用Transformers启动梯度检查点时，即：model.gradient_checkpointing_enable()时，会报错RuntimeError:element0oftensorsdoesnotrequiregradanddoesnothaveagrad_fn
怎么这么多名字都被占了·2025-02-05 18:06

PyTorch中的 torch.nn.GRU

与传统的RNN相比，GRU引入了门控机制，旨在解决长序列训练中的梯度消失问题，并提高了训练效率和性能。在PyTorch中，torch.nn.GRU是一个非常方便的模块，用于构建和训练GRU网络。
彬彬侠·2025-02-05 12:53

自定义数据集 使用pytorch框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预测，对预测结果计算精确度和召回率及F1分数

训练模型：使用二元交叉熵损失函数BCELoss和随机梯度下降优化器SGD进行训练。保存模型：使用torch.save保存模型的参数。加载模型并预测：加载
知识鱼丸·2025-02-05 06:42

TensorFlow 示例项目实战与源码解析.zip

文章将详细介绍TensorFlow的核心概念，如张量、图计算、会话、变量、梯度下降与优化器、损失函数、数据集、模型评估、模型保存与恢复以及KerasAPI。读者可通过实践这些示
ELSON麦香包·2025-02-05 01:34

GRU是门控循环单元是什么？

GRU旨在解决传统RNN中存在的长期依赖问题和反向传播中的梯度消失或梯度爆炸问题。
无限进步呀·2025-02-04 22:13

门控循环单元（GRU）

门控循环单元（GRU）门控循环单元（GRU）是一种循环神经网络（RNN）的变体，旨在解决传统RNN在处理长序列时的梯度消失问题，并且相比于长短期记忆（LSTM），它具有更简洁的结构。
彬彬侠·2025-02-04 15:23

机器学习笔记20241017

torchvisiondataloadernn.module卷积非线性激活模型选择训练误差泛化误差正则化权重衰退的基本概念数学表示权重衰退的效果物理解释数值稳定性（GradientVanishing）梯度消失原因解决方法梯度爆炸
tt555555555555·2025-02-04 03:11

基于BiGRU的预测模型及其Python和MATLAB实现

RNN能够处理序列数据，但它们在长序列数据的学习中存在梯度消失和梯度爆炸的问题。为了解决这些问题，长短期记忆网络（LS
追蜻蜓追累了·2025-02-04 03:10

Python 图像处理进阶：特征提取与图像分类

原理：SIFT通过在不同尺度的空间内寻找极值点来检测关键点，并利用梯度方向的直方
极客代码·2025-02-03 21:23

(04)python-opencv图像处理——图像阈值、平滑图像、形态转换、图像梯度

简单的阈值法1.2自适应阈值二、平滑图像2.1二维卷积(图像滤波)2.2图像模糊2.2.1均值模糊2.2.2高斯模糊2.2.3中值滤波2.2.4双边滤波三、形态转换1、腐蚀2、膨胀3、开运算4、闭运算四、图像梯度
欲游山河十万里·2025-02-03 17:48

线性回归基础学习

线性回归基础学习目录：理论知识样例代码测试参考文献一、理论知识线性回归思维导图NDArray：MXNet中存储和变换数据的主要工具，提供GPU计算和自动求梯度等功能线性回归可以用神经网络图表示，也可以用矢量计算表示在
Remoa·2025-02-03 14:53

深度学习篇---张量&数据流动处理

文章目录前言第一部分：张量张量的基本概念1.维度标量（0维）向量（1维）矩阵（2维）三维张量2.形状张量运算1.基本运算加法减法乘法除法2.广播3.变形4.转置5.切片6.拼接7.矩阵分解8.梯度运算：
Ronin-Lotus·2025-02-03 13:46

深度学习查漏补缺：1.梯度消失、梯度爆炸和残差块

一、梯度消失梯度消失的根本原因在于激活函数的性质和链式法则的计算：激活函数的导数很小：常见的激活函数（例如Sigmoid和Tanh）在输入较大或较小时，输出趋于饱和（Sigmoid的输出趋于0或1），其导数接近于
nnerddboy·2025-02-03 02:19

LSTM 网络在强化学习中的应用

LSTM网络在强化学习中的应用关键词：LSTM、强化学习、时序依赖、长期记忆、深度Q网络、策略梯度、Actor-Critic摘要：本文深入探讨了长短期记忆（LSTM）网络在强化学习领域的应用。
AI天才研究院·2025-02-02 14:23

《深度学习入门：梯度下降法全解析，小白必看！》

目录一、引言二、什么是梯度下降？
Lemon_wxk·2025-02-02 12:38

pytorch实现循环神经网络

nn.LSTM：长短时记忆网络，适用于长序列数据，能有效解决梯度消失问题。nn.GRU：门控循环单元，比LSTM计算更高效，适用于大部分任务。
纠结哥_Shrek·2025-02-02 10:50
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他