反向传播

深度学习：让机器学会“思考”的魔法

1.训练过程：从“笨拙”到“熟练”2.损失函数：衡量“错误”的尺子3.反向传播：从错误中“反思”四、深度学习的“超能力”1.图像

AI极客Jayden　·2025-03-24 18:50

NLP高频面试题（三）——普通RNN的梯度消失和梯度爆炸问题

普通RNN（循环神经网络）的梯度消失和梯度爆炸问题是指在训练深层或长序列的RNN模型时出现的两种典型问题：一、梯度消失（VanishingGradient）梯度消失是指在反向传播过程中，梯度逐层传播时变得越来越小

Chaos_Wang_·2025-03-19 23:34

【Hinton论文精读】The Forward-Forward Algorithm: Some Preliminary Investigations-202212

博文导航0引言1论文摘要2反向传播有什么问题呢？

tyhj_sf·2025-03-19 16:40

基于MATLAB的遗传算法优化BP神经网络航空发动机寿命预测

具体优化形式包括：初始参数优化：GA仅优化初始参数，后续仍依赖BP反向传播微调。全局参数优化：GA直接优化全部网络参数，无需BP参与。混合优化：GA优化初始参数后，再通过B

默默科研仔·2025-03-19 09:41

深度学习框架PyTorch——从入门到精通（5）自动微分

使用torch.autograd自动微分张量、函数和计算图计算梯度禁用梯度追踪关于计算图的更多信息张量梯度和雅可比乘积在训练神经网络时，最常用的算法是反向传播。

Fansv587·2025-03-19 06:20

深入解析Quantum-GABP：量子神经网络的实现与应用

其中，Quantum-GABP（量子广义反向传播算法）作为一种高效的量子神经网络训练算法，展现出极大的应用前景。本文将深入探讨Quantum-G

m0_57781768·2025-03-18 02:52

【深度学习基础】第二十四课：softmax函数的导数

在反向传播时，就需要计算softmax函数的导数，这也就是本文着重介绍的内容。我们只需关注输出层即可，其余层和之前介绍的二分类模型一样，不再赘述。我们先考虑只有一个样本的情况

x-jeff·2025-03-17 21:15

当大模型训练遇上“双向飙车”：DeepSeek开源周 DualPipe解析指南

DeepSeek团队提出的DualPipe双向流水线架构，通过双向计算流与计算-通信重叠的创新设计，将前向与反向传播拆解为“对称轨道”，使GPU可“边读边写、边算边传”，将流水线空闲时间压缩超50%。

来自于狂人·2025-03-17 13:51

java实现卷积神经网络CNN（附带源码）

项目背景与意义1.2什么是卷积神经网络（CNN）1.3卷积神经网络的应用场景相关知识与理论基础2.1神经网络与深度学习概述2.2卷积操作与卷积层原理2.3激活函数与池化层2.4全连接层与损失函数2.5前向传播、反向传播与梯度下降项目需求与分析

Katie。·2025-03-17 07:38

模型训练和推理

计算图以及前向后向传播训练时需要梯度，推理时不需要阶段是否计算梯度是否反向传播是否更新参数用例写法训练✅✅✅loss训练默认即可，requires_grad=True推理❌❌❌采样、预测、部署用@torch.inference_mode

一杯水果茶！·2025-03-13 12:02

分布式并行策略概述

每个副本完成自己批次的前向和反向传播计算后，梯度被汇总并同步更新到所有模型副本。优势：易于实现和扩展。可以显著减少训练时间，尤其是当模型较小，而数据集较大时。

灵海之森·2025-03-13 10:11

PyTorch系列教程：编写高效模型训练流程

模型训练流程PyTorch训练循环流程通常包括：加载数据批量处理执行正向传播计算损失反向传播更新权重一个典型的训练流程将这些步骤合并到一个迭代过程中，在数据集

梦想画家·2025-03-09 13:24

tensorflow keras 报错：No gradients provided for any variable 原因与解决办法

错误分析Nogradientsprovidedforanyvariable这个意思是没有梯度给已知的所有函数，为什么会出现这个错误呢，因为在深度学习中，梯度的更新是由于反向传播算法的实现的，如果损失函数没有与已知的任何

研志必有功·2025-03-09 06:26

深度学习模型：原理、应用与代码实践

一、深度学习基础理论神经网络基本原理神经网络由输入层、隐藏层和输出层构成，通过反向传播算法调整权重。以全连接网络为例，前向传

accurater·2025-03-08 07:43

从零理解人工智能：技术原理、底层逻辑与手写数字识别实战

https://www.captainbed.cn/north文章目录引言一、人工智能技术体系1.1核心技术栈二、神经网络底层逻辑2.1神经元数学模型2.2前向传播与反向传播三、手写数字识别实战（MNIST

北辰alk·2025-03-07 13:40

BP神经网络计算过程：从数学原理到实践优化

引言：神经网络的时代意义与BP算法地位在深度学习重构人工智能边界的今天（Goodfellowetal.,2016），误差反向传播（Backpropagation，BP）算法作为神经网络训练的基石，其数学优雅性和工程实用性完美统一

Acd_713·2025-03-06 13:58

TensorFlow\Keras实战100例——BP\CNN神经网络~MINST手写数字识别

一.原理说明BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。

AI街潜水的八角·2025-03-06 08:45

反向传播（Backpropagation）直觉理解

反向传播（Backpropagation）直觉理解1.为什么要有反向传播？想象你在练习投篮，目标是让篮球进框。但你一开始投的方向可能偏左、偏右，或者力道过大、过小。

忍者算法·2025-03-03 07:32

56、深度学习-自学之路-自己搭建深度学习框架-17、关于为什么LSTM可以解决RNN的梯度爆炸和梯度消失的问题的解析。

我的话太苍白，你们可以去哔哩哔哩上搜索一个"大白话讲解LSTM长短期记忆网络如何缓解梯度消失，手把手公式推导反向传播”不仅仅解释了为什么，还把公式的推导也给了出来。讲的已经非常好了。

小宇爱·2025-03-02 22:23

LSTM：解决梯度消失问题

当网络的层数增加时，反向传播的梯度会随着

AI天才研究院·2025-02-28 19:57

深度学习-自学手册

没有回路的反馈神经网络：有回路的DNN深度神经网络CNN卷积神经网络RNN循环神经网络LSTM是RNN的一种，长短期记忆网络自然语言处理神经网络神经元-分类器Hebb学习方法，随机–类似SGD一篇神经网络入门BP反向传播

谁用了尧哥这个昵称·2025-02-27 15:37

深度学习：从神经网络到智能应用

二.深度学习的基本原理1.神经网络的组成2.激活函数3.反向传播（Backpropagation）三.深度学习的常见模型四.深度学习的应用场景五.深度学习的挑战与未来结语引言深度学习（DeepLearning

Jason_Orton·2025-02-27 00:43

论文笔记：Enhancing Sentence Embeddings in Generative Language Models

——>需要较大的训练批次，这会消耗大量的计算资源一些前沿的工作将焦点转向了最近开发的生成模型，期望利用其先进的文本理解能力，直接对输入句子进行编码，而无需额外的反向传播由于句子表示和自回归语言建模

UQI-LIUWJ·2025-02-26 20:17

复试英文准备方法

重点提升专业术语积累、文献结构理解和即时翻译能力：一、核心能力针对性训练专业术语速记建立术语库：-每天整理《算法导论》《人工智能：现代方法》等经典教材目录中的核心术语（如：Backpropagation-反向传播

小王Jacky·2025-02-26 11:12

梯度累加（结合DDP）梯度检查点

梯度累积通过多次前向传播和反向传播累积梯度，然后一次性更新模型参数，从而模拟大批量训练的效果。总结：显存限制：GPU/TPU显存有限，无法一次性加载大批量数据。训练稳定性：大批量训练通常

糖葫芦君·2025-02-25 23:16

神经网络八股（3）

1.什么是梯度消失和梯度爆炸梯度消失是指梯度在反向传播的过程中逐渐变小，最终趋近于零，这会导致靠前层的神经网络层权重参数更新缓慢，甚至不更新，学习不到有用的特征。

SylviaW08·2025-02-25 22:37

大模型学习完整路径（一站式汇总），从零基础到精通！新手友好级指南

先来一张整体结构图，越是下面部分，越是基础：可以按以下步骤学习：1.理解基础概念需要了解深度学习的基本原理和常见术语，如神经网络、梯度下降、反向传播、监督学习、无监督学习、分类、回归、聚类

Python程序员罗宾·2025-02-24 22:45

深度学习-123-综述之AI人工智能与DL深度学习简史1956到2024

文章目录1AI与深度学习的简史1.1人工智能的诞生(1956)1.2早期人工神经网络(1940-1960年代)1.3多层感知器MLP(1960年代)1.4反向传播(1970-1980年代)1.5第二次黑暗时代

皮皮冰燃·2025-02-22 04:07

神经网络模型训练中的相关概念：Epoch，Batch，Batch size，Iteration

也就是说，所有训练样本在神经网络中都进行了一次正向传播和一次反向传播。一个epoch是将所有训练样本训练一次的过程。Batch（批/一批样本）：将整个训练样本分成若干个batch。

一杯水果茶！·2025-02-21 16:39

基于python深度学习遥感影像地物分类与目标识别、分割实践技术应用

深度学习等任务的基本处理流程梯度下降算法讲解不同初始化，学习率对梯度下降算法的实例分析从机器学习到深度学习算法专题二深度卷积网络、卷积神经网络、卷积运算的基本原理池化操作，全连接层，以及分类器的作用BP反向传播算法的理解一个简单

xiao5kou4chang6kai4·2025-02-20 11:20

训练与优化

训练与优化损失函数与反向传播损失函数能够衡量神经网络输出与目标值之间的误差，同时为反向传播提供依据，计算梯度来优化网络中的参数。torch.nn.L1Loss计算所有预测值与真实值之间的绝对差。

钰见梵星·2025-02-20 04:23

【深度学习入门：基于python的理论与实现读书笔记】第五章误差反向传播法

目录摘要第五章误差反向传播法简单层的实现乘法层的实现加法层的实现激活函数层的实现ReLU层Sigmoid层Affine层和Softmax层的实现Affine层Softmax-with-Loss层误差反向传播法的实现摘要该文章简要介绍了神经网络的误差反向传播法

Bin二叉·2025-02-19 19:37

如何解决RNN梯度爆炸和弥散的问题

这种方法可以防止梯度在反向传播过程中变得过大。2.使用ReLU激活函数：相比于tanh或sigmoid，ReLU激活函数（及其变种如LeakyReLU）在正区间内梯度恒定，这有助于缓解梯度爆炸问题。

路野yue·2025-02-18 12:40

机器学习入门-读书摘要

因为里面的反向传播和链式法则特别难懂，又网上搜了相关内容进行进一步理解，参考的以下文章（个人认为都讲的都非常好）：https://zhuanlan.zhihu.com/p/65472471https:/

不像程序员的程序媛·2025-02-16 03:53

Pytorch的自动求导模块

文章目录torch.autograd.backward()基本用法非标量张量的反向传播保留计算图指定输入张量高阶梯度计算与y.backward()的区别torch.autograd.grad()基本用法非标量张量的梯度高阶梯度计算多输入

zoujiahui_2018·2025-02-14 05:57

基于计算图的Softmax层反向传播推导

KaiMing Zhu·2025-02-11 21:25

AI学习专题（一）LLM技术路线

（NumPy、Pandas、Matplotlib）PyTorch&TensorFlow基础HuggingFaceTransformers入门深度学习基础机器学习基础（监督/无监督学习、正则化、过拟合）反向传播

王钧石的技术博客·2025-02-10 01:39

深度学习笔记——pytorch构造数据集 Dataset and Dataloader

系列文章目录机器学习笔记——梯度下降、反向传播机器学习笔记——用pytorch实现线性回归机器学习笔记——pytorch实现逻辑斯蒂回归Logisticregression机器学习笔记——多层线性（回归

旺仔喔喔糖·2025-02-09 22:19

从零学习pytorch——4.基础概念讲解及神经网络模块

它提供了一种方便的方式来定义神经网络的结构，管理模型的参数，并实现前向传播和反向传播。

PyTorch 研习社·2025-02-07 22:05

深度学习篇---深度学习相关知识点&关键名词含义

机器学习基础二、深度学习核心层（神经网络与训练机制）1.神经网络基础2.激活函数（ActivationFunction）3.损失函数（LossFunction）4.优化算法（Optimization）5.反向传播

Ronin-Lotus·2025-02-06 21:21

GRU是门控循环单元是什么？

GRU旨在解决传统RNN中存在的长期依赖问题和反向传播中的梯度消失或梯度爆炸问题。

无限进步呀·2025-02-04 22:13

PyTorch动态计算图:如何灵活构建复杂模型

PyTorch动态计算图:如何灵活构建复杂模型关键词：PyTorch、动态计算图、自动微分、反向传播、神经网络、模型构建、计算图优化文章目录PyTorch动态计算图:如何灵活构建复杂模型1.背景介绍1.1

AI天才研究院·2025-02-04 07:47

深度学习查漏补缺：1.梯度消失、梯度爆炸和残差块

在反向传播中，每一层的梯度都会乘以激活函数的导数。如果导数很小，乘积就会导致梯度逐渐变小。链式法则的多次相乘：假设网络有nn层，梯度从输出层传到第ii层时，会经历多次链式相乘：如果每一

nnerddboy·2025-02-03 02:19

AI真的能理解我们这个现实物理世界吗？深度剖析原理、实证及未来走向

文章开篇抛出疑问，随后深入介绍AI深度学习基础，包含神经网络架构、反向传播算法。继而列举AI在物理场景识别、实验数据分析中显露的“理解”迹象，也点明常识性错误、极端场景失效这类反例。

AI_DL_CODE·2025-02-02 10:51

python3+TensorFlow 2.x（四）反向传播

目录反向传播算法反向传播算法基本步骤：反向中的参数变化总结反向传播算法反向传播算法（Backpropagation）是训练人工神经网络时使用的一个重要算法，它是通过计算梯度并优化神经网络的权重来最小化误差

刀客123·2025-01-29 07:53

一、深度学习的基本介绍

机器学习的基本步骤：前馈运算、反向传播计算梯度、根据梯度更新参数值。一、定义及基本概念深度学习，就是一种利用深度人工神经网络来进行自动分类、预测和学习的技术。

关关钧·2025-01-26 14:52

计算机视觉：卷积核

卷积神经网络中的卷积核可以通过反向传播算法进行训练和优化，使其能够自适应地学习输入数据中的特征。因此，卷积神经网络在图像

每天五分钟玩转人工智能·2025-01-25 12:23

AI需要的基础数学知识

链式法则：用于反向传播算法。积分：在概率和统计中有应用。3.概率与统计概率分布：如高斯分布、伯努利分布等。贝叶斯定

大囚长·2025-01-24 01:00

算法中的时间复杂度和空间复杂度

Torch或者Tensorflow之类的深度学习库大大减少了算法工程师的工作量，而且在张量运算、反向传播等环节，这些深度学习库的模块设计也尽最大可能地降低了计算的时间和空间复杂度，从而不需要我们额外进行过多的干预

CM莫问·2025-01-23 22:36

深度学习从入门到精通：全面指南

》文章目录《深度学习从入门到精通：全面指南》文章关键词文章摘要引言第一部分：深度学习基础入门第1章：深度学习概述1.1深度学习的基本概念1.2深度学习的发展历程1.3深度学习的基本原理神经网络前向传播反向传播第

AI天才研究院·2025-01-22 10:25

推荐频道