链式法则

【AI大模型】神经网络反向传播：核心原理与完整实现

一、反向传播的本质与意义反向传播（Backpropagation）是神经网络训练的核心算法，通过链式法则高效计算损失函数对网络参数的梯度，实现神经网络的优化学习。

我爱一条柴ya·2025-07-08 18:00

[由浅入深理解神经网络] 2 张量流与反向传播

由浅入深理解神经网络2张量流与反向传播0前言1张量流和运算图2复合函数视角2.1复合函数求导2.1.1链式法则2.1.2多元函数的链式法则2.2前馈网络的反向传播2.3任意网络的反向传播3结语0前言在由浅入深理解神经网络

·2025-07-02 01:47

《高等数学》（同济大学·第7版）第九章多元函数微分法及其应用第三节多元复合函数的求导法则

一、从买菜路线说起：为什么需要链式法则？场景：小明从家出发，先骑车到菜市场（路程x公里），再步行到超市（路程y公里）。已知：骑车速度v_x=20km/h，

没有女朋友的程序员·2025-06-28 00:49

【图像处理基石】如何入门AI计算机视觉？

微积分：导数、梯度、链式法则——深度学习优化（如反向传播）的核心。推荐资源：教材：《线性代数及

AndrewHZ·2025-05-17 15:55

从零构建大语言模型全栈开发指南：第一部分：数学与理论基础-1.1.2核心数学基础：线性代数、概率论与梯度优化

1.1核心概念与应用场景表1：线性代数核心运算与模型应用2.概率论：`不确定性建模与决策引擎`2.1核心理论与模型设计表2：概率论在LLM中的典型应用3.梯度优化：反向传播与损失函数设计3.1反向传播：链式法则的工程实现表

言析数智·2025-05-16 12:54

长短期记忆网络（LSTM）深度解析：从理论到实践的全方位指南

数学上，这源于反向传播过程中梯度的链式法则：复制下载∂L/∂h_t=∂L/∂h_T*(∏_{k=t}^{T-1}∂h_{k+1}/∂h_k)其中，雅可比矩阵∂h_{k+1}/∂h_k

非著名架构师·2025-05-13 18:49

【NLP】 26. 语言模型原理与概率建模方法详解（Language Models）

在本章节中，我们将从基本定义出发，深入讲解语言模型的建模方法（包括n-gram模型、链式法则分解、Markov假设等）、概率计算技巧、数值稳定性对策，以及各类方法的优缺点对比。一

pen-ai·2025-05-09 17:37

第20节：深度学习基础-反向传播算法详解

反向传播算法的本质是链式法则（ChainRule）在神经网络中的巧妙应用，它通过从输出层向输入层反向传播误差信

点我头像干啥·2025-05-08 14:14

神经网络发展的时间线——积跬步至千里

构造学习规则与感知器准则等价线性神经元单层梯度下降法训练参数线性函数，多层仍是线性变换本质上是最小二乘准则浅层神经网络（早期）多层Sigmoid、非线性、BP算法一般单个隐含层、多层梯度消失多元复合函数求导的链式法则深层神经网络

phoenix@Capricornus·2025-05-04 18:32

【人工智能数学基础】——反向传播算法详解：从链式法则到神经网络训练实战

目录编辑前言：反向传播——深度学习的"学习引擎"一、反向传播的数学基石1.1链式法则：反向传播的核心1.2计算图视角下的反向传播二、从零实现反向传播2.1Python实现双层神经网络2.2代码解析：三、

Sonal_Lynn·2025-04-21 20:57

NLP高频面试题（三）——普通RNN的梯度消失和梯度爆炸问题

原因：在反向传播时，每一层的梯度是通过链式法则计算得到的。因为链式求导中不断乘以一个较小的数值（小于1），随着层数或时间步的增加，梯度将指数级

Chaos_Wang_·2025-03-19 23:34

【无标题】大模型智能涌现的数学本质与底层机制

大模型智能涌现的数学本质与底层机制一、语言建模的数学基础大模型的核心任务是基于概率链式法则建模语言序列：P(w1,...,wn)=∏t=1nP(wt∣w10^{11})时出现能力相变相变示例：参数量级涌现能力数学机制

调皮的芋头·2025-03-06 07:09

【人工智能】数据挖掘与应用题库（1-100）

答案：对6、[u(x)×v(x)]'=u(x)'×v(x)'答案：错7、链式法则的步骤可以概况为：分解、各自求导、相乘、回代。答案

奋力向前123·2025-03-01 08:29

机器学习的数学基础(三)——概率与信息论

目录1.随机变量2.概率分布2.1离散型变量和概率质量函数2.2连续型变量和概率密度函数3.边缘概率4.条件概率5.条件概率的链式法则6.独立性和条件独立性7.期望、方差和协方差7.1期望7.2方差7.3

梦醒沉醉·2025-02-23 03:09

（《机器学习》完整版系列）附录 ——3、复合函数梯度的链式法则（链的次序不可交换）

注：修正了一般教材中的错误次序（在标量时正确）链式法则在此基础上，我们讨论复合函数的链式法则（只讨论复合后为标量函数的情况，即zzz为标量）。

人工干智能·2025-02-22 03:17

机器学习入门-读书摘要

因为里面的反向传播和链式法则特别难懂，又网上搜了相关内容进行进一步理解，参考的以下文章（个人认为都讲的都非常好）：https://zhuanlan.zhihu.com/p/65472471https:/

不像程序员的程序媛·2025-02-16 03:53

用大模型学大模型02-数学基础微积分

https://metaso.cn/s/uxPBB9C我正在学习深度学习相关的数学知识,学到了微积分核心概念：导数（尤其是偏导数）、梯度、链式法则；积分与最优化（如梯度下降法的数学推导）给我一个入门级的完整教程和实例好吧

wyg_031113·2025-02-14 22:39

从VGG到Transformer：深度神经网络层级演进对模型性能的深度解析与技术实践指南

深度网络可表达复杂函数：f(x)=fL(fL−1(⋯f1(x)))f(x)=f_L(f_{L-1}(\cdotsf_1(x)))f(x)=fL(fL−1(⋯f1(x)))层数L增加时，函数空间指数级扩大梯度传播挑战：链式法则导致梯度消失

燃灯工作室·2025-02-14 05:57

深度学习查漏补缺：1.梯度消失、梯度爆炸和残差块

一、梯度消失梯度消失的根本原因在于激活函数的性质和链式法则的计算：激活函数的导数很小：常见的激活函数（例如Sigmoid和Tanh）在输入较大或较小时，输出趋于饱和（Sigmoid的输出趋于0或1），其导数接近于

nnerddboy·2025-02-03 02:19

python3+TensorFlow 2.x（四）反向传播

反向传播算法的核心是基于链式法则的梯度下降优化方法，通过计算误差对每个权重的偏导数来更新网络中的参数。反向传播算法基本步骤：前向传播：将输入数据传递通过神经网络的各层，计算每一层的输出。计算损失

刀客123·2025-01-29 07:53

AI需要的基础数学知识

链式法则：用于反向传播算法。积分：在概率和统计中有应用。3.概率与统计概率分布：如高斯分布、伯努利分布等。贝叶斯定

大囚长·2025-01-24 01:00

李宏毅机器学习笔记——反向传播算法

反向传播的基本原理反向传播的核心思想是利用链式法则（ChainRule）来高效地计算损失函数相对于每个参数的梯度。以下是反向传播的基本步骤：前向传播（Forwa

小陈phd·2024-09-04 10:07

深度学习速通系列:梯度消失vs梯度爆炸

梯度消失（VanishingGradientProblem）定义：梯度消失是指在深层神经网络的反向传播过程中，由于链式法则，梯度值随着层数的增加而迅速减小，最终趋近于零。

Ven%·2024-08-31 23:31

反向传播算法：深度神经网络学习的核心机制

反向传播算法的基本概念反向传播算法结合了梯度下降优化和链式法则，通过计算损失函数关于网络参数的梯度来更新网络权重。1.损失函数

2402_85758936·2024-08-28 08:22

神奇的微积分

•反向传播：在神经网络训练中，微积分的链式法则用于计算整个网络中每个参数对于最终损失函数的影响（偏导数），这一过程就是反向

科学的N次方·2024-03-19 05:14

深度学习之反向传播算法的直观理解

简单的理解，它的确就是复合函数的链式法则，但其在实际运算中的意义比链式法则要大的多。要回答题主这个问题“如何直观的解释backpropagation算法？”需要先直观理

Stark0x01·2024-02-20 01:28

机器学习入门--BP神经网络原理与实践

数学原理BP算法的数学原理基于链式法则计算梯度。考虑一个简单的两层神经

Dr.Cup·2024-02-13 13:37

机器学习入门（10）— 浅显易懂的计算图、链式法则讲解

1.计算图概念计算图将计算过程用图形表示出来。这里说的图形是数据结构图，通过多个节点和边表示（连接节点的直线称为“边”）。2.计算图求解问题1：小明在超市买了2个100日元一个的苹果，消费税是10%，请计算支付金额。计算图通过节点和箭头表示计算过程。节点用○表示，○中是计算的内容。将计算的中间结果写在箭头的上方，表示各个节点的计算结果从左向右传递。用计算图解问题1，求解过程如图5-1所示。虽然图5

wohu007·2024-01-31 23:41

深度学习第3次作业浅层神经网络

二层神经网络.png反向传播是将loss反向传播回去，本质是链式法则求导，然后更新权重参数。

S_Valley_DiDa·2024-01-30 21:54

1.23神经网络框架（sig函数），逆向参数调整法（梯度下降法，链式法则（理解，及处理多层神经网络的方式））

框架输入层隐藏层存在一个阈值，如果低于某一阈值就不激活；高于了就激活输出层逆向参数调整方法初始阶段，随机设置权重值w1,w2依据训练集两个数学方法（梯度下降、链式法则）调参借助两个数学方法当导数为负时，

CQU_JIAKE·2024-01-29 11:15

【01】深度学习——数学基础 | 线性代数 | 微积分 |概率

Matrix)1.3.1矩阵转置1.3.2矩阵乘法1.3.3矩阵乘法的性质1.4张量（Tensor）2.微积分2.1极限2.2导数2.2.1导数和极限2.2.2导数和极限2.3微分2.4偏导数2.5梯度2.6链式法则

花落指尖❀·2024-01-26 10:53

3D点云深度学习处理的基本概念

通过链式法则（ChainRule）计算损失函数相对于权重矩阵的

长安海·2024-01-20 23:24

动手学深度学习5 矩阵计算

矩阵计算--矩阵怎么求导数1.导数和微分2.偏导数3.梯度1.向量-标量求导2.向量-向量求导3.拓展到矩阵4.链式法则5.小结QA练习课程安排：视频：https://www.bilibili.com/

陌上阳光·2024-01-20 04:49

反向传播(Back Propagation)

目录回顾简单模型的梯度计算反向传播计算图链式求导链式法则定理：Forward前馈计算反向传播BackPropagation例子线性模型的计算图计算前馈过程反向传播过程（逆向求导）练习Pytorch中的前馈过程和反向传播过程

chairon·2024-01-17 14:56

深度学习面试题

一、神经网络基础问题（1）Backpropagation（反向传播）后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法则对参数进行一层一层的求导。

AI信仰者·2024-01-14 17:35

李沐《动手学深度学习》预备知识线性代数与微积分

》预备知识张量操作与数据处理文章目录系列文章目录一、线性代数（一）标量、向量、矩阵、张量（二）张量运算的基本性质（三）降维（四）点积（五）矩阵向量积、矩阵乘法（六）范数二、微积分（导数、偏导数、梯度、链式法则

丁希希哇·2024-01-14 07:52

反向传播

线性反向传播的原理和算法Python实现：线性反向传播是指在神经网络中只有线性激活函数的情况下，通过链式法则计算每个参数的梯度。具体步骤如下：前向传播：计算网络的输出值。

人工智能教学实践·2024-01-08 14:18

反向传播与梯度下降

反向传播是一种计算梯度的方法，它基于链式法则来计算每个参数对网络误差的贡献。具体而言，反向传播从网络的输出层开始，通过将误差向后传递到每一层，计算每个参数对误差的影响。这样，我们可以知道如何微调每

人工智能教学实践·2024-01-08 14:17

深度学习之矩阵形式的链式法则推导

深度学习之矩阵形式的链式法则推导对于深度学习的基础“梯度下降”和“自动微分”的数学原理网上讲解的博客有很多了，但是目前没看到有讲关于矩阵形式的链式法则的内容，所以写了这篇笔记，供自己学习和复习。

月见团子tsukimi·2024-01-06 12:09

RNN 为什么不能直接反向传播？为什么会出现梯度消失和梯度爆炸？

首先我们回顾一下普通的反向传播，过程如下所示：、、我们为了简便暂时不考虑激活函数，我们可以用以下的链式法则计算：这个是非常简单的，现在我们来看看RNN是什么样子的：这样我们就不能直接求偏导了，如果我们还是按照上面那种方法求偏导

Humprey·2024-01-04 08:26

卷积神经网络反向传播

更新权重，我们首先需要知道损失梯度，损失梯度实际上是损失根据所需要的更新的权重求偏导，而要求解这个偏导，我们要通过链式法则来求解。成功求解损失梯度后，要通过梯度下降的方法来更新我

pythonSuperman·2023-12-28 17:43

[足式机器人]Part2 Dr. CAN学习笔记-Ch00 - 数学知识基础

-Ch00-数学知识基础1.Ch0-1矩阵的导数运算1.1标量向量方程对向量求导，分母布局，分子布局1.1.1标量方程对向量的导数1.1.2向量方程对向量的导数1.2案例分析，线性回归1.3矩阵求导的链式法则

LiongLoure·2023-12-27 14:12

循环神经网络中的梯度消失或梯度爆炸问题产生原因分析

（1）它要求我们将循环神经网络的计算图以此展开一个时间步，以获得模型变量和参数之间的依赖关系（2）然后，基于链式法则，应用反向传播来计算和存储梯度。

科学禅道·2023-12-22 15:00

MNIST手写数字识别——simple model Y = XW + b

文章目录数据处理MINIST手写数字数据集简单介绍一下数据集将数据集转化为csv文件简单的手写数字识别模型加载数据集定义模型和超参数前向传播sigmoid激活函数softmax函数交叉熵损失函数反向传播梯度下降法链式法则

涵涵不是憨憨~·2023-12-20 18:30

[PyTorch][chapter 8][李宏毅深度学习][Back propagation]

目录：链式法则模型简介（Model）损失函数,梯度手写例子min-batch一链式法则链式法则是反向传播算法里面的核心。

明朝百晓生·2023-12-19 08:11

张量，梯度，链式法则的基本概念

张量的基本概念张量是一种多维数组，支持在GPU上进行计算，是计算图中的节点，并且支持自动微分。张量的广播机制在进行运算时，如果两个张量在某个维度上的形状不匹配，那么系统会自动地在这个维度上扩展形状较小的张量，使得两个张量在这个维度上具有相同的形状。广播机制的例子a=torch.arange(3).reshape((3,1))b=torch.arange(2).reshape((1,2))print

hadiii·2023-12-16 11:20

深度学习记录--logistic回归函数的计算图

logistic回归函数先回顾一下单一样本的logistic回归损失函数的公式，公式如下：将logistic函数用计算图表示出来(以两个基础量为例)，计算图如下：前向传播已经完成，接下来完成后向传播运用链式法则依次求出

蹲家宅宅·2023-12-03 20:09

【动手学深度学习】(八)数值稳定和模型初始化

文章目录一、理论知识一、理论知识1.神经网络的梯度考虑如下有d层的神经网络计算损失l关于参数Wt的梯度（链式法则）2.数值稳定性常见的两个问题3.梯度爆炸4.梯度爆炸的问题值超出阈值对于16位浮点数尤为严重对学习率敏感如果学习率太大

释怀°Believe·2023-12-03 04:50

【深度学习笔记】03 微积分与自动微分

03微积分与自动微分导数和微分导数解释的可视化偏导数梯度链式法则自动微分非标量变量的反向传播分离计算导数和微分假设我们有一个函数f:R→Rf:\mathbb{R}\rightarrow\mathbb{R

LiuXiaoli0720·2023-11-26 09:27

【机器学习】038_梯度消失、梯度爆炸

一、原因神经网络梯度·假设现在有一个层的神经网络，每层的输出为一个对输入作变换的函数结果·用来表示第层的输出，那么有下列公式：·链式法则计算损失关于某一层某个参数的梯度：·注意到，为向量，这相当于一个d-t

Cyan.__·2023-11-21 08:20

推荐频道