链式法则

李宏毅机器学习笔记——反向传播算法

反向传播的基本原理反向传播的核心思想是利用链式法则（ChainRule）来高效地计算损失函数相对于每个参数的梯度。以下是反向传播的基本步骤：前向传播（Forwa

小陈phd·2024-09-04 10:07

深度学习速通系列:梯度消失vs梯度爆炸

梯度消失（VanishingGradientProblem）定义：梯度消失是指在深层神经网络的反向传播过程中，由于链式法则，梯度值随着层数的增加而迅速减小，最终趋近于零。

Ven%·2024-08-31 23:31

反向传播算法：深度神经网络学习的核心机制

反向传播算法的基本概念反向传播算法结合了梯度下降优化和链式法则，通过计算损失函数关于网络参数的梯度来更新网络权重。1.损失函数

2402_85758936·2024-08-28 08:22

神奇的微积分

•反向传播：在神经网络训练中，微积分的链式法则用于计算整个网络中每个参数对于最终损失函数的影响（偏导数），这一过程就是反向

科学的N次方·2024-03-19 05:14

深度学习之反向传播算法的直观理解

简单的理解，它的确就是复合函数的链式法则，但其在实际运算中的意义比链式法则要大的多。要回答题主这个问题“如何直观的解释backpropagation算法？”需要先直观理

Stark0x01·2024-02-20 01:28

机器学习入门--BP神经网络原理与实践

数学原理BP算法的数学原理基于链式法则计算梯度。考虑一个简单的两层神经

Dr.Cup·2024-02-13 13:37

机器学习入门（10）— 浅显易懂的计算图、链式法则讲解

1.计算图概念计算图将计算过程用图形表示出来。这里说的图形是数据结构图，通过多个节点和边表示（连接节点的直线称为“边”）。2.计算图求解问题1：小明在超市买了2个100日元一个的苹果，消费税是10%，请计算支付金额。计算图通过节点和箭头表示计算过程。节点用○表示，○中是计算的内容。将计算的中间结果写在箭头的上方，表示各个节点的计算结果从左向右传递。用计算图解问题1，求解过程如图5-1所示。虽然图5

wohu007·2024-01-31 23:41

深度学习第3次作业浅层神经网络

二层神经网络.png反向传播是将loss反向传播回去，本质是链式法则求导，然后更新权重参数。

S_Valley_DiDa·2024-01-30 21:54

1.23神经网络框架（sig函数），逆向参数调整法（梯度下降法，链式法则（理解，及处理多层神经网络的方式））

框架输入层隐藏层存在一个阈值，如果低于某一阈值就不激活；高于了就激活输出层逆向参数调整方法初始阶段，随机设置权重值w1,w2依据训练集两个数学方法（梯度下降、链式法则）调参借助两个数学方法当导数为负时，

CQU_JIAKE·2024-01-29 11:15

【01】深度学习——数学基础 | 线性代数 | 微积分 |概率

Matrix)1.3.1矩阵转置1.3.2矩阵乘法1.3.3矩阵乘法的性质1.4张量（Tensor）2.微积分2.1极限2.2导数2.2.1导数和极限2.2.2导数和极限2.3微分2.4偏导数2.5梯度2.6链式法则

花落指尖❀·2024-01-26 10:53

3D点云深度学习处理的基本概念

通过链式法则（ChainRule）计算损失函数相对于权重矩阵的

长安海·2024-01-20 23:24

动手学深度学习5 矩阵计算

矩阵计算--矩阵怎么求导数1.导数和微分2.偏导数3.梯度1.向量-标量求导2.向量-向量求导3.拓展到矩阵4.链式法则5.小结QA练习课程安排：视频：https://www.bilibili.com/

陌上阳光·2024-01-20 04:49

反向传播(Back Propagation)

目录回顾简单模型的梯度计算反向传播计算图链式求导链式法则定理：Forward前馈计算反向传播BackPropagation例子线性模型的计算图计算前馈过程反向传播过程（逆向求导）练习Pytorch中的前馈过程和反向传播过程

chairon·2024-01-17 14:56

深度学习面试题

一、神经网络基础问题（1）Backpropagation（反向传播）后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法则对参数进行一层一层的求导。

AI信仰者·2024-01-14 17:35

李沐《动手学深度学习》预备知识线性代数与微积分

》预备知识张量操作与数据处理文章目录系列文章目录一、线性代数（一）标量、向量、矩阵、张量（二）张量运算的基本性质（三）降维（四）点积（五）矩阵向量积、矩阵乘法（六）范数二、微积分（导数、偏导数、梯度、链式法则

丁希希哇·2024-01-14 07:52

反向传播

线性反向传播的原理和算法Python实现：线性反向传播是指在神经网络中只有线性激活函数的情况下，通过链式法则计算每个参数的梯度。具体步骤如下：前向传播：计算网络的输出值。

人工智能教学实践·2024-01-08 14:18

反向传播与梯度下降

反向传播是一种计算梯度的方法，它基于链式法则来计算每个参数对网络误差的贡献。具体而言，反向传播从网络的输出层开始，通过将误差向后传递到每一层，计算每个参数对误差的影响。这样，我们可以知道如何微调每

人工智能教学实践·2024-01-08 14:17

深度学习之矩阵形式的链式法则推导

深度学习之矩阵形式的链式法则推导对于深度学习的基础“梯度下降”和“自动微分”的数学原理网上讲解的博客有很多了，但是目前没看到有讲关于矩阵形式的链式法则的内容，所以写了这篇笔记，供自己学习和复习。

月见团子tsukimi·2024-01-06 12:09

RNN 为什么不能直接反向传播？为什么会出现梯度消失和梯度爆炸？

首先我们回顾一下普通的反向传播，过程如下所示：、、我们为了简便暂时不考虑激活函数，我们可以用以下的链式法则计算：这个是非常简单的，现在我们来看看RNN是什么样子的：这样我们就不能直接求偏导了，如果我们还是按照上面那种方法求偏导

Humprey·2024-01-04 08:26

卷积神经网络反向传播

更新权重，我们首先需要知道损失梯度，损失梯度实际上是损失根据所需要的更新的权重求偏导，而要求解这个偏导，我们要通过链式法则来求解。成功求解损失梯度后，要通过梯度下降的方法来更新我

pythonSuperman·2023-12-28 17:43

[足式机器人]Part2 Dr. CAN学习笔记-Ch00 - 数学知识基础

-Ch00-数学知识基础1.Ch0-1矩阵的导数运算1.1标量向量方程对向量求导，分母布局，分子布局1.1.1标量方程对向量的导数1.1.2向量方程对向量的导数1.2案例分析，线性回归1.3矩阵求导的链式法则

LiongLoure·2023-12-27 14:12

循环神经网络中的梯度消失或梯度爆炸问题产生原因分析

（1）它要求我们将循环神经网络的计算图以此展开一个时间步，以获得模型变量和参数之间的依赖关系（2）然后，基于链式法则，应用反向传播来计算和存储梯度。

科学禅道·2023-12-22 15:00

MNIST手写数字识别——simple model Y = XW + b

文章目录数据处理MINIST手写数字数据集简单介绍一下数据集将数据集转化为csv文件简单的手写数字识别模型加载数据集定义模型和超参数前向传播sigmoid激活函数softmax函数交叉熵损失函数反向传播梯度下降法链式法则

涵涵不是憨憨~·2023-12-20 18:30

[PyTorch][chapter 8][李宏毅深度学习][Back propagation]

目录：链式法则模型简介（Model）损失函数,梯度手写例子min-batch一链式法则链式法则是反向传播算法里面的核心。

明朝百晓生·2023-12-19 08:11

张量，梯度，链式法则的基本概念

张量的基本概念张量是一种多维数组，支持在GPU上进行计算，是计算图中的节点，并且支持自动微分。张量的广播机制在进行运算时，如果两个张量在某个维度上的形状不匹配，那么系统会自动地在这个维度上扩展形状较小的张量，使得两个张量在这个维度上具有相同的形状。广播机制的例子a=torch.arange(3).reshape((3,1))b=torch.arange(2).reshape((1,2))print

hadiii·2023-12-16 11:20

深度学习记录--logistic回归函数的计算图

logistic回归函数先回顾一下单一样本的logistic回归损失函数的公式，公式如下：将logistic函数用计算图表示出来(以两个基础量为例)，计算图如下：前向传播已经完成，接下来完成后向传播运用链式法则依次求出

蹲家宅宅·2023-12-03 20:09

【动手学深度学习】(八)数值稳定和模型初始化

文章目录一、理论知识一、理论知识1.神经网络的梯度考虑如下有d层的神经网络计算损失l关于参数Wt的梯度（链式法则）2.数值稳定性常见的两个问题3.梯度爆炸4.梯度爆炸的问题值超出阈值对于16位浮点数尤为严重对学习率敏感如果学习率太大

释怀°Believe·2023-12-03 04:50

【深度学习笔记】03 微积分与自动微分

03微积分与自动微分导数和微分导数解释的可视化偏导数梯度链式法则自动微分非标量变量的反向传播分离计算导数和微分假设我们有一个函数f:R→Rf:\mathbb{R}\rightarrow\mathbb{R

LiuXiaoli0720·2023-11-26 09:27

【机器学习】038_梯度消失、梯度爆炸

一、原因神经网络梯度·假设现在有一个层的神经网络，每层的输出为一个对输入作变换的函数结果·用来表示第层的输出，那么有下列公式：·链式法则计算损失关于某一层某个参数的梯度：·注意到，为向量，这相当于一个d-t

Cyan.__·2023-11-21 08:20

【深度学习笔记】6.循环神经网络

下面这个计算图表示复合函数关于计算图的求导，我们可以用链式法则表示，有下面两种情况。情况1情况2[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SUose3jf-16

不休的turkeymz·2023-11-21 02:08

深度学习入门（第二天）——走进深度学习的世界神经网络模型

一、反向传播计算方法简单的例子：如何让f值更小，就是改变x、y、z，而损失函数也是这样，那么我们分别求偏导，则能得出每个值对结果的影响链式法则梯度是一步一步传的复杂的例子：二、神经网络整体架构类生物神经元左半边是生物学上的神经元

学术菜鸟小晨·2023-11-20 09:00

神经网络反向传播的数学原理

首先，反向传播的数学原理是“求导的链式法则”:设f和g为x的可导函数，则。

金戈鐡馬·2023-11-19 19:11

pytorch的backward()的底层实现逻辑

通过从根节点到叶子节点追踪这个图，可以使用链式法则（chainrule）自动地计算梯度。在前向传播（

子燕若水·2023-11-19 14:08

上海交大全球午餐会——大语言模型机器学习ChatGPT（主讲人：赵海）

语言概率链式法则改变：是有全空模型，自己模型不久之前：预训练+微调现在：大模型量变引起质变

zRezin·2023-11-15 09:59

自己动手实现一个深度学习算法——五、误差反向传播法

文章目录五、误差反向传播法1.计算图1）概念2）计算图3）局部计算4）计算图解题优点2.链式法则1）计算图的反向传播2)什么是链式法则3）链式法则和计算图3.反向传播1）加法节点的反向传播2）乘法的反向传播

千里之行起于足下·2023-11-11 07:14

向量对向量求导，链式法则

另优秀翻译：https://zhuanlan.zhihu.com/p/142668996链式法则注意：这里的乘法变成了innerproduct推导过程中比较关键的点：除了利用这文献所讲的分量慢慢推，还有一个要点

构建的乐趣·2023-11-08 19:39

LSTM与梯度消失

在反向传播中，根据求导的链式法则，这种形式求得的梯度为一个矩阵W与激活函数导数的乘积。如果进行n次反向传播，梯度变化将会变为（W*f”）的n次方累乘。

杨晓茹·2023-11-07 21:12

第一章《补基础:不怕学不懂微积分》笔记

微积分包含众多知识点，例如极限概念、求导公式、乘积法则、链式法则、隐函数求导、积分中值定理、泰勒公式等。

Mamong·2023-11-07 13:13

深度学习笔记003 数据操作&线性代数&自动求导及实现

自动求导及实现自动求导区别符号计算与数值拟合pythorch实用计算图(有点像链式法则)显示构造就像小学的先化简再赋值:隐式构造就是让系统先记住值：两个计算方式：

FakeOccupational·2023-11-06 08:09

论文阅读：ByteNet, Neural Machine Translation in Linear Time

与PixelCNN类似，t的联合概率分布可以通过链式法则转化为连续的p(ti|t

qq184861643·2023-10-26 07:32

“深度学习”如何入门？学习路径篇

可能有同学一听到微积分就头痛，不过没关系，深度学习用的微积分知识不多，主要是导数，梯度，链式法则。基本上也就是书上一两章的内容，这些弄懂基本足够了。如果想深入一些，可以再补一补函数极值，牛

余老师讲机器学习·2023-10-23 16:15

【数之道 05】走进神经网络模型、机器学习的世界

神经网络神经网络（ANN）神经网络基础激活函数神经网络如何通过训练提高预测准确度逆向参数调整法（BackPropagation）梯度下降法链式法则增加一层b站视频连接神经网络（ANN）最简单的例子，视频的推送

醉酒柴柴·2023-10-20 23:48

bp（back propagation）

文章目录定义过程前向传播计算过程计算损失函数（采用均方误差MSE）反向传播误差（链式法则）计算梯度更新参数简单实例定义反向传播全名是反向传播误差算法（Backpropagation），是一种监督学习方法

怎么全是重名·2023-10-20 20:52

数学分析课本大纲

多种重要函数由旧函数衍生出的新函数指数函数反函数和对数函数第二章极限与导数切线与速率问题函数的极限用极限法则求极限极限的准确定义连续性无限处的极限；垂直渐近线导数和变化速率导数的函数第三章微分法则多项式和指数函数的的导数乘法法则与除法法则三角函数的导数链式法则隐函数求导自然与社会中的变化速率指数级增长和衰减相关变率线性近似和微分双曲函数第四章微分的应用最

Fetiss·2023-10-19 18:42

Chapter2——导数与微分

1.3.2反函数求导反函数的导数等于原来函数导数的倒数1.3.3复合函数求导（重要）链式法则

crishawy·2023-10-13 07:40

系列论文阅读——Policy Gradient Algorithms and so on(3)

以critic为Q函数为例，此时的动作是确定的，因此不需要再针对做期望，可以直接用估计累计回报，目标函数为：根据链式法则求出它的梯度是：

想学会飞行的阿番·2023-10-13 00:13

李宏毅机器学习（九）Backpropagation反向传播

也知道采用梯度下降优化我们的各神经元参数，以语音识别为例，一个输入特征量1000多项，8层隐层，大致需要的w,b参数有数百万项，这样我们梯度下降的计算量是非常大的，我们为了让梯度下降计算的更有效率，我们才有反向传播的方法插图1链式法则

ca8519be679b·2023-10-12 12:58

深度学习DAY3:神经网络训练常见算法概述

反向传播算法（Backpropagation）：反向传播是一种基于链式法则的方法，用于计算神经网络中每个神经元的梯度。这些梯度用于更新权重，以减小损失函数。反向传播通常与

小白脸cty·2023-10-10 20:27

【AI】深度学习——前馈神经网络——全连接前馈神经网络

文章目录1.1全连接前馈神经网络1.1.1符号说明超参数参数活性值1.1.2信息传播公式通用近似定理1.1.3神经网络与机器学习结合二分类问题多分类问题1.1.4参数学习矩阵求导链式法则更为高效的参数学习反向传播算法目标计算

AmosTian·2023-10-10 10:37

链式法则（Chain Rule）

定义链式法则（ChainRule）是概率论和统计学中的一个基本原理，用于计算联合概率分布或条件概率分布的乘积。它可以用于分解一个复杂的概率分布为多个较简单的条件概率分布的乘积，从而简化概率分析问题。

Chen_Chance·2023-10-06 07:37

推荐频道