反向传播

Pytorch分布式训练：DDP

DDP的大致原理是模型进行拷贝，数据多路输入在模型中求梯度、求多个模型的均值梯度统一做反向传播，大致的前向传播如下图，反向太复杂了不描写，感兴趣
Silver__Wolf·2024-01-26 18:04

基于LSTM深度学习模型进行温度的单步预测(使用PyTorch构建模型)

接着，我们进行了多轮训练，每轮训练包括前向传播、计算损失、反向传播和更新权重等步骤。最后，我们使用训练好的模型进行了温度预测，并将预测结果与真实温度值进行了比较。
孝钦显皇后给过版权费了·2024-01-26 17:00

学习笔记-李沐动手学深度学习（一）（01-07，概述、数据操作、tensor操作、数学基础、自动求导（前向计算、反向传播））

个人随笔第三列是jupyter记事本官方github上啥都有（代码、jupyter记事本、胶片）https://github.com/d2l-ai多体会【梯度指向的是值变化最大的方向】符号维度（弹幕说）2，3，4越后面维度越低4就是一维有4个标量00-预告01-课程安排02-深度学习介绍【语言是一个符号】【深度学习是机器学习的一种】最热的方向：深度学习和CV、NLP结合【AI地图】①如下图所示，X
kgbkqLjm·2024-01-26 17:28

通过活动稀疏性和时间上稀疏反向传播的高效循环架构

这使得通过时间反向传播(
fayetdd·2024-01-26 09:41

NNI --模型剪枝

冗余元素从模型中修剪，其值归零，我们确保它们不参与反向传播过程。修剪深度学习模型有三种常见做法，NNI通过在关键修剪阶段工作来支持上述所有修剪实践。
Good@dz·2024-01-26 01:33

BP神经网络需要像深度学习一次次的迭代训练吗?

其训练过程包括正向传播和反向传播两个阶段。在正向传播阶段，输入数据通过神经网络的
小桥流水---人工智能·2024-01-25 17:24

[pytorch] 8.损失函数和反向传播

损失函数torch提供了很多损失函数，可查看官方文档LossFunctions部分作用：计算实际输出和目标输出之间的差距为更新输出提供一定的依据（反向传播），grad损失函数用法差不多，这里以L1Loss
晴空对晚照·2024-01-25 09:14

pytorch学习3——卷积神经网络

，前面是权重参数，后面的1000是偏执参数数量2.池化层基础问题解析：选项1：错误，池化层有参与模型的正向计算，同样也会参与反向传播选项2：正确，池化层直接对窗口内的元素求最大值或平均值，并没有模型参数参与计算循环神经网络描述解析
柠檬酸的很·2024-01-25 04:16

01 机器学习与深度学习

常见算法有逻辑回归和反向传播神经网络。2.无监督式学习训练数据仅包含输入，没有正确输出。通过研究数据的特征和进行数据的处理、分析，获得一个结果。常见算法包括Apriori算法、k-Means
幽径微澜·2024-01-24 11:47

吴恩达【深度学习】笔记03——深层神经网络（Deep Neural Networks）

文章目录一、深层神经网络（DeepL-layerneuralnetwork）二、前向传播和反向传播（Forwardandbackwardpropagation）1.Forwardpropagation2
无糖馥芮白·2024-01-24 08:57

pytorch（三）反向传播

文章目录反向传播tensor的广播机制反向传播前馈过程的目的是为了计算损失loss反向传播的目的是为了更新权重w，这里权重的更新是使用随机梯度下降来更新的。
@@老胡·2024-01-24 06:26

复现NAS with RL时pytorch的相关问题

如果在反向传播前不将梯度清零，那
ThreeS_tones·2024-01-24 02:38

2024/1/21周报

文章目录摘要Abstract文献阅读题目问题与创新方法RNN网络LSTM网络目标变量与外部变量的相关性实验数据集评估准则参数设置实验结果深度学习GRU网络结构介绍前向传播过程反向传播过程简单的GRU代码实现总结摘要本周阅读了一篇基于
user_s1·2024-01-23 14:39

pytorch学习笔记（十）

Loss作用：1.算实际输出和目标之间的差距2.为我们更新输出提供一定的依据（反向传播）看官方文档每个输入输出相减取平均取绝对值再取平均第一个损失函数：L1Loss（差的绝对值取平均）需要注意输入输出N
満湫·2024-01-23 10:45

Pytorch自动求导机制

PyTorch框架可以帮我们计算好反向传播，需要求导的，可以手动定义示例：#先构造一个随机的三行四列矩阵，两种方法都可以#方法1x=torch.randn(3,4,requires_grad=True)
何仙鸟·2024-01-23 10:14

解密神经网络：深入探究传播机制与学习过程

激活函数的作用三、前向传播1.数据流动：输入到输出2.加权和与激活3.示例：简单网络的前向传播四、损失函数与性能评估1.损失函数的定义与重要性2.常见的损失函数类型3.评估模型性能的指标4.性能评估的实际应用五、反向传播与梯度下降
机智的小神仙儿·2024-01-23 07:40

李沐深度学习-多层感知机从零开始

梯度的产生是由于反向传播，在自定义从零开始编写代码时，第一次反向传播前应该对params参数的梯度进行判断importtorchimportnumpyasnpimporttorch.utils.dataasDataimporttorchvision.datasetsimporttorchvision.transformsastransformsimportsyssys.path.append
大小猫吃猫饼干·2024-01-23 02:16

反向传播

一、前言这是一场以误差（Error）为主导的反向传播（BackPropagation）运动，旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务中去。
将_4c15·2024-01-22 15:26

深度学习Pytorch中计算图的概念及理解

反向传播Backpr
广东工商职业技术大学人工智能实验室·2024-01-21 14:17

大模型多卡训练原理

数据并行每张卡加载不同的数据，将计算结果合并存在问题：每个显卡都加载了模型，浪费了一定空间二、模型并行：适合模型特别大的情况1、串行计算先用卡1计算结果1，然后卡2计算结果2，……卡n计算结果n，然后计算损失反向传播串行计算
南宫凝忆·2024-01-21 13:32

Pytorch自动微分计算笔记

Pytorch官方文档AutomaticDifferentiation的链接AutomaticDifferentiation反向传播(backpropa
竹底蜉蝣·2024-01-21 00:52

3D点云深度学习处理的基本概念

4.反向传播：利用误差更新权重矩阵。通过链式法则（ChainRule）计算损失函数相对于权重矩阵的
长安海·2024-01-20 23:24

动手学深度学习6 自动求导

2.非标量变量的反向传播3.分离计算4.Python控制流的梯度计算QA1.ppt上隐式构造和显示构造为什么看起来差不多？
陌上阳光·2024-01-20 04:47

IMDB电影评论的情感分析——paddle

项目地址：IMDB电影评论的情感分析-飞桨AIStudio星河社区(baidu.com)1.实验介绍1.1实验目的理解并掌握循环神经网络的基础知识点，包括模型的时序结构、模型的前向传播、反向传播等掌握长短时记忆网络
伪_装·2024-01-19 11:23

深度学习 | 三个概念：Epoch, Batch, Iteration

（也就是说，所有训练样本在神经网络中都进行了一次正向传播和一次反向传播）再通俗一点，一个Epoch就是将所有训练样本训练一次的过程。然而，当一个Epoch的样本（也就是所有的训练样本）数量可
柠檬先生在搬砖·2024-01-19 04:36

隐马尔可夫模型【维特比算法】

第一章机器学习简介第二章感知机第三章支持向量机第四章朴素贝叶斯分类器第五章Logistic回归第六章线性回归和岭回归第七章多层感知机与反向传播【Python实例】第八章主成分分析【PCA降维】第九章隐马尔可夫模型文章目录机器学习笔记一
格兰芬多_未名·2024-01-19 03:21

奇异值分解(SVD)【详细推导证明】

第一章机器学习简介第二章感知机第三章支持向量机第四章朴素贝叶斯分类器第五章Logistic回归第六章线性回归和岭回归第七章多层感知机与反向传播【Python实例】第八章主成分分析【PCA降维】第九章隐马尔可夫模型第十章奇异值分解文章目录机器学习笔记一
格兰芬多_未名·2024-01-19 03:20

Kaggle知识点：训练神经网络的7个技巧

来源：Coggle数据科学神经网络模型使用随机梯度下降进行训练，模型权重使用反向传播算法进行更新。
Imagination官方博客·2024-01-19 00:56

反向传播(Back Propagation)

目录回顾简单模型的梯度计算反向传播计算图链式求导链式法则定理：Forward前馈计算反向传播BackPropagation例子线性模型的计算图计算前馈过程反向传播过程（逆向求导）练习Pytorch中的前馈过程和反向传播过程
chairon·2024-01-17 14:56

深度学习基础知识整理

这可以通过反向传播算法和梯度下降等优化
Do1phln·2024-01-17 07:01

深度学习——第7章 项目实战：自己动手写一个神经网络模型

第7章项目实战：自己动手写一个神经网络模型目录7.1导入数据集7.2定义神经网络输入层、隐藏层、输出层神经元个数7.3网络参数W和b初始化7.4正向传播过程7.5损失函数7.6反向传播过程7.7网络参数更新
曲入冥·2024-01-16 21:01

为什么CNN反向传播计算梯度时需要将权重旋转180度

参考博客https://manutdzou.github.io/2016/05/17/Why-computing-the-gradients-CNN,-the-weights-need-to-be-rotated.html该博客中介绍的较为详细，需要有基本的机器学习知识可以看懂，本菜对自己其推导的过程中做少量的注解。首先是其中关于卷积核翻转180°和误差δ卷积这一部分，刚开始看的一脸懵逼，为什么2
spectre_hola·2024-01-16 15:29

【MATLAB随笔】遗传算法优化的BP神经网络（随笔，不是很详细）

遗传算法1.3遗传算法优化的BP神经网络二、代码解读2.1数据预处理2.2GABP2.3部分函数说明一、算法思想1.1BP神经网络BP神经网络（BackpropagationNeuralNetwork，反向传播神经网络
感谢地心引力·2024-01-16 15:49

YOLOv8目标检测中数据集各部分的作用

这三个数据集在训练和评估过程中具有不同的作用：训练集（TrainingSet）：用于模型的训练，即通过反向传播和梯度下降等优化算法来调整模型的权重，使其能够从数据中学到有用的特征和模式。
Asus.Blogs·2024-01-16 06:09

深度学习笔记（六）——网络优化（2）：参数更新优化器SGD、SGDM、AdaGrad、RMSProp、Adam

并且了解了激活函数和损失函数在神经网络中发挥的重要用途，其中，激活函数优化了神经元的输出能力，损失函数优化了反向传播时参数更新的趋势。我们知道在简单的反
絮沫·2024-01-15 10:49

深度学习面试题

一、神经网络基础问题（1）Backpropagation（反向传播）后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法则对参数进行一层一层的求导。
AI信仰者·2024-01-14 17:35

李沐 《动手学深度学习》预备知识 线性代数与微积分

预备知识张量操作与数据处理文章目录系列文章目录一、线性代数（一）标量、向量、矩阵、张量（二）张量运算的基本性质（三）降维（四）点积（五）矩阵向量积、矩阵乘法（六）范数二、微积分（导数、偏导数、梯度、链式法则）三、自动微分（一）非标量变量的反向传播
丁希希哇·2024-01-14 07:52

[DL]深度学习_神经网络

bp神经网络推导过程目录一、前向传播二、反向传播1、定义2、优化算法三、神经网络整体架构1、基本架构2、隐藏层3、神经元个数对结果的影响4、正则化对结果的影响四、数据预处理1、数据预处理步骤2、数据标准化
IAz-·2024-01-14 05:21

损失函数介绍

目录损失函数平均绝对误差均方误差交叉熵损失反向传播实战环节损失函数损失函数（LossFunction）是一种用于衡量模型预测值与真实值之间差异的函数。
睡不醒的毛毛虫·2024-01-14 02:44

深度学习笔记（三）——NN网络基础概念（神经元模型，梯度下降，反向传播，张量处理）

文中程序以Tensorflow-2.6.0为例部分概念包含笔者个人理解，如有遗漏或错误，欢迎评论或私信指正。截图部分引用自北京大学机器学习公开课人工智能算法的主流分类首先明白一个概念，广义上的人工智能算法并不是只有MachineLearning或DeepLearning，而是一个相对的，能够使用计算机模拟人类智能在一定场景下自动实现一些功能。所以系统控制论中的很多最优控制算法同样可以称之为智能算法
絮沫·2024-01-14 00:39

权值初始化

梯度消失指的是在反向传播过程中，梯度逐渐变小，导致较远处的层对参数的更新影响较小甚至无法更新。这通常发生在深层网络中，特别是使用某些激活函数（如sigmoid函数）时。
-恰饭第一名-·2024-01-13 23:11

2、 前馈和反馈神经网络

*2、应用****3、CNN的类型综述**二、RNN**1、结构****2、应用****3、RNN类型**三、GAN**1、结构****2、应用****3、GAN类型**四、FCN五、ResNet六、反向传播
爱补鱼的猫猫·2024-01-13 17:02

深度学习学习笔记+知识点总结(4万字)

文章目录深度学习神经网络中的Epoch、Iteration、Batchsize反向传播（BP）CNN本质和优势鞍点的定义和特点？神经网络数据预处理方法有哪些？神经网络怎样进行参数初始化？
搬砖成就梦想·2024-01-13 16:45

逻辑回归、深度学习简介、反向传播

LogisticRegression逻辑回归模型介绍LogisticRegression虽然被称为回归，但其实际上是分类模型，并常用于二分类。LogisticRegression因其简单、可并行化、可解释强深受工业界喜爱。Logistic回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。Logistic分布是一种连续型的概率分布，其分布函数和密度函数分别为：Logistic分布
梦码城·2024-01-12 17:57

YOLOv2相比YOLOv1有哪些进步及改变？

2.1预测更准确（better）2.1.1batchnormalization批标准化有助于解决反向传播过程中的梯
AAI机器之心·2024-01-12 15:21

深度学习课程实验二深层神经网络搭建及优化

实验步骤初始化1、导入所需要的库2、搭建神经网络模型3、零初始化4、随机初始化5、He初始化6、总结三种不同类型的初始化正则化1、导入所需要的库2、使用非正则化模型3、对模型进行L2正则化（包括正向和反向传播
叶绿体不忘呼吸·2024-01-12 00:32

08-20201012 感知机2 感知机的权重调整过程叫不叫反向传播？

神经网络的学习主要蕴含在权重和阈值中，多层网络使用上面简单感知机的权重调整规则显然不够用了，BP神经网络算法即误差逆传播算法（errorBackPropagation）正是为学习多层前馈神经网络而设计，BP神经网络算法是迄今为止最成功的的神经网络学习算法。上图的网络中有(d+l+1)*q+l个参数需要确定：输入层到隐层的d×q个权重，隐层到输出层q×l个权重、q个隐层神经元的阈值、l个输出神经元的
野山羊骑士·2024-01-11 12:08

深度学习中Epoch和Batch Size的关系

在一个Epoch内，神经网络会看到训练数据集中的所有样本一次，进行前向传播、反向传播，并更新权重。BatchSize（批大小）：BatchSize定义了在每次权重更新之前，模型看到的
Cc小跟班·2024-01-10 11:06

反向传播算法推导过程（看一篇就够了）

反向传播BackPropagation算法简称BP，算是神经网络的基础了。在神经网络中，正向传播用于模型的训练，模型中的参数不一定达到最佳效果，需要进行“反向传播”进行权重等参数的修正。
你好，明天，，·2024-01-10 06:34

梯度下降和反向传播：能改

一、背景1.问题通过顶点坐标公式，求解出抛物线最低点的w坐标，得到了让误差代价最小的w。同样的，也通过算数说明了这种一步到位求解的方式固然是好，但是在输入特征过多、样本数量过大的时候，却非常消耗计算资源。2.思考抛物线最低点的寻找过程，其实不必一步到位，大可以采用一点点挪动的方式。通过在代价函数e与神经元的权重w图像上挪动w过程中发现，在最低点左侧，需要不断将w调大，在最低点右边，需要不断把w调小
一米阳光_Angel·2024-01-10 06:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他