反向传播

【python】神经网络

构建神经网络的典型流程1.定义一个拥有可学习参数的神经网络2.遍历训练数据集3.处理输入数据使其流经神经网络4.计算损失值5.将网络参数的梯度进行反向传播6.以一定的规则更新网络的权重卷积神经网络（pytorch
岩塘·2024-01-09 08:43

Pytorch 反向传播 计算图被修改的报错

先看看报错的内容RuntimeError:oneofthevariablesneededforgradientcomputationhasbeenmodifiedbyaninplaceoperation:[torch.FloatTensor[5,1]],whichisoutput0ofAsStridedBackward0,isatversion2;expectedversion1instead.H
Midsummer啦啦啦·2024-01-09 07:06

09-20201012 感知机3-感知机的前向传播和反向传播

可用如下图表示反向传播就是通过真实值和预测值的产生的误差返回去调整w和b的过程用流程图来表示，如下说到这里，正向传播就是y=wx+b，如此简单。那么这个反向传播的这个loss如果得到呢？
野山羊骑士·2024-01-09 06:18

一句话总结卷积神经网络

训练时依然采用了反向传播算法，求解的问题不是凸优化问题。和全连接神经网络一样，卷积神经网络是一个判别模型，它既可以用于分类问题，也可以用用于回归问题，并且支持多分类问题。
城市中迷途小书童·2024-01-09 00:48

反向传播

反向传播（Backpropagation）是一种用于训练神经网络的算法，它通过计算损失函数对网络中每个参数的梯度，从而更新参数以最小化损失函数。反向传播算法可以分为线性反向传播和非线性反向传播。
人工智能教学实践·2024-01-08 14:18

反向传播和梯度下降-1

反向传播是梯度下降的一种，许多教科书中通常互换使用这两个术语。首先，让我们探讨一下梯度。本质上，训练是对权重集的搜索，这将使神经网络对于训练集具有最小的误差。
人工智能教学实践·2024-01-08 14:48

反向传播与梯度下降

反向传播和梯度下降是两个关键步骤，用于计算并更新这些参数。反向传播是一种计算梯度的方法，它基于链式法则来计算每个参数对网络误差的贡献。
人工智能教学实践·2024-01-08 14:17

2023.12.24周报

目录摘要ABSTRACT一、论文阅读1、题目2、摘要3、创新点4、模型整体架构5、文章解读1、Introduction2、相关工作3、实验4、结论二、深度学习一、GRU前向传播二、GRU反向传播三、GRU
Nyctophiliaa·2024-01-08 14:34

李宏毅机器学习第一周_初识机器学习

LookingforFunction2、认识一些专有名词二、预测YouTube某天的浏览量一、利用Linearmodel二、定义更复杂的函数表达式三、ReLU函数四、Sigmoid函数与ReLU函数的对比三、反向传播
Nyctophiliaa·2024-01-08 14:04

神经网络中参数与超参数的区别是什么?

在训练过程中，通过反向传播和梯度下降等方法不断更新这些参数，以最小化损失函数。作用：参数直接决定了
CA&AI-drugdesign·2024-01-08 11:21

【Python】全连接神经网络

全连接神经网络一、前言二、反向传播算法（Backpropagation）3.1简单介绍3.2核心思想3.3应用三、全连接神经网络3.1基本原理3.2学习率和损失率3.2实现一、前言全连接神经网络（FullyConnectedNeuralNetwork
Jc.MJ·2024-01-08 10:56

线性回归模型：简化版的神经网络

线性回归与神经网络的联系与区别：理解线性梯度反向传播线性回归模型通常被视为神经网络的最简形式，尽管它不具备深度神经网络的复杂多层结构。
Aitrainee·2024-01-07 22:05

线性回归与神经网络的联系与区别：理解线性梯度反向传播

线性回归所以说线性回归模型就是最简单的一种神经网络吗线性回归模型可以看作是一种简单的神经网络模型。虽然它没有像深度神经网络那样多层结构，但它依然包含了输入层、输出层和可调参数（权重和偏置项），并且也需要使用梯度下降算法来训练模型。在线性回归模型中，我们假设输入和输出之间存在线性关系，即输出是输入的加权和加上一个偏置项。我们通过训练来找到最优的权重和偏置项，使得模型的预测值和真实值之间的误差最小。在
Aitrainee·2024-01-07 22:35

深度学习

PyTorch初级教程PyTorch深度学习开发环境搭建全教程深度学习bug笔记深度学习基本理论1：（MLP/激活函数/softmax/损失函数/梯度/梯度下降/学习率/反向传播/深度学习面试）深度学习基本理论
机器学习杨卓越·2024-01-07 19:14

FCN学习-----第一课

语义分割中的全卷积网络CVPRIEEE国际计算机视觉与模式识别会议PAMIIEEE模式分析与机器智能汇刊需要会的知识点：神经网络：前向传播和反向传播卷积神经网络：CNN，卷积，池化，上采样分类网络：VGG
湘溶溶·2024-01-07 07:56

深度学习中的反向传播数学计算过程

反向传播的数学计算过程1计算关于X关于的雅可比矩阵2计算各分量的偏导和**/**v投影各方向上的累加和3确定最终分量的梯度计算表达式4y.backward(v)根据函数中有无参数v进行计算=======
大小猫吃猫饼干·2024-01-07 07:25

李沐-《动手学深度学习》-- 01-预备知识

中的每一个元素对矩阵B中的每一个元素求导梯度指向的是值变化最大的方向分子布局和分母布局：b.常识axis=1代表行axis=0代表列nn.model.eval()将模型设置为评估模式，只输入数据然后得出结果而不会做反向传播
叮咚Zz·2024-01-07 00:17

常见神经网络类型之前馈型神经网络

、前馈型神经网络常见的前馈型神经网络包括感知器网络、BP神经网络、RBF网络（径向基函数神经网络）（1）感知器网络:也被称作感知机，主要用于模式分类，也可以用作学习控制和基于模式分类的多模态控制（2）反向传播神经网络
繁花似锦之流年似水·2024-01-06 10:04

大语言模型占显存的计算和优化

per_device_train_batch_size*gradient_accumulation_steps=计算梯度的数据数）gradient_checkpointing（前项激活值里面有很多是不需要存的，可以在反向传播再次
鱼鱼9901·2024-01-05 12:39

神经网络中的梯度爆炸

梯度爆炸是深度学习中的一种常见问题，指的是在反向传播过程中，某些梯度的值变得非常大，导致数值溢出或趋近于无穷大。梯度爆炸通常会导致训练不稳定，模型无法收敛，或者产生不可靠的结果。
Recursions·2024-01-05 03:15

深度学习课程实验一浅层神经网络的搭建

2、理解神经网络的基础：通过实现一个简单的神经网络模型（即使它只有一个隐藏层），可以更好地理解神经网络的工作原理，包括前向传播和反向传播过程，以及如何通过调整权重和偏置来优化模型。3、为更复杂的任务
叶绿体不忘呼吸·2024-01-04 21:08

全连接网络、卷积神经网络、递归神经网络 通俗的解释

全连接网络在训练时通常使用反向传播算法来调整权
香至-人生万事须自为，跬步江山即寥廓。·2024-01-04 15:25

图像识别用什么神经网络,图神经网络可以做什么

尤其是基于误差反向传播（ErrorBackPropagation）算法的多层前馈
「已注销」·2024-01-04 13:16

【转】反向传播方向更新w和b的值（讲的很清楚！）

地址链接：https://www.kancloud.cn/chengjie/machinelearning-python-deeplearning-tensorflow/629941
mrcricket·2024-01-04 12:13

训练神经网络的7个技巧

随机梯度下降与批量学习三、技巧2：打乱样本顺序四、技巧3：标准化输入五、技巧4：激活函数六、技巧5：选择目标值七、技巧6：初始化权重八、技巧7：选择学习率九、其他总结前言神经网络模型使用随机梯度下降进行训练，模型权重使用反向传播算法进行更新
JOYCE_Leo16·2024-01-04 10:51

了解深度学习优化器：Momentum、AdaGrad、RMSProp 和 Adam

在训练过程中执行的最常见算法之一是反向传播，包括神经网络相对于给定损失函数的权重变化。反向传播通常通过梯度下降来执行，梯度下
无水先生·2024-01-04 09:13

RNN 为什么不能直接反向传播？为什么会出现梯度消失和梯度爆炸？

RNN应该是目前用的比较多的技术框架，无论是NLP还是CV等领域，今天我们就详细的讲解一下关于RNN的具体知识1、RNN为什么不能直接反向传播呢？
Humprey·2024-01-04 08:26

NNDL学期知识点总结 [HBU]

目录零碎考点第4章全连接神经网络/前馈神经网络4.1神经元4.1.1Sigmoid型函数4.1.2ReLu函数4.3前馈神经网络4.4反向传播算法卷积神经网络5.3参数学习5.4几种典型的卷积神经网络5.4.1LeNet
洛杉矶县牛肉板面·2024-01-04 07:24

52从 0 到 1 实现卷积神经网络--反向传播和多层神经网络实现

反向传播和多层神经网络实现在实验开始之前，为了方便阅读，并复用之前的部分代码，我们首先将上一次试验完成的内容粘贴至此。
Jachin111·2024-01-04 05:52

神经网络——torch.optim优化器的使用

backward()反向传播。文章目录一、官方文档1.什么是torch.optim？
baidu_huihui·2024-01-03 08:27

机器学习基础面试点

zhuanlan.zhihu.com/p/82105066一.常见手推公式部分1.1LR手推、求导、梯度更新1.2SVM原形式、对偶形式1.3FM公式推导1.4GBDT手推1.5XGB推导1.6AUC计算1.7神经网络的反向传播二
mylaf·2024-01-03 05:07

MATLAB下载DeepLearnToolbox-master工具箱

二、工具箱文件目录说明工具箱中包含的目录NN/-前馈反向传播神经网络库CN
小柴狗·2024-01-02 16:20

LeNet网络（1989年提出,1998年改进）

LeNet网络（1989年提出,1998年改进）1.LeNet网络简介LeNet:LeNet卷积神经网络的雏形：1989年，LeCun等人设计了用于手写邮政编码的卷积神经网络，并使用反向传播算法训练卷积神经网络
seasonsyy·2024-01-02 08:57

【深度学习：Recurrent Neural Networks】循环神经网络（RNN）的简要概述

常用激活函数RNN的优点和缺点RNN的优点：RNN的缺点：循环神经网络与前馈神经网络随时间反向传播(BPTT)标准RNN的两个问题RNN应用基本Python实现（RNN与Keras）经常问的问题结论苹果的
jcfszxc·2024-01-01 17:29

地球物理中的深度学习理论（DNN的架构、反向传播、梯度消失、梯度爆炸）

新的数据驱动技术，即深度学习（DL）引起了广泛的关注。DL能准确预测复杂系统，缓解大型地球物理应用中“维数灾难”。在未来地球物理学中涉及到DL的研究提供了几个有希望的方向，例如无监督学习（聚类）、迁移学习（利用之前标记好的数据）、多模态DL（通过DL实现和处理多元模态）、联邦学习、不确定性估计和主动学习。图1给出人工智能、机器学习、神经网络和深度学习之间的包含关系，以及深度学习方法的分类。图11、
hhhhhhhhhhyyyyyy·2024-01-01 12:56

【深度学习】第四章：反向传播-梯度计算-更新参数

四、训练模型：反向传播-梯度计算-更新参数1、计算图(ComputationalGraph)为什么深度网络模型不建议手写呢，因为底层有太多的东西，手写就写到地老天荒了，其中计算图就是一个难点。
宝贝儿好·2024-01-01 12:26

前馈神经网络复习

这样做的优点是在反向传播时加快网络中每层权重参数的收敛，避免Z型更新的情况，从而加快神经网络的收敛速度。零均值化，数据分布会距离零比较近，而激活函数在0附近
Simon52314·2024-01-01 07:47

Resnet BatchNormalization 迁移学习

梯度消失和梯度爆炸随着网络层数的不断加深，梯度消失和梯度爆炸的现象会越来越明显，梯度消失：假设每一层的误差梯度是一个小于1的数，那么在我们反向传播过程中，每向前传播一次，都要乘以
pythonSuperman·2024-01-01 04:39

【Matlab】BP 神经网络时序预测算法

其全称为“BackPropagation”，即反向传播算法。BP神经网络主要由输入层、隐藏层和输出层组成，每一层都由多个神经元组成。
千源万码·2023-12-31 05:26

【人工智能Ⅰ】实验9：BP神经网络

2：了解BP神经网络的结构，以及前向传播和反向传播的过程。3：学会利用BP神经网络建立训练模型，并对模型进行评估。即学习如何调用Sklearn中的BP神经网络。4：学会使用BP神经网络做预测。
MorleyOlsen·2023-12-31 01:24

【华为OD】人工智能面试题目

解释一下反向传播算法的基本原理。如何处理数据不平衡问题？什么是交叉验证？为什么它在机器学习中很重要？描述一下你使用过的聚类算法，以及它的应用场景。解释一下支持向量机的基本原理。
道亦无名·2023-12-30 10:13

tensorflow相关知识

反向传播就是梯度下降使用reverse-modeautodiffreverse-modeautodiff：反向模式自动微分（autodiff），通常称为反向传播，是一种用于训练人工神经网络的技术。
不做梵高417·2023-12-30 10:37

机器学习之BP神经网络精讲（Backpropagation Neural Network（附案例代码））

概念BP神经网络（BackpropagationNeuralNetwork）是一种常见的人工神经网络，它通过反向传播算法来训练网络，调整连接权重以最小化预测输出与实际输出之间的误差。
贾斯汀玛尔斯·2023-12-30 05:33

霹雳吧啦Wz《pytorch图像分类》-p1卷积神经网络LeNet

《pytorch图像分类》p1卷积神经网络基础及代码一、卷积神经网络1.反向传播（backpropagation）2.常用的激活函数二、神经网络层类型概述1.全连接层2.卷积层卷积过程中出现越界3.池化层
失舵之舟-·2023-12-30 05:03

大数据前馈神经网络解密：深入理解人工智能的基石

、前馈神经网络概述什么是前馈神经网络前馈神经网络的工作原理应用场景及优缺点二、前馈神经网络的基本结构输入层、隐藏层和输出层激活函数的选择与作用网络权重和偏置三、前馈神经网络的训练方法损失函数与优化算法反向传播算法详解避免过拟合的策略四
星川皆无恙·2023-12-29 12:48

sigmoid不是以0为中心造成的后果及原因

后果有可能导致网络收敛慢（我认为在某一层反向传播中，如果参数们本来就是都要增，都要减，那么在这一层收敛不受影响）如果参数们有的需要增有的需要减，这种情况下，收敛就像第二张图，明明可以走绿线进行收敛，但不得不走了红线
songyufeishibyr·2023-12-28 22:38

深度学习入门（python）考试速成之Softmax-with-Loss层

中只有正确解标签（表示）索引为1，其他均为0（one-hot表示）假设正确解标签索引为“2”，与之对应的神经网络输出是0.6，则交叉熵误差为;若“2”对应的输出是0.1，则交叉熵误差为结果是传给Softmax层的反向传播的输入
北辰Charih·2023-12-28 21:34

卷积神经网络 反向传播

误差的反向传播求w的误差梯度权值的更新首先是更新输出层和隐藏层之间的权重。
pythonSuperman·2023-12-28 17:43

卷积神经网络基础

全连接层BP（backpropagation）算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行。
pythonSuperman·2023-12-28 12:05

卷积 导数 反向传播

习题5-2证明宽卷积具有交换性，即公式(5.13)．宽卷积：给定一个二维图像和一个二维卷积核,对图像进行零填充，两端各补和个零，得到全填充的图像.图像和卷积核的宽卷积定义为。其中，表示宽卷积运算。在宽卷积中，卷积核的宽度大于输入数据的宽度。如果我们将输入数据表示为1维向量，卷积核的宽度通常是小于或等于输入数据的长度。但在宽卷积中，卷积核的宽度可以超过输入数据的长度。宽卷积可以带来以下好处：更大的感
Simon52314·2023-12-28 10:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他