反向传播

深度学习： Epoch、batchsize、iterations 是什么？

Epoch（英文：时代，阶段；一波，一轮）一个epoch,表示：所有的数据送入网络中，完成了一次前向计算+反向传播的过程。
弥途·2023-09-20 05:01

pytorch学习---实现线性回归初体验

步骤如下：准备数据计算预测值计算损失，把参数的梯度置为0，进行反向传播更新参数方式一该方式没有用pytorch的模型api，手动实现importtorch,numpyimportmatplotlib.pyplotasplt
韭菜盖饭·2023-09-19 23:44

神经网络的严冬-复兴

除了计算速度的因素外，还有一个根本问题就是反向传播时所谓的“梯度消失问题”（vanishinggradientproblem）。
sharekiller·2023-09-19 13:48

目标检测网络之Fast-RCNN

文章目录FastRCNN解决的问题FastRCNN网络结构RoIpoolinglayer合并损失函数及其传播统一的损失函数损失函数的反向传播过程FastRCNN的训练方法样本选择方法SGD参数设置多尺度图像训练
新兴AI民工·2023-09-18 22:53

PyTorch深度学习（四）【加载数据集、多分类问题】

第一个：Epoch.当所有的训练样本进行了一次前向传播和反向传播，整个过程就叫做一个Epoch,也就是说把所有样本都参与了训练就叫做一个Epoch。
每天都是被迫学习·2023-09-18 20:23

十.Tensorflow反向传播

ARegressionExampleWecreatearegressionexampleasfollows.Theinputdatawillbe100randomsamplesfromanormal(meanof1.0,stdevof0.1).Thetargetwillbe100constantvaluesof10.0.Wewillfittheregressionmodel:x_data*A=ta
愿风去了·2023-09-18 19:09

【PyTorch 攻略 （4/7）】张量和梯度函数

一、说明W在训练神经网络时，最常用的算法是反向传播。在该算法中，参数（模型权重）根据损失函数相对于给定参数的梯度进行调整。损失函数计算神经网络产生的预期输出和实际输出之间的差异。
无水先生·2023-09-18 15:19

PyTorch深度学习实战——基于ResNet模型实现猫狗分类

但并非仅增加网络层数，就可以获得更准确的结果，随着网络层数的增加可能会出现以下问题：梯度消失和爆炸：在网络层次过深的情况下，反向传播可能会面临梯度消失和爆炸的问
盼小辉丶·2023-09-17 16:27

深度学习保姆级教学

文章目录前言1.深度学习概论2.神经网络1.基础原理2.损失函数3.SoftMax4.前向传播5.反向传播1.反向传播介绍6卷积神经网络应用1.检测任务2.超分辨率重构3.医学检测4.无人驾驶5.人脸识别
泰勒朗斯·2023-09-17 15:11

PyTorch深度学习（二）【反向传播、用pytorch实现线性回归】

反向传播弄一个简单点的，两层的神经网络:加入激活函数：（不加激活函数的神经网络就是一个线性回归模型）用到的损失函数：pytorch里面的数据存储：tensor，它可以存标量、向量、矩阵、高维度数据等。
每天都是被迫学习·2023-09-17 06:17

【吴恩达老师《机器学习》】课后习题4之【神经网络反向传播】(代码注释详细)

前情回顾上一周是已经给定了神经网络的最优权重参数，接着直接代到前向传播里面去，算得最终的预测值就可以了。这周呢，需要搭建整个完整的神经网络，并且需要自己去进行训练，找到最终的这个优化的权重参数。可能需要的知识点来自网络前向传播知识点前向传播(Forwardpropagation)，也叫正向传播，是神经网络中的一项重要操作，用来将输入数据传递到网络的输出层。在前向传播过程中，输入数据通过神经网络依次
cx-young·2023-09-17 05:10

AutoEncoder

在训练的过程中，主要使用反向传播进行优化，使得输入和输出尽可能相似。PAC（上）和autoencod
魏清宇·2023-09-17 04:22

Pytorch学习整理笔记（二）

文章目录损失函数与反向传播优化器VGG模型使用与修改模型保存与读取损失函数与反向传播常见的损失函数：nn.L1Loss简单的做差值，nn.MSELoss平方差，nn.CrossEntropyLoss交叉熵见下图
高 朗·2023-09-17 00:43

深度学习中Epoch、Batch以及Batch size的设定

（也就是说，所有训练样本在神经网络中都进行了一次正向传播和一次反向传播）。再通俗一点，一个Epoch就是将所有训练样本训练一次的过程。
梦在黎明破晓时啊·2023-09-16 22:17

详解.detach()、 .data和.detach_()

当我们在训练网络的时候可能希望保持一部分的网络参数不变，只对其中一部分的参数进行调整；或者只训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播
云隐雾匿·2023-09-16 14:33

《动手学深度学习 Pytorch版》 5.1 层和块

层：接收一组输入生成相应输出由一组可调整参数描述块：可以描述单个层、由多个层组成的组件或整个模型本身讨论“比单个层大”但是“比整个模型小”的组件“块”更有价值从编程的角度看，块由类表示块必须具有反向传播函数
AncilunKiang·2023-09-16 07:56

使用 PyTorch 实现 Word2Vec 中Skip-gram 模型

在每个训练周期中，遍历数据加载器，对每个批次进行前向传播、计算损失、反向传播和权重更新。最后，得到训练得到的词向量，并可以使用word_vector来获取特定单词的词向量表示。
天一生水water·2023-09-14 19:53

梯度消失解释及简单举例

这个问题的核心是在反向传播过程中，梯度逐渐变得非常小，以至于权重更新几乎不再发生，导致模型难以训练或者收敛速度非常慢。这个问题通常出现在深度神经网络中，其中有很多层堆叠在一起。
汪VV·2023-09-14 09:50

残差网络、Dropout正则化、Batch Normalization浅了解

残差网络的优点有以下几点：残差网络可以有效地缓解梯度消失或爆炸的问题，因为跳跃连接可以提供一条更短的反向传播路径，使得梯度可以更容易地流动到较浅的层。
请让我按时毕业·2023-09-14 02:34

《动手学深度学习 Pytorch版》 4.7 前向传播、反向传播和计算图

4.7.3反向传播整节理论，详见书本。4.7.4训练神经网络整节理论，详见书本。练习（1）假设一些标量函数XXX的输入XXX是n×mn\timesmn×m矩阵。fff相对于XXX的梯度的维数是多少？
AncilunKiang·2023-09-13 21:56

手写单层神经网络预测波士顿房价

波士顿房价预测搭建神经网络搭建神经网络把数据集拆成训练集、验证集数据集归一化建立一个单神经元的“类”，属性有w和b向前运算的函数（预测房价）反向传播，训练参数的函数a.根据实际房价计算平方差b.根据实际房价计算梯度
pit_man·2023-09-13 00:48

Pytorch框架详解

（Autograd）2.2.1基本使用2.2.2计算梯度2.2.3停止追踪历史2.2.4自定义梯度函数2.2.5其他注意事项3.计算图和自动微分3.1计算图的概念3.1.1节点和边3.1.2前向传播和反向传播
@kc++·2023-09-12 13:14

pytorch（b站小土堆学习笔记P16）

损失函数和反向传播常用loss函数1.L1LOSSloss=nn.L1Loss()input=torch.randn(3,5,requires_grad=True)target=torch.randn(
Wall-E99·2023-09-12 09:32

AI入门指南：探索人工智能的基础原理和实际应用

提及反向传播算法的重要性。第二部分：AI的实际应用自然
执笔人·2023-09-12 04:12

U-net网络学习记录

根据结果和真实分割的差异，反向传播来训练这个分割网络既然输入和输出都是相同大小的图，为什么要折腾去降采样一下再升采样呢？
魔法橘子·2023-09-12 02:54

AI入门指南：探索人工智能的基础原理和实际应用

提及反向传播算法的重要性。第二部分：AI的实际应用自然
·2023-09-11 15:34

Pytorch入门（6）—— 梯度计算控制

前文PyTorch入门（2）——自动求梯度介绍过Pytorch中的自动微分机制，这是实现神经网络反向传播的基础，也是所有深度学习框架最重要的基础设施之一梯度计算是需要占用计算资源的，而我们并不总是需要计算梯度
云端FFF·2023-09-11 09:20

概念：推理 训练 模型

模型训练是计算密集型操作，模型一般都需要使用大量的数据来进行训练，通过反向传播来不断的优化模型的参数，以使得模型获取某种能力。在训练的过程中，我们常常是将模型在数据集上面的拟合情况放在首要位置的。
linzhiji·2023-09-10 04:32

人工智能-深度学习-代价函数，梯度下降和反向传播

深度学习算法最后都归结为求解最优化问题，以达到我们想让算法达到的目标，即找到最好的那个决策。为了完成某一目标，需要构造出一个“目标函数”来，然后让该函数取极大值或极小值，从而得到深度学习算法的模型参数。代价函数（CostFunction）：用于找到最优解的目的函数，这也是代价函数的作用。代价函数是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。损失函数（LossFunction）
guszhang·2023-09-09 14:16

LayerNorm核心技术

搞懂深度网络初始化中讲到：激活值的方差会逐层递减，这导致反向传播中的梯度也逐层递减。因此有人就会想到，那能不能在模型中加入一些归一化操作，让激活值始终维持在均值为0，方
A君来了·2023-09-09 08:04

斯坦福 CS229 机器学习中文讲义 翻译完成

机器学习中文讲义第一部分到第三部分第四部分生成学习算法第五部分支持向量机第六部分学习理论第七部分正则化与模型选择感知器和大型边界分类器K均值聚类算法混合高斯和期望最大化算法第九部分期望最大化算法第十部分因子分析第十一部分主成分分析第十二部分独立成分分析第十二部分强化学习和控制线性二次调节，微分动态规划，线性二次高斯分布深度学习反向传播决策树集成学习
布客飞龙·2023-09-09 04:59

2021年第9周（2.22～2.28）

主要内容：朴素贝叶斯分类、logisticregresion分类、反向传播算法。（2）欧姆社学习漫画《项目管理》，本周进度6/6。
孙文辉已被占用·2023-09-08 23:10

【深度学习基础】反向传播BP算法原理详解及实战演示（附源码）

需要源码请点赞关注收藏后评论区留言私信~~~神经网络的设计灵感来源于生物学上的神经网络。如图所示，每个节点就是一个神经元，神经元与神经元之间的连线表示信息传递的方向。Layer1表示输入层，Layer2、Layer3表示隐藏层，Layer4表示输出层。我们希望通过神经网络，对输入数据进行某种变换，从而获得期望的输出，换句话说，神经网络就是一种映射，将原数据映射成期望获得的数据。BP算法就是其中的一
showswoller·2023-09-08 20:46

2018-04-21

入门|通过Q-learning深入理解强化学习学界|UberAI论文：利用反向传播训练可塑神经网络，生物启发的元学习范式业界|OpenAI提出新型元学习方法EPG，调整损失函数实现新任务上的快速训练Collabbing-Ideas
hzyido·2023-09-08 10:34

Stable Diffusion — ControlNet 超详细讲解

文章目录什么是ControlNet内部架构前馈反向传播与StableDiffusi
JarodYv·2023-09-08 05:38

DenseNet网络分析

对比实验网络结构训练参数对比结果CIFAR-10，CIFAR-100，SVHNImageNet数据集进一步分析从ResNet开始，有很多研究都是琢磨怎么通过提高深度网络中层与层之间的信息传递(包括正向和反向传播
新兴AI民工·2023-09-08 03:36

Day_81-87 CNN卷积神经网络

卷积神经网络和传统神经网络的层次结构4.传统神经网络的缺点：二.CNN的基本操作1.卷积2.池化三.CNN实现过程1.算法流程图2.输入层3.卷积层4.激活层5.池化层6.全连接层二.CNN卷积神经网络的过程1.正向传播过程2.反向传播过程
DARRENANJIAN·2023-09-08 00:46

【CUDA OUT OF MEMORY】【Pytorch】计算图与CUDA OOM

计算图的存储计算图是pytorch进行梯度反向传播核心，计算图是在程序运行过程中动态产
Deno_V·2023-09-07 21:53

无框架的底层代码实现普通RNN、LSTM的正反向传播过程及应用

1.准备首先导入所需要的包rnn_utils.py:importnumpyasnpdefsoftmax(x):e_x=np.exp(x-np.max(x))returne_x/e_x.sum(axis=0)defsigmoid(x):return1/(1+np.exp(-x))'''definitialize_adam(parameters):"""Initializesvandsastwopyt
诶尔法Alpha·2023-09-07 16:52

一文速学-让神经网络不再神秘，一天速学神经网络基础(七)-基于误差的反向传播

前言思索了很久到底要不要出深度学习内容，毕竟在数学建模专栏里边的机器学习内容还有一大半算法没有更新，很多坑都没有填满，而且现在深度学习的文章和学习课程都十分的多，我考虑了很久决定还是得出神经网络系列文章，不然如果以后数学建模竞赛或者是其他更优化模型如果用上了神经网络（比如利用LSTM进行时间序列模型预测），那么就更好向大家解释并且阐述原理了。但是深度学习的内容不是那么好掌握的，包含大量的数学理论知
fanstuck·2023-09-06 17:09

Pytorch 神经网络backword()理解

在反向传播中，backword()函数可以计算变量的梯度、前提是这个变量是不是中间输出值、输出。就是文中所说的没有creater。具体到神经网络中，模型参数是一开始就有的所以我们可以计算得到梯度。
MQLYES·2023-09-06 14:13

python深度学习 花卉识别（整套工程）

使用前向传播算法来获得预测值,再用损失函数表示计算预测值和正确答案之间的差距,使用反向传播算法和梯度下降算法来
单片机探索者bea·2023-09-06 13:48

从卷积层、激活层、池化层到全连接层深度解析卷积神经网络的原理

今日头条2019-01-3022:32:42局部连接+权值共享全连接神经网络需要非常多的计算资源才能支撑它来做反向传播和前向传播，所以说全连接神经网络可以存储非常多的参数，如果你给它的样本如果没有达到它的量级的时候
mm_exploration·2023-09-05 23:26

模型转换需要用到的一些基本层的定义

这里给出深度学习层的C定义方式，注意这里暂不支持反向传播部分，反向传播设计损失计算、梯度更新以及优化策略
HeroFUCKEVERYTHING·2023-09-05 09:52

modernC++手撸任意层神经网络22前向传播反向传播&梯度下降等23代码补全的例子0901b

以下神经网络代码,请添加输入:{{1,0},{1,1}},输出{1,0};添加反向传播,梯度下降等训练!
aw344·2023-09-05 05:37

深度学习中epoch、batch、step、iteration等神经网络参数是什么意思？

在一个epoch中，训练算法会按照设定的顺序将所有样本输入模型进行前向传播、计算损失、反向传播和参数更新。一个epoch通常包含多个step。
小宋加油啊·2023-09-05 05:32

一些神经网络的记录

RNN出现梯度消失和梯度爆炸主要体现在长句子中，因为在反向传播BP求导时，当前t时刻隐层输出的梯度包含了所有后续时刻激活函数导数的乘积，所以如果t越小、句子越长，就会出现问题。
一枚小可爱c·2023-09-05 04:04

一文速学-让神经网络不再神秘，一天速学神经网络基础(六)-基于数值微分的反向传播

前言思索了很久到底要不要出深度学习内容，毕竟在数学建模专栏里边的机器学习内容还有一大半算法没有更新，很多坑都没有填满，而且现在深度学习的文章和学习课程都十分的多，我考虑了很久决定还是得出神经网络系列文章，不然如果以后数学建模竞赛或者是其他更优化模型如果用上了神经网络（比如利用LSTM进行时间序列模型预测），那么就更好向大家解释并且阐述原理了。但是深度学习的内容不是那么好掌握的，包含大量的数学理论知
fanstuck·2023-09-05 03:05

2023.09.03 学习周报

PageRank算法和标签传播算法实现大气污染物传输分析模型，第二篇文章的核心为将SOD、VGG和LSTM相结合，实现将深度学习和特征提取方法相结合的非点源污染水质预测模型，第三篇文章的核心为将卷积和反向传播神经网络的无缝集成
MoxiMoses·2023-09-04 21:00

【人工智能】—_神经网络、前向传播、反向传播、梯度下降、局部最小值、多层前馈网络、缓解过拟合的策略

神经网络、前向传播、反向传播文章目录神经网络、前向传播、反向传播前向传播反向传播梯度下降局部最小值多层前馈网络表示能力多层前馈网络局限缓解过拟合的策略前向传播是指将输入数据从输入层开始经过一系列的权重矩阵和激活函数的计算后
Runjavago·2023-09-04 13:24
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他