反向传播

CenterLoss原理详解（通透）

）LossFounction3.1、Softmax与CenterLoss输出的区别3.2、SoftMaxLoss3.3、CenterLoss3.3、基于上述centerloss的特征学习算法（四）推导反向传播的
☞源仔·2023-04-10 04:31

Python实现softmax反向传播的示例代码

目录概念反向传播求导代码概念softmax函数是常用的输出层函数，常用来解决互斥标签的多分类问题。
·2023-04-10 01:53

反向传播自动求微分【Pytorch】

Pytorch的Autograd技术可以帮助我们自动求微分值1.微分实例2.基本原理复杂的计算可以被抽象成一张图，一张复杂的计算图可以分成4个部分：叶子节点【图的末端，没有信息流经过，但信息流由此出发】中间节点【有信息流经过，信息流经过中间节点来到末端输出叶子节点】输出节点信息流【可以理解为有用信息集合，如上述求关于x1x_1x1的微分，此时x1x_1x1就说有用的信息】微分示例中的x→\over
Infinity_and_beyond·2023-04-09 22:38

机器学习-猫狗识别（入门案例）

数据处理，把数据处理为64X64大小的格式，参数初始化分被初试化各层权重W和偏置b，（一般情况下W进行随机赋值，b赋值为1），前向传播，确定激活函数（浅层选择tanh函数，深层选择ReLu），交叉熵损失，反向传播
NewDay_·2023-04-09 08:45

pytorch的no_grad()用法

在参数更新时，我们只需要调整参数，并不需要计算梯度，而在训练阶段，需要进行反向传播以获取梯度，并对其进行参数更新。使用no_grad()方法可以避免由于不必要的梯度计算而导致计算图占
weixin_40895135·2023-04-09 07:06

使用Google Colab免费部署属于自己的Stable Diffusion模型在线服务

其原理是通过对随机微分方程进行离散化，将连续时间的过程转换为离散时间的过程，然后通过反向传播算法进行求解。GoogleCol
Old丶x·2023-04-08 18:57

gamma分布 pytorch_Probability distributions - torch.distributions

torch.distributionsdistributions包含可参数化的概率分布和采样函数.这允许构造用于优化的随机计算图和随机梯度估计器.这个包一般遵循TensorFlowDistributions包的设计.通常,不可能直接通过随机样本反向传播
Air君陈怡帆·2023-04-08 16:18

梯度消失

反向传播是一种计算神经网络中每个权重损失函数梯度的方法。通过计算损失函数关于每个权重的梯度，我们可以知道如何调整权重以使损失函数最小化。
坠金·2023-04-08 05:37

Neural Network 神经网络

本次我们将使用Sigmoid函数，在前向传播时需要激活函数，而在反向传播时同样需要用到激活函数。
Aroundchange·2023-04-08 00:23

机器学习理论杂记

Adam2BoundingBoxRegression3最大似然估计（MLE）、最大后验概率估计（MAP）4SoftMax5Transformer6self-attention与Transformer补充7Backpropagation反向传播
椰子奶糖·2023-04-07 18:17

反向传播求导

(教材)其中*表示逐元素乘积向量化后:(自己推导)ReLU:classRelu(AbstractLayer):def__init__(self):self.mask=Nonedefforward(self,X):self.mask=(X<=0)out=X.copy()out[self.mask]=0returnoutdefbackward(self,dY):dX=dYdX[self.mask]=0
0xFFFFFG·2023-04-07 09:04

backward 最好的解释

由损失函数求导的过程，称为“反向传播”，求导是件辛苦事儿，所以自动求导基本上是各种深度学习框架的基本功能和最重要的功能之一，PyTorch也不例外。一、pytorch自动求导初步认
weixin_40895135·2023-04-07 04:59

《集体智慧编程》笔记（4 / 12）：搜索与排名

Schema在网页中查找单词加入索引查询基于内容的排名归一化函数单词频度文档位置单词距离利用外部会指链接简单计数PageRank算法利用连接文本从点击行为中学习一个点击跟踪网络的设计设计数据库前馈法利用反向传播进行训
巨輪·2023-04-07 00:33

这725个机器学习术语表，太全了！

-1LossFunction0-1损失函数Accept-RejectSamplingMethod接受-拒绝抽样法/接受-拒绝采样法AccumulatedErrorBackpropagation累积误差反向传播
Imagination官方博客·2023-04-06 10:17

跟我一起学PyTorch-05：深度神经网络DNN

前面我们介绍了神经网络，包括神经元函数，激活函数，前向算法，反向传播算法，梯度下降等，这些内容基本上是传统神经网络的范畴，这个浪潮大致在1980~1995年之间，主要标志是1986年DavidRumelhart
金字塔下的小蜗牛·2023-04-06 03:44

【剑指offer】梯度消失和梯度爆炸

【文末配有代码，可以参考代码案例进行理解以下概念】梯度消失指的是在反向传播过程中，模型的某些层的梯度非常小，甚至接近于0，导致这些层的参数
.别拖至春天.·2023-04-05 11:57

Pytorch 自定义激活函数前向与反向传播 Tanh

看完这篇，你基本上可以自定义前向与反向传播，可以自己定义自己的算子文章目录Tanh公式求导过程优点：缺点：自定义Tanh与Torch定义的比较可视化importmatplotlibimportmatplotlib.pyplotaspltimportnumpyasnpimporttorchimporttorch.nnasnnimporttorch.nn.functionalasF
jasneik·2023-04-05 11:18

PyTorch|自动求导系统AutoGrad

01|PyTorch的自动求导系统AutoGrad从前述课程中，我们已经知道：PyTorch训练机器学习或深度学习模型时，依赖于计算优化目标函数（如Loss函数）时的反向传播梯度，并以此层层求导更新每个计算图中结点的数值
木千之·2023-04-04 23:31

Autograd：自动求导

它是一个在运行时定义（define-by-run）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。
写进メ诗的结尾。·2023-04-04 23:58

Pytorch : 自动求导

在训练神经网络时，最常用的算法是反向传播算法。在该算法中，参数(模型权重)根据损失函数相对于给定参数的梯度进行调整。损失函数计算神经网络产生的期望输出和实际输出之间的差值。
Shilong Wang·2023-04-04 22:05

深度学习介绍及反向传播机制#李宏毅机器学习Part4

Feedforward2.全连接FullyConnect3.隐藏层4.普遍性定理Step2：模型评估（Goodnessoffunction）Step3：选择最优函数（Pickbestfunction）反向传播介绍
CHENYUZ-hub·2023-04-04 12:13

Tensorflow 2.0学习DAY03 优化函数、学习速率与反向传播算法

梯度下降法梯度的输出向量表明了在每个位置损失函数增长最快的方向，可将它视为表示了在函数的每个位置向哪个方向移动函数值可以增长。学习速率概念梯度就是表明损失函数相对参数的变化率，对梯度进行缩放的参数被称为学习速率（learningrate）。它是一种超参数或对模型的一种手工可配置的设置需要为它指定正确的值。如果学习速率太小，则找到损失函数极小值点时可能需要许多轮迭代；如果太大，则算法可能会“跳过”极
沙鳄鱼·2023-04-04 08:02

基于 eigen 实现神经网络的反向传播算法（2）

前文展示了基于MartinH.Hagan的《神经网络设计》ch11所述的多层圣经网络的基本反向传播算法（SDBP）的实现和部分测试结果。
Tonyfield·2023-04-04 08:34

神经网络之反向传播算法（加入动量momentum的误差反向传播算法）

文章目录1、动量momentum2、结合momentum的误差反向传播算法3、算法实现3.1训练过程3.2测试过程4、参考源码及数据集1、动量momentum在普通的梯度下降法中，一般将梯度值定义对参数进行优化时的调整方向
七层楼的疯子·2023-04-04 08:29

一口一口吃掉yolov8(3)

1.总结第三部分，主要介绍一下网络输出的数据和我们标注的标签之间的怎么求loss，然后反向传播给到网络，去训练网络,但是我们要先研究loss到底需要什么数据2.标签分配策略taskalignedassignerATSShttps
东东就是我·2023-04-04 04:54

《动手学深度学习》之多层感知机

文章目录多层感知机从线性到非线性激活函数ReLU函数sigmoid函数tanh函数模型选择、欠拟合和过拟合训练误差和泛化误差统计学习理论模型复杂性模型选择验证集KKK折交叉验证权重衰减范数与权重衰减Dropout正向传播、反向传播和计算图数值稳定性和模型初始化梯度消失和梯度爆炸参数初始化默认初始化
QxwOnly·2023-04-03 13:05

PyTorch入门一 || 基础知识回顾，手动搭建模型，理解前馈、反向传播

一、维度诅咒属性=特征，特征越多所需要的数据就越多维度越高（特征越多）对数据的需求就越大，比如一维特征只需要10个数据，那么二维特征想要达到相同的数据密度就需要102个数据，N维特征就需要10N个数据。由于数据集需要人工标注，所以我们需要降低维数，将高维数据映射成低维数据如何降低维数？可以通过线性代数的方式比如有一个N维特征的数据，需要降低为3维特征的数据，那么我们找到一个3*N的矩阵即可。这一过
Anthony_CH·2023-04-03 11:37

通俗易懂的极限学习机(Extreme Learning Machine)

（1）输入层和隐含层的连接权值、隐含层的阈值可以随机设定，且设定完后不用再调整：普通的前馈神经网络都需要使用反向传播来一轮又一轮的修改优化参数，但是ELM不是，它的权重值可以随机设定，而且设
花露水和暖壶·2023-04-02 11:12

Python实现逻辑回归(Logistic Regression)

实现逻辑回归算法二、逻辑回归模型的算法原理三、算法实现3.1导包3.2定义随机数种子3.3定义逻辑回归模型3.3.1模型训练3.3.1.1初始化参数3.3.1.2正向传播3.3.1.3损失函数3.3.1.4反向传播
海洋.之心·2023-04-02 07:43

PyTorch深度学习（11）完整模型训练

DataLoader来加载数据集搭建网络模型创建网络模型定义损失函数定义优化器设置训练参数（记录训练次数、记录测试次数、训练的轮数）训练步骤开始将训练集添加到网络模型中计算损失函数梯度归零优化器优化模型反向传播
JYliangliang·2023-04-02 05:52

计算梯度:网络的前向与反向传播 和 优化方法:更新模型参数的方法

在接下来，我们将会学习前馈网络、导数与链式法则、反向传播、优化方法等内容，掌握了这些内容，我们就可以将模型学习的过程串起来作为一个整体，彻底搞清楚怎样通过损失函数训练模型。
repinkply·2023-04-01 17:08

『TensorFlow』分布式训练_其一_逻辑梳理

1，PS-worker架构将模型维护和训练计算解耦合，将模型训练分为两个作业（job）：模型相关作业，模型参数存储、分发、汇总、更新，有由PS执行训练相关作业，包含推理计算、梯度计算（正向/反向传播），
weixin_33829657·2023-04-01 09:59

计算机基础练习总结

由于反向传播算法进入起始层，学习能力降低，这就是梯度
静默安然·2023-04-01 02:33

神经网络之反向传播算法（均方根反向传播算法RMSProp）

文章目录均方根反向传播算法（RMSProp）1、算法原理2、算法实现2.1训练过程2.2测试过程及结果3、参考源码及数据集均方根反向传播算法（RMSProp）自适应梯度算法（Adaptivegradientalgorithm
七层楼的疯子·2023-04-01 00:36

神经网络之反向传播算法（自适应学习率调整算法Adadelta）

参考源码及数据集自适应学习率调整算法（Adadelta）自适应学习率调整算法（Adadelta）可以视作是自适应梯度算法（Adagrad）的一种扩展，自适应梯度法在迭代过程中累加了过去所有的梯度平方，而自适应学习率调整算法与均方根反向传播算法
七层楼的疯子·2023-04-01 00:36

神经网络之反向传播算法（加入Nesterov动量的误差反向传播算法）

文章目录1、Nesterov动量2、结合Nesterov动量的误差反向传播算法3、算法实现3.1训练过程3.2测试过程4、参考源码及数据集1、Nesterov动量在动量法提出不久之后，Nesterov动量也随之被提了出来
七层楼的疯子·2023-04-01 00:36

神经网络之反向传播算法（梯度、误差反向传播算法BP）

文章目录一、反向传播及梯度二、误差反向传播算法（BP）1、算法原理2、算法实现2.1训练过程2.2测试过程及结果3、参考源码及数据集一、反向传播及梯度在神经网络中，初始化生成的参数在使用时往往难以使网络获得最好的回归效果
七层楼的疯子·2023-04-01 00:35

小波神经网络（WNN）的实现（Python，附源码及数据集）

文章目录一、理论基础1、小波神经网络结构2、前向传播过程3、反向传播过程4、建模步骤二、小波神经网络的实现1、训练过程（WNN.py）2、测试过程（test.py）3、测试结果4、参考源码及实验数据集一
七层楼的疯子·2023-04-01 00:47

2023双非计算机硕士应战秋招算法岗之深度学习基础知识

word版资料自取链接：链接：https://pan.baidu.com/s/1H5ZMcUq-V7fxFxb5ObiktQ提取码：kadm卷积层全连接神经网络需要非常多的计算资源才能支撑它来做反向传播和前向传播
Diros1g·2023-03-31 23:15

来一场人工智能的奇妙冒险吧~

如无必要，勿增新知，过程一步一步进行机器学习过程：一个【一元一次函数】构建的神经元，可以表示一种直觉在线性函数外套上一层非线性激活函数就可以对事物进行分类而利用梯度下降和反向传播算法，可以让机器自己学到问题的解再加入更多层的隐藏神经元后
一米阳光_Angel·2023-03-31 03:45

强化学习中生成的critic_loss是什么

在训练过程中，我们通常会使用一些类似于均方误差(MSE)的损失函数来衡量这个差距，并使用反向传播来最小化这个损失。这个过程有助于调整价值函数网络的参数，使其能够更准确地估计状态-动作对的价值。
Xi Zi·2023-03-31 03:26

深度学习实战视频教程+资料全套

多层感知机DNN.1、浅层网络的问题.mp4│1、课程：多层感知机DNN.2、涌现现象与深度网络为何高效.mp4│1、课程：多层感知机DNN.3、计算图.mp4│1、课程：多层感知机DNN.4、导数的反向传播
globals_11de·2023-03-30 06:32

神经网络RNN,CNN,DNN-MLP,LSTM 详解

神经网络的变种目前有，如误差反向传播（BackPropagation，BP）神经网路、概率神经网络、RNN-循环神经网络DNN-深度神经网络CNN-卷积神经网络（－适用于图像识别）、LSTM-时间递归神经网络
@ni，study·2023-03-29 14:25

GAN | 代码简单实现生成对抗网络（GAN）（PyTorch）

GAN通过计算图和博弈论的创新组合，他们表明，如果有足够的建模能力，相互竞争的两个模型将能够通过普通的旧反向传播进行共同训练。这些模型扮演着两种不同的（字面意思是对抗的）角色。
夏天｜여름이다·2023-03-29 12:43

《神经网络与机器学习》笔记（四）

循环神经网络的参数学习可以通过随时间反向传播算法来学习。随时间反向传播算法即按照时间的逆序将错误信息一步步地往前传递。当输入序列比较长时，会存在梯度爆炸和消失问题，也称为长程依赖问题。
糖醋排骨盐酥鸡·2023-03-29 09:22

优化算法-梯度下降，反向传播，学习率

梯度下降梯度下降法主要用于单个参数的取值。假如损失函数是一座山，我们从山上一个任意点开始往山下走，山坡的坡度越大，我们的垂直高度下降的越快。当我们到达某一个点是，我们往任意方向前进多都会升高使，我们就到达了最低点。准确来说是局部最低点。但是如果损失函数是个凸函数，那么这个局部最优解就是整体最优解。梯度下降说到这我们就要提到微分方程了。对损失函数求导，导数就是我们所谓的梯度：损失函数求导我们的目的是
RunningSucks·2023-03-29 06:44

PyTorch自动求导：Autograd

它是一个在运行时定义（define-by-run）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。
小锋学长·2023-03-27 15:01

RNN正向及反向传播

RNN简介RNN（循环神经网络）是深度神经网络中，应用最广泛的两种神经网络架构之一。并且，作为一种时序结构的神经网络，RNN经常用于时序相关的问题中，且在NLP中应用广泛。还有一种RNN称为递归神经网络，虽然名字类似，但是却是不一样的架构。RNN图示RNN结构图是输入层数据，是隐含层数据，是输出层数据，我们令：每一个是t时刻对应的真实输出，是对进行softmax计算之后得到的估计值。是输入层到隐含
Leo蓝色·2023-03-27 12:18

Tensorflow2（1）

花瓣宽得出鸢尾花的类别1、if语句case语句——专家系统：把专家的经验告知计算机，计算机执行逻辑判别给出分类（符号主义）2、神经网络：采集大量数据对（输入特征，标签）构成数据集，构建网络，梯度下降，反向传播反向传播
JoengGaap·2023-03-27 08:12

【我是土堆 - Pytorch教程】 知识点 学习总结笔记（四）

此文章为【我是土堆-Pytorch教程】知识点学习总结笔记（四）包括：神经网络-非线性激活、神经网络-线性层及其他层介绍、神经网络-搭建小实战和Sequential的使用、损失函数与反向传播、优化器、现有网络模型的使用及修改
耿鬼喝椰汁·2023-03-27 07:07
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他