反向传播

Lecture 6 训练神经网络（上）

目前我们已有的知识有：计算图：计算前向传播、反向传播神经网络：神经网络的层结构、非线性函数、损失函数卷积神经网络：多个滤波器与原图像独立卷积得到多个独立的激活图优化策略：梯度下降使损失最小批梯度下降：小批量梯度下降
HRain·2023-02-18 07:01

深度学习算法面试常问问题（三）

pooling层是如何进行反向传播的？averagepooling：在前向传播中，就是把一个patch的值取平均传递给下一层的一个像素。因此，在反向传播中，就是把某个像素的值平均分成n份分配给上一层。
liiiiiiiiiiiiike·2023-02-17 20:50

用MATLAB搭建DNN

读者需要对MATLAB的矩阵操作、反向传播算法有所了解。1工具MATLAB：version>=7.0.0.19920(R14)。本人所使用的MATLAB版本较低，对于任何不低于该版本的MATLAB
源祺·2023-02-17 13:16

机器学习笔记（2）

反向传播法（Backpropagationalgorithm）使用梯度下降法求解价值函数j（x）的最小值时，我们需要知道j（x）的导数先给一个样本（x，y）时的正向传播过程图片发自Appa(1)=xz(
呆呆说·2023-02-17 01:06

语音识别系列之脉冲神经网络特征工程

得益于误差反向传播算法，网络权重可根据设定的目标函数得到有效地调整，ANN在视觉、文本、语音等领域都取得了巨大的成功，各种新奇的网络结构、训练策略层出不穷，ANN获得了蓬勃发展，大量科研及工程人才投入之中
语音之家·2023-02-16 22:50

“深度学习”学习日记。--加深网络

基于之前介绍的网络，只需要通过叠加层，就可以创建深度网络之前的学习，已经学习到了很多东西，比如构成神经网络的各种层、参数优化方法、误差反向传播法，卷积神经网络现在将这些技术结合起来构建一个深度网络去完成
Anthony陪你度过漫长岁月·2023-02-16 21:09

YB菜菜的机器学习自学之路（八）——基于keras的初级深度学习框架

keras框架，利用全链接层搭建深度学习网络对MNIST训练3.1数据导入与one-hot编码3.2创建模型3.3创建神经元3.3.1输入层构建3.3.2增加中间的隐藏层3.3.4构建输出层3.4构建反向传播
Keep_Holding_Down·2023-02-07 13:48

模型推理部署——基础概念篇

训练是计算密集型操作，模型一般都需要使用大量的数据来进行训练，通过反向传播来不断的优化模型的参数，以使得模型获取某种能力。在训练的过程中，我们常常是将模型在数据集上面的拟合情况放在首要位置的。而推
二楼后座Scarlett·2023-02-07 12:38

复数值神经网络matlab,【原创】复数神经网络的反向传播算法，及pytorch实现方法...

对于不可导的nonholomophic函数：Wirtinger算子采用Wirtinger算子来计算反向传播。
Dee Jia·2023-02-07 11:58

搭建复数神经网络遇到的问题【求交流】

有很多论文研究复数神经网络的，也都是前向传播、反向传播等理论知识，实践性代码几乎没有。【我的实验数据】拿到的数据是经过处理的复数数据，尺寸大小为888*2048。
喵喵女士爱吃鱼·2023-02-07 11:58

计算机视觉面试

1，神经网络损失函数非凸的损失函数，逐步的减小步长，或者叫动态调整学习率2，梯度爆炸的解决，使用梯度截断法，GradientClipping3，L1、L2正则化，使得W变小，进一步反向传播的时候使得gradient
qq_34124456·2023-02-07 11:30

Xavier参数初始化方法和Kaiming参数初始化方法详细介绍及其原理详解

相关文章梯度下降算法、随机梯度下降算法、动量随机梯度下降算法、AdaGrad算法、RMSProp算法、Adam算法详细介绍及其原理详解反向传播算法和计算图详细介绍及其原理详解激活函数、Sigmoid激活函数
IronmanJay·2023-02-07 11:59

深度学习网络各种激活函数 Sigmoid、Tanh、ReLU、Leaky_ReLU、SiLU、Mish

激活函数的目的就是为网络提供非线性化梯度消失：梯度为0，无法反向传播，导致参数得不到更新梯度饱和：随着数据的变化，梯度没有明显变化梯度爆炸：梯度越来越大，无法收敛梯度消失问题：1、反向传播链路过长，累积后逐渐减小
maxruan·2023-02-07 09:47

【PyTorch深度学习实践】学习笔记 第四节 反向传播

课程链接PyTorch深度学习实践开始正题前，先做一个知识的补充，关于python的张量——tensor。（不要小看这些细节，有模糊的地方一定要及时搞清楚┗|｀O′|┛嗷，以防在后面越来越多的使用中出现迷糊。）开始正题！案例:根据学习时长推断成绩如下图,前三组数据是我们一直的学习时间x与分数y的关系,我们需要推断出x=4的时候y是多少。这里为了方便效果演示,数据凑的很好,是一个简单的线性映射关系。
咯吱咯吱咕嘟咕嘟·2023-02-07 09:44

numpy实现反向传播【超级小白讲解】

本文记录简易神经网络反向传播的推导过程，并用numpy搭建一个神经网络和实现反向传播的过程。
陌上之殇·2023-02-07 09:44

4-《PyTorch深度学习实践》-反向传播

梯度更新，简单模型，解析式做复杂模型通过计算图图的方式，方向传播求出来两层线性网络存在的问题，多少层叠加最好都是线性层，叠加就没意义了张量的每个值增加一个非线性函数链式求导法则链式求导法则，矩形框里面的局部梯度导数，正向求损失的时候梯度就提前算好了，提前把梯度存储好了，pytorch存到变量里面前馈和反馈最简单的线性模型张量，参数数据w和梯度，构建模型，本质上就是在构建计算图pytorch的定义人
愚昧之山绝望之谷开悟之坡·2023-02-07 09:14

卷积层和池化层的反向传播的实现

第1关：实现卷积层的反向传播任务描述本关任务：实现卷积层的反向传播。相关知识为了完成本关任务，你需要掌握：卷积层的反向传播。
竹花笺·2023-02-07 09:14

pytorch中正向传播和反向传播的钩子Hook

目录一、钩子的概念二、模块执行之前的前向计算钩子三、模块执行之后的前向计算钩子四、模块执行之后的反向传播钩子五、用例展示最近在可视化特征图时遇到了钩子的问题，这里记录学习一下相关知识~在某些情况下，我们需要对深度学习模型的前向计算和反向传播的行为做一定的修改
m0_57781768·2023-02-07 09:43

反向传播的实现思路（以NumPy版卷积为例）

在这篇文章里，我会继续介绍如何用NumPy复现二维卷积的反向传播，并用PyTorch来验证结果的正确性。
大局观选手周弈帆·2023-02-07 09:11

LSTM参数问题——很多情况下LSTM中每个单元中的参数是相同的

反向传播的过程会训练，每个单元的参数
GIS行者·2023-02-07 07:54

一文理清深度学习前馈神经网络

Index多层感知机（MLP）介绍深度神经网络的激活函数深度神经网络的损失函数多层感知机的反向传播算法神经网络的训练技巧深度卷积神经网络前馈神经网络（feedforwardneuralnetwork）是一种最简单的神经网络
SamLam·2023-02-07 07:23

with torch.no_grad()

在讲述withtorch.no_grad()前，先从requires_grad讲起requires_grad在pytorch中，tensor有一个requires_grad参数，如果设置为True，则反向传播时
winddy_akoky·2023-02-07 07:54

【Pytorch教程】Pytorch tutorials 02-Autograd 中文翻译

它可以自动计算tensor操作产生的微分，也就是说，autograd是一个define-by-run的框架，可以自动对你的网络进行反向传播。
Rooooyy·2023-02-06 23:30

卷积神经网络基础

卷积神经网络基础雏形：leNet（输出是灰度图）1.发展过程首先是提出了反向传播也就是BP神经网络->利用BP算法训练了LeNet5,标志着CNN面世->2.全连接层将图片进行灰度化，在进行二值化使用五行三列的窗口进行窗口的滑动
心平气和的国国·2023-02-06 18:51

反向传播算法(另梯度下降算法）笔记

反向传播算法（另梯度下降算法）定义算法推导一个具体的前向传播和反向传播算法的例子mse(均方误差）另两个问题梯度下降算法梯度数学解释梯度要乘以一个负号单变量函数的梯度下降多变量函数的梯度下降反向传播具体例子
梵魉·2023-02-06 17:37

深度学习：Pytorch笔记

模块函数解读nnnn.Parameter()nn.Embedding()Torchtorch.cattorch.stack()nnnn.Parameter()这个方法可以把不可以训练的Tensor变成可以通过反向传播更新的参数
HanZee·2023-02-06 08:49

[PyTorch]迁移学习

去掉输出层；仅提取分类的特征，为分类做准备+采用预训练模型的结构：权重随机化+训练特定层(比如分类层)，冻结其他层：将模型起始的一些层的权重保持不变，重新训练后面的层，得到新的权重(冻结：不参与梯度的反向传播
DDuncan·2023-02-06 00:29

西瓜书第二章概念总结

即使用新的样本数据测试训练好的模型时产生的误差过拟合定义：过拟合其实指训练的模型对训练的样本匹配的过于细致，导致新的样本进行预测时会出现无训练样本的细微特征而识别错误的情况，也即泛化能力特别差常见原因：学习能力过强，导致将训练数据的细微特征学习了反向传播算法中的系数过
Ansen C·2023-02-05 18:31

pytorch forward函数底层实现

神经网络的典型处理如下所示：定义可学习参数的网络结构（堆叠各层和层的设计）；数据集输入；对输入进行处理（由定义的网络层进行处理）,主要体现在网络的前向传播；计算loss，由Loss层计算；反向传播求梯度
modelTSS·2023-02-05 18:58

深度学习-GRU

GRU介绍GRU是新一代的递归神经网络，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的，与LSTM非常相似。相比LSTM，GRU摆脱了cell状态，使用隐藏状态来传输信息。
Hank0317·2023-02-05 15:46

Resnet残差网络

（反向传播时无法把有效地把梯度更新到前面的网络层，导致前面的层参数无法更新，使浅层次的参数得不到很好的训练，模型训练起来也更加困难）。
思维特二·2023-02-05 13:54

产品经理也能动手实践的AI（六）- 从头开始训练一个简单的神经网络

正文共：2919字6图1.概览嵌入，矩阵乘积内的一环，拆解后可改造，加入Bias，然后提高准确率反向传播，训练一波数据的过程（根据lossfunc调整parameters的过程）从零开始创建CNN，通过
Hawwwk·2023-02-05 13:21

反向传播算法之要点(Backpropagation)

反向传播算法之要点(BackpropagationAlgorithm)Introduction反向传播是一个很简单的算法，一个学习过微积分的人就能够轻松的理解。
一樽对明月·2023-02-05 12:42

B站刘二大人-Softmx分类器及MNIST实现-Lecture 9

系列文章：《PyTorch深度学习实践》完结合集-B站刘二大人Pytorch代码注意的细节，容易敲错的地方B站刘二大人-线性回归及梯度下降Lecture3B站刘二大人-反向传播Lecture4B站刘二大人
宁然也·2023-02-05 08:06

B站刘二大人-线性回归 Pytorch实现 Lecture 5

系列文章：《PyTorch深度学习实践》完结合集-B站刘二大人Pytorch代码注意的细节，容易敲错的地方B站刘二大人-线性回归及梯度下降Lecture3B站刘二大人-反向传播Lecture4B站刘二大人
宁然也·2023-02-05 08:06

B站刘二大人-多元逻辑回归 Lecture 7

系列文章：《PyTorch深度学习实践》完结合集-B站刘二大人Pytorch代码注意的细节，容易敲错的地方B站刘二大人-线性回归及梯度下降Lecture3B站刘二大人-反向传播Lecture4B站刘二大人
宁然也·2023-02-05 08:06

B站刘二大人-数据集及数据加载 Lecture 8

系列文章：《PyTorch深度学习实践》完结合集-B站刘二大人Pytorch代码注意的细节，容易敲错的地方B站刘二大人-线性回归及梯度下降Lecture3B站刘二大人-反向传播Lecture4B站刘二大人
宁然也·2023-02-05 08:06

B站刘二大人-线性回归及梯度下降 Lecture3

系列文章目录《PyTorch深度学习实践》完结合集-B站刘二大人Pytorch代码注意的细节，容易敲错的地方B站刘二大人-线性回归及梯度下降Lecture3B站刘二大人-反向传播Lecture4B站刘二大人
宁然也·2023-02-05 08:36

pytorch中的train.eval() 与 with torch.no_grad()的使用

二、在神经网络结构中，tenor的计算操作，默认是要进行计算图的构建的，为了不部分内容不进行计算图的构建，不进行反向传播操作，需要使用withtorch.no_grad()：进行内容的强制。
Allard_c205·2023-02-05 06:47

反向传播与梯度下降详解

一，前向传播与反向传播1.1，神经网络训练过程神经网络训练过程是：先通过随机参数“猜“一个结果（模型前向传播过程），这里称为预测结果aaa；然后计算aaa与样本标签值yyy的差距（即损失函数的计算过程）
嵌入式视觉·2023-02-05 01:20

一种基于遗传算法与神经网络算法(GA-BP)的新冠肺炎模型预测-含Matlab代码

目录一、引言二、新冠肺炎模型构建三、遗传算法反向传播(GA-BP)神经网络设计3.1GA-BP神经网络构建3.2BP神经网络训练3.3基于遗传算法的新冠感染人数峰值预测四、结论五、Matlab代码获取一
matlab科研中心·2023-02-04 19:43

2023.2.3 openmmlab ai训练营直播笔记（未美化条理完整）

dataset，做dataload做采样；写模型（nn.module），前传计算图devicecuda传入gpu计算；optimizer优化模型参数；写函数train内层循环，遍历数据集，前传预测概率，做损失，再反向传播算梯度
千恋茉子·2023-02-04 19:42

深度学习——图像分类（四）

梯度下降与反向传播1.反向传播a.计算图i:把数据和操作通过图来表示2.pytorch完成线性回归a.tensor(data,requird_grad=Ture)i:该tensor后续会被计算梯度ii：
昆工程序猿·2023-02-04 18:31

吴恩达深度学习（笔记+作业）·第一课·第三周 浅层神经网络

目录一、神经网络概览二、多个例子中的向量化三、激活函数四、神经网络的梯度下降法五、直观理解反向传播（+矩阵求导）六、随机初始化作业：一、神经网络概览双层神经网络一般包含输入层、隐藏层、输出层，但是输入层一般用第
手可摘星辰不去高声语·2023-02-04 13:01

03.PyTorch：张量 与 Autograd

/blog.csdn.net/qq_39837305/article/details/128645166在上一篇文章中，我们学习了如何使用pytorch网络的tensor实现正向传播以及用loss实现反向传播
江湖人称桂某人·2023-02-04 12:57

反向传播算法

反向传播算法适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。
Emiliano Martínez·2023-02-04 12:22

机器学习：【7】学习速率设置实践

反向传播算法：一种高效计算数据流图中梯度的技术，会把梯度反向传播到每一层，进行梯度下降。常见优化函数：SGD：随机梯度下降优化器。
Alex-YiWang·2023-02-04 11:05

模块安装问题记录

python3系安装学习问题记录学习目标：初步掌握BP算法BP算法要求对于高数线代的实际应用学习内容：1、搭建BP算法的python开发环境2、了解神经网络基本原理3、基于已有的轮子重造学习笔记1.BP原理反向传播
karcat·2023-02-04 10:53

反向传播算法(过程及公式推导)_深度学习（Deep Learning）系列三：使用伴随法推导反向传播...

在上一篇文章中，我们使用链式法则来推导反向传播。这篇文章中，我们指出深度学习其实可以看做是一种逆问题（InverseProblems），可以放在逆问题的框架下进行考虑。
weixin_39984963·2023-02-04 10:38

Dropout与过拟合

drop过程假设我们要训练这样一个神经网络输入是x输出是y，正常的流程是：我们首先把x通过网络前向传播，然后把误差反向传播以更新参数让网络进行学习。
z1185196212·2023-02-04 08:15
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他