Gradient

梯度裁剪Grandient Clipping

梯度裁剪有两种方法确定一个范围，参数的gradient超过，直接裁剪。
开心邮递员·2023-01-07 16:56

Tensorflow 计算梯度 | clip 梯度

tf.Variable(tf.truncated_normal([1]),name='x')x=tf.Variable([1.],name='x')goal=(x-2)*(x-2)optimizer=tf.train.GradientDescentOptimizer
Z-Pilgrim·2023-01-07 16:26

faster-rcnn中使用clip_gradient函数防止梯度爆炸

clip_gradient的作用就是让权重的更新限制在一个合适的范围：首先设置一个梯度阈值：clip_gradient在反向传播中求出各参数的梯度，这里我们不直接使用梯度进行参数更新，我们求这些梯度的l2
进击的路飞桑·2023-01-07 16:25

如何使用梯度裁剪（Gradient Clipping）避免梯度爆炸

训练期间权重的较大更新会导致数值上溢或下溢，通常称为梯度爆炸（gradientsexploding）。梯度爆炸在递归神经网络中更为常见，例如LSTM，因为梯度的累积在数百个输入时间步长上展开。
zjz_xn·2023-01-07 16:54

梯度裁剪（Clipping Gradient）：torch.nn.utils.clip_grad_norm

torch.nn.utils.clip_grad_norm_(parameters,max_norm,norm_type=2)1.（引用：【深度学习】RNN中梯度消失的解决方案（LSTM））梯度裁剪原理：既然在BP过程中会产生梯度消失（就是偏导无限接近0，导致长时记忆无法更新），那么最简单粗暴的方法，设定阈值，当梯度小于阈值时，更新的梯度为阈值，如下图所示：P.S.在原博中，评论中有提到，常用的梯
aabb7654321·2023-01-07 16:24

TensorFlow中的梯度裁剪（Gradient Clipping）

TensorFlow里提供的几个GradientClipping函数都是以clip_by开头，分别是tf.clip_by_norm，t
jetFlow·2023-01-07 16:24

paddle 梯度裁剪 clip_by_value

官方API注意：该API仅支持【静态图】模式paddle.fluid.clip.set_gradient_clip(clip,param_list=None,program=None)[源代码]¶给指定参数做梯度裁剪
ZXYhappiness·2023-01-07 16:54

【MindSpore易点通】精度调优之梯度裁剪法

不收敛或者其他精度问题，而精度问题产生的主要原因之一是因为者梯度更新过程中梯度值过大或过小导致调参不准确所造成，针对梯度值在更新过程中过大或过小原因所造成的精度问题，故在此介绍一种梯度裁剪方法；顾名思义，梯度裁剪（gradientclip
昇思MindSpore·2023-01-07 16:23

深度学习防止梯度消失与梯度爆炸的几种方法

pytorch中的实现：gradientcli
Zob_z·2023-01-07 11:07

关于pytorch搭建 GAN 生成对抗网络 出现 RuntimeError 错误

RuntimeError:oneofthevariablesneededforgradientcomputationhasbeenmodifiedbyaninplaceoperation:[torch.FloatTensor
瘦与狗·2023-01-07 11:31

解决 from tensorflow.keras import datasets,layers, optimizers报错的问题， SGD没有apply_gradients

首先我的tensorflow-gpu版本是2.0.0解决方法：fromtensorflow_core.python.kerasimportdatasets,layers问题描述：我是条看视频的时候，有这样一句代码：fromtensorflow.kerasimportdatasets,layers但是我自己输入的时候会报错，然后我看了一下代码所在环境下的包site-packages我的目录是：C:\
青峰不长存·2023-01-07 10:04

pytorch 正向与反向传播的过程 获取模型的梯度（gradient），并绘制梯度的直方图

记录一下怎样pytorch框架下怎样获得模型的梯度文章目录引入所需要的库一个简单的函数模型梯度获取先定义一个model如下定义两个获取梯度的函数定义一些过程与调用上述函数的方法可视化一下梯度的histogram引入所需要的库importosimporttorchimporttorch.nnasnnimporttorch.nn.functionalasFfromcollectionsimportOr
jasneik·2023-01-07 09:32

人工神经网络——梯度下降

目录一、为什么需要梯度下降二、什么是梯度下降2.1直观理解梯度下降2.2梯度下降的三种形式2.2.1批量梯度下降（BatchGradientDescent，BGD）2.2.2随机梯度下降（StochasticGradientDesent
翻滚的石子·2023-01-07 07:10

神经网络中的常用算法-梯度下降算法

目录一、概述二、算法思想1、一维2、多维三、梯度下降算法类型1、批量梯度下降算法2、随机梯度下降算法3、小批量梯度下降算法一、概述梯度下降法（Gradientdescent）是一个一阶最优化算法，通常也称为最陡下降法
kupeThinkPoem·2023-01-07 07:06

python曲面图颜色渐变方向_python – 颜色matplotlib plot_surface命令与表面渐变

.^2);Z=sin(R)surf(x,y,Z,gradient(Z))这是py
weixin_39712724·2023-01-06 21:36

学习PyTorch和GAN最好的书：《PyTorch生成对抗网络编程》

即使设计改变了，PyTorch也会自动更新微积分计算，无须我们亲自动手计算梯度（gradient）。
普通网友·2023-01-06 20:33

pytorch各种报错个人笔记

1、oneofthevariablesneededforgradientcomputationhasbeenmodifiedbyaninplaceoperation可能有多种原因1、以‘_’结尾的函数2
_less is more·2023-01-06 17:06

2022年几款前沿的文本语义检索/Sentence Embedding方法：Gradient Cache, SGPT,ART,DPTDR,RocketQAv2, ERNIE-Search等

最近研究了一些最新的关于搜索方向的论文，发现了几篇有代表性的论文，我这里分享出来，跟大家一起学习共同进步。目前的搜索架构都是召回和排序，召回采用的是BM25，dual-encoder,bi-encoder,（其实dual-encoder和bi-encoder是一个意思，他们的作用就是把query和passage变成向量的形式，这样就能够计算相似度，计算距离什么的了），有一些论文也叫densepas
农民小飞侠·2023-01-06 15:38

P8第一讲（选修）：反向传播Backpropagation

8.第1讲（选修）：反向传播_哔哩哔哩_bilibiliGradientDescentneualwork基本架构已经学过了backpropagation(反向传播)可以帮助我们有效的进行渐变迭代计算(帮助计算梯度
落雪snowflake·2023-01-06 13:12

pytorch 梯度累积（gradient accumulation）

梯度累积-gradientaccumulation在深度学习训练的时候，数据的batchsize大小受到GPU内存限制，batchsize大小会影响模型最终的准确性和训练过程的性能。
ytusdc·2023-01-06 13:40

基于小批量随机梯度下降法的通用分类器

基于小批量随机梯度下降法的通用分类器1.方法源码'''TheGeneralClassifierBasedonMini-BatchStochasticGradientDescent.'''
DeeGLMath·2023-01-06 12:18

03 梯度（Gradient）很小怎么办（Local Minima与Saddle Point）-学习笔记-李宏毅深度学习2021年度

上篇：02机器学习任务攻略-学习笔记-李宏毅深度学习2021年度下篇：04自动调整学习率（LearningRate）-学习笔记-李宏毅深度学习2021年度本节内容及相关链接当loss不够好，且梯度接近为0时，应该怎么办？localminima和saddlepointbatchmomentum视频链接-1视频链接-2PPT链接课堂笔记localminima(局部最小值)：在损失函数的迭代过程中，当前
iioSnail·2023-01-06 09:29

3. 机器学习问题攻略

机器学习任务攻略检查Trainingdata的LossLoss太大ModelBias模型太简单重新设置Model：增加FeatureOptimization做的不好GradientDescent找不到GlobalMinimaModelBiasVS.OptimizationIssue
Shannnon_sun·2023-01-06 09:27

类神经网络训练不起来怎么办

或者是一开始不管怎么样更新参数，trainingloss不会发生什么样的改变，过去的一个猜想是gradient接近于0.当微分是0的时候gradientdescent就没办法更新参数了，但并不是卡在了loc
GraysonCheng·2023-01-06 09:27

第四节 类神经网络训练不起来怎么办

第四节类神经网络训练不起来怎么办1.saddlepoint（马鞍点）当gradient太小的时候，大多是这种saddlepoint情况，而不是localminima。
派大星星星星EE·2023-01-06 08:45

(一)神经网络训练不起来怎么办：局部最小值(local minia)与鞍点(saddle point)

Optimization的时候，怎么把gradientdescent做的更好？
Upupup6·2023-01-06 08:13

【b站 机器学习基础】二、神经网络训练之局部最小值点local minima和鞍点 saddle point

gradient接近0的点：criticalpoint1）localminima2)saddlepoint判断梯度为0的点
Winds_Up·2023-01-06 08:40

tensorflow1.0模型的保存、加载、在训练

ckpt文件是二进制文件，保存了所有的weights、biases、gradients等变量。在tensorflow0.11之前，保存在**.ckpt**文件中。
贪狼切·2023-01-06 08:24

【学习笔记】经典卷积神经网络

CNNLeNetAlexNetVGGResNetInception-v4XceptionResNeXtDenseNetSENetMobileNetMobileNetv1MobileNetv2MobileNetv3OSNetHRNetEfficientNet性能对比LeNet《Gradient-BasedLearningAppliedtoDocumentRecognition
Hung武·2023-01-06 07:36

【李宏毅】HW12

HW12一、作业描述1、PolicyGradient2、Actor-Critic二、实验1、simple2、medium3、strong三、代码一、作业描述在这个HW中，你可以自己实现一些深度强化学习方法
Raphael9900·2023-01-06 07:34

【清华&伯克利】提出全新算法RPG，通过奖励随机化发现多智能体游戏中多样性策略行为。

deeprl.neurondance.com/作者：本文转载自机器之心编辑、排版：DeepRL在这篇论文中，研究者提出了一个在reward-space进行探索的新算法RPG（Reward-RandomizedPolicyGradient
深度强化学习实验室·2023-01-05 21:58

pytorch : grad can be implicitly created only for scalar outputs

envs/ngepc/lib/python3.8/site-packages/torch/tensor.py",line221,inbackwardtorch.autograd.backward(self,gradient
FakeOccupational·2023-01-05 19:33

[paper]Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

Weusetheknowledgeextractedduringdistillationtoreducetheamplitudeofnetworkgradientsexploitedbyadversariestocraftadversarialsamples.Ifadversari
ch1762·2023-01-05 16:55

《论文》：注意力机制

IMPROVINGTHEPERFORMANCEOFCONVOLUTIONALNEURALNETWORKSVIAATTENTIONTRANSFER创新点：1.文章提出了activation-basedattention以及gradient-basedattentiontransfer
一只认真码字的小菜鸡·2023-01-05 15:46

目标检测的图像特征提取之（一）HOG特征

1、HOG特征：方向梯度直方图（HistogramofOrientedGradient,HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。
lien0906·2023-01-05 14:42

图像特征提取算法：方向梯度直方图HOG

1.基本介绍HOG，全称是方向梯度直方图（HistogramOfGradient），是目前计算机视觉、模式识别领域很常用的一种描述图像局部纹理的特征。
机器熊技术大杂烩·2023-01-05 14:42

交叉熵损失与极大似然估计

提升树BoostingTree算法实例详解_程大海的博客-CSDN博客从提升树BoostingTree过度到梯度提升GradientBoosting_程大海的博客-CSDN博客GBDT梯度提升之回归算法个人理解
胖胖大海·2023-01-05 14:22

吴恩达Couresa课程——第二部分：监督学习week2 （已结束）

：先看看按照以前的线性回归方法的效果：#createtargetdatax=np.arange(0,20,1)y=1+x**2X=x.reshape(-1,1)model_w,model_b=run_gradient_descent_feng
jqqjrr123·2023-01-05 13:38

【网络结构设计】11、E-LAN | 通过梯度传输路径来设计网络结构

2.2PartialResidualNetworks2.3CrossStagePartialNetworks2.4EfficientLayerAggregationNetwork三、效果论文：DesigningNetworkDesignStrategiesThroughGradientPathAnalysis
呆呆的猫·2023-01-05 13:02

mini-batch的定义和用法

简单地说，因为梯度更新的时候有三种方式：第一种是batchgradientdescent(批梯度下降)，这种方式模型遍历所有数据后计算损失函数然后更新梯度，这样计算过于复杂，所以引出第二种。
少卿不在大理寺·2023-01-05 11:55

吴恩达【神经网络和深度学习】Week2——神经网络基础

BinaryClassification1.1.1、Introduction1.1.2、Notations1.2、LogisticRegression1.3、LogisticRegressionCostFunction1.4、GradientDescent1.5
小白有颗大白梦·2023-01-05 09:45

Tensorflow（二十七） —— 过拟合与欠拟合

Tensorflow（二十七）——过拟合与欠拟合1.过拟合检测2.k折交叉验证3.过拟合的解决方案3.1正则化3.2动量与学习率3.3earlystopping/Dropout/stochasticgradientdescent1
CyrusMay·2023-01-05 09:45

【DeepLearning】深度学习第一课：使用autograd来自动求导

使用autograd来自动求导在机器学习中，我们通常使用梯度下降（gradientdescent）来更新模型参数从而求解。
zsWang9·2023-01-05 08:17

从头开始学人工智能day06

梯度下降法（GradientDescent，GD）是一种常用的求解无约束最优化问题的方法，在最优化、统计学以及机器学习等领域有着广泛的应用。
BoyC啊·2023-01-05 08:13

神经网络反向求导不可导情况处理

次梯度方法(subgradientmethod)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。它的优势是比传统方法处理问题范围大，劣势是算
RichardsZ_·2023-01-05 08:39

近端算法：近端最小化(Proximal minimization)、近端梯度(PG)、加速近端梯度(APG)、ADMM

正则化次微分算子的预解修正梯度步长信任区域问题近端算法(ProximalAlgorithms)近端最小化(Proximalminimization)消失的Tikhonov正则化梯度流迭代细化近端梯度方法(Proximalgradientmethod
mir=ror·2023-01-04 18:36

具有贝叶斯优化的XGBoost和随机森林

让我们深入比较一下-XGBoost与RandomForestXGBoost或GradientBo
CDA·数据分析师·2023-01-04 16:16

pytorch（七）——笔记

1.4KLDivergenceV.S.JSDivergence1.5DCGAN1.6TransposedConvolution1.7JS散度的缺陷1.7.1Toyexample1.7.2JSDivergence1.8GradientVanishing1
鹿衔草啊·2023-01-04 16:44

本周的一些错误记录

关于变量类型不一致的问题RuntimeError:FunctionAddBackward0returnedaninvalidgradientatindex1-expectedtypetorch.FloatTensorbutgottorch.cuda.FloatTenso
艾米栗写代码·2023-01-04 15:25

RuntimeError:Function MulBackward0 returned an invalid gradient at index 0

问题：RuntimeError:FunctionMulBackward0returnedaninvalidgradientatindex0-expectedtypetorch.FloatTensorbutgottorch.cuda.FloatTensor
m0_46429066·2023-01-04 15:25
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他