梯度

NNDL：作业五

习题4-1对于一个神经元,并使用梯度下降优化参数w时,如果输入x恒大于0,其收敛速度会比零均值化的输入更慢.证明：激活函数以sigmoid为例。
今天也是元气满满的一天呢·2023-10-28 22:48

Gradient Descent (梯度下降)

重要性梯度下降算法在机器学习和深度学习中扮演者重要的角色。
倒着念·2023-10-28 20:55

机器学习实战 梯度上升 数学推导_机器学习-白板推导系列(二)-数学基础笔记

视频如下：机器学习-白板推导系列(二)-数学基础_哔哩哔哩(゜-゜)つロ干杯~-bilibiliwww.bilibili.com一、概率-高斯分布1-极大似然估计高斯分布在统计机器学习中占据重要的地位。本节内容主要是利用极大似然估计计算高斯分布下的最优参数。Data:假设数据中有个样本，每个样本为维数据（含有个feature）所有的样本都独立同分布于高斯分布MLE：极大似然估计MLE：求最优的使得
weixin_39644377·2023-10-28 17:24

优化算法——凸性

优化算法——凸性文章目录前言一、优化与深度学习1.1.优化的目标1.2.深度学习中的优化挑战1.2.1.局部最小值1.2.2.鞍点1.2.3.梯度消失二、凸性2.1.定义2.1.1.凸集2.1.2.凸函数
星石传说·2023-10-28 11:17

【DL】常见优化算法的优缺点

0、优化算法的功能用来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化(或最大化)损失函数L(x)【这种算法使用各参数的梯度值来最小化或最大化损失函数L(x)。
机器不学习我学习·2023-10-28 10:45

UE4 使用材质后期 制作玻璃有雨效果

拿到一个TexCoord的R值，从左往右的渐变，做一个梯度渐变，乘以一个值，往下取整，然后再除以一个相同的值就会产生梯度渐变效果，这个值看情况而定，连到Lerp的Alph
远离UE4·2023-10-28 08:38

3.线性神经网络

1R1R2R^2R2目录知识框架No.1线性回归+基础优化算法一、线性回归1、买房案例2、买房模型简化3、线性模型4、神经网络5、损失函数6、训练数据7、参数学习8、显示解9、总结二、基础优化算法1、梯度下降
霸时斌子·2023-10-28 05:54

learning rate

-引入参数σσ常见的计算方式-Rootmeansquare（均方根）Adagrad-不同参数不同学习率RMSProp-不同参数不同学习率+同一参数不同学习率Adam：RMSProp+Momentum小梯度累加导致
Selvaggia·2023-10-28 01:15

**基于卷积神经网络的笑脸数据集（GENKI4K）训练**

基于卷积神经网络的笑脸数据集（GENKI4K）训练一、人脸图像特征提取的方法1.HOG特征方向梯度直方图（HistogramofOrientedGradient,HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子
m0_47297839·2023-10-27 23:32

Policy Gradient 策略梯度法

PolicyGradient，策略梯度法是强化学习中的一种常用方法。
志远1997·2023-10-27 23:19

强化学习------PPO算法

目录简介一、PPO原理1、由On-policy转化为Off-policy2、ImportanceSampling（重要性采样）3、off-policy下的梯度公式推导二、PPO算法两种形式1、PPO-Penalty2
韭菜盖饭·2023-10-27 23:36

Transformer简单理解（MT）

计算分数时，除以d的平方根以获得更加稳定的梯度。softmax计算得到的某单词上的权重可以被视作为该单词应当被获
rd142857·2023-10-27 22:21

【深度学习实验】网络优化与正则化（一）：优化算法：使用动量优化的随机梯度下降算法（Stochastic Gradient Descent with Momentum）

文章目录一、实验介绍二、实验环境1.配置虚拟环境2.库版本介绍三、实验内容0.导入必要的库1.随机梯度下降SGD算法a.PyTorch中的SGD优化器b.使用SGD优化器的前馈神经网络2.随机梯度下降的改进方法
QomolangmaH·2023-10-27 19:15

阅读教学的困惑

初中三年，记叙文阅读训练循序渐进的梯度是什么？这应该是一个知识体系，七年级八年级九年级细微区别体现在哪？我还没有彻底搞清，也许这本就是不清晰的？七八九三级的试卷，又有多少是依据课标、紧扣课本出的呢？
一身书生气·2023-10-27 18:19

One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True

_model.parameters())手动求梯度时，可能遇到该问题:OneofthedifferentiatedTensorsappearstonothavebeenusedinthegraph.Setallow_unused
不当菜鸡的程序媛·2023-10-27 17:09

深度学习与计算机视觉（一）

文章目录计算机视觉与图像处理的区别人工神经元感知机-分类任务Sigmoid神经元/对数几率回归对数损失/交叉熵损失函数梯度下降法-极小化对数损失函数线性神经元/线性回归均方差损失函数-线性回归常用损失函数使用梯度下降法训练线性回归模型线性分类器多分类器的决策面
@@老胡·2023-10-27 17:18

Pytorch(二) --梯度下降法

针对y=wx+b，利用梯度下降法求得相对应的w和b，此时，w和b是一个近似解，而不是确切解。上图是针对y=wx的梯度下降法的步骤，y=w*x+b的步骤与之类似，只不过分为两步，w和b。
starlet_kiss·2023-10-27 14:44

pytorch入门第二课——随机梯度下降（SGD）

本文内容为梯度下降算法，绘制迭代-损失图。
疯狂java杰尼龟·2023-10-27 14:42

pytorch深度学习实践（二）：梯度下降算法详解和代码实现（梯度下降、随机梯度下降、小批量梯度下降的对比）

目录一、梯度下降1.1公式与原理1.1.1cost(w)1.1.2梯度1.1.3w的更新1.2训练过程可视化1.3代码实现二、随机梯度下降（stochasticgradientdescent，SDG）2.1
好喜欢吃红柚子·2023-10-27 14:34

Pytorch代码入门学习之分类任务（三）：定义损失函数与优化器

目录一、定义损失函数1.1代码1.2损失函数简介1.3交叉熵误差（crossentropyerror）二、定义优化器2.1代码2.2构造优化器2.3随机梯度下降法（SGD）一、定义损失函数1.1代码criterion
摘星星的屋顶·2023-10-27 14:24

IFOS3D（一）

IFOS3D1介绍1.1全波形反演（FWI）目的方法从2D到3D1.2IFOS3D概念目的方法2理论与实践2.1反演问题梯度法2.2使用SOFI3D进行正向建模2.2.1有限差异建模2.2.2SOFI3D
qq_37637914·2023-10-27 12:32

深入机器学习的梯度优化

而常见的优化算法中，有梯度下降、遗传算法、模拟退火等算法，其中用梯度类的优化算法通常效率更高，而使用也更为广泛。
算法进阶·2023-10-27 07:33

吴恩达机器学习第十周测试

第一题答案B分析：当代价函数呈上升趋势的时候，可以试着将学习率减小第二题答案CD分析：A：随机梯度下降并不能并行化，错误。B：批量梯度下降是在每一次迭代后计算代价函数，错误。
一叶知秋Autumn·2023-10-27 07:28

【深度学习】梯度下降（通俗易懂）

文章目录1、前言2、理论与代码1、求极值问题2、梯度下降3、实例演示1、前言最近有朋友问到我，损失函数与激活函数的问题，由于工作等原因有段时间没接触深度学习没有回答的很好。
读书猿·2023-10-27 04:23

【电磁场与电磁波】第一章 矢量分析 Vector Analysis

.标量和矢量Scalar&Vectors2.场Field3.矢量Vector1.2坐标Coordinates1.直角坐标系CartesianCoordinates2.柱坐标系3.球坐标系1.3标量场的梯度
禾风wyh·2023-10-27 03:54

LM(列文伯格-马夸尔特)方法的个人理解，以及实现问题

不同之处:LIneSearch:不管当前迭代点X(k)到最优解X*之间的路径，每次迭代X(k)得到X(k+1),都是使用该点的反向梯度方向进行值得寻找，这就导致了这样一种可能得问题：‘在靠近X*的时候，
慷仔·2023-10-27 03:15

深度模型中的优化（二）

3、基本算法3.1随机梯度下降SGDSGD算法中一个关键参数是学习率，一般学习率应随着时间的推移逐渐降低，学习率的最终值应设为大约初始值的1%。
梅八哥·2023-10-27 01:24

cs231n assignment2(3)

Barebones在该层次中，需要利用pytorch所提供的一些函数，不仅需要定义神经网络的结构，同时还需编写网络的前向传播以及模型的训练部分；而参数的梯度可
没天赋的学琴·2023-10-26 23:40

损失函数和评估函数

损失函数通常被用作优化算法（如梯度下降）的目标函数，通过最小化损失函数来调整模型参数，使得模型的预测结果更加接近实际结果。
闪闪发亮的小星星·2023-10-26 20:59

在条件神经网络训练中，为什么对于条件特征采取 “don‘t compute derivative w.r.t. inputs”？

在条件神经网络训练中，"don'tcomputederivativew.r.t.inputs"意味着不计算相对于条件特征的输入的梯度。
温柔的行子·2023-10-26 18:54

交叉熵损失函数

主要原因是在分类问题中，使用sigmoid/softmx得到概率，配合MSE损失函数时，采用梯度下降法进行学习时，会出现模型一开始训练时，学习速率非常慢的情况交叉熵函数是凸函数，求导时能够得到全局最优值
骑着蜗牛逛世界·2023-10-26 18:53

【机器学习合集】深度学习模型优化方法&最优化问题合集 -＞（个人学习记录笔记）

文章目录最优化1.最优化目标1.1凸函数&凹函数1.2鞍点1.3学习率2.常见的深度学习模型优化方法2.1随机梯度下降法2.2动量法(Momentum)2.3Nesterovacceleratedgradient
slience_me·2023-10-26 18:55

pytorch学习经验(一) detach, requires_grad和volatile

CIN的代码时,将batch_size从10一路降到2,依然每执行sample就爆显存.请教师兄后,发现问题出在这一句上:在进行sample的时候,不止保存之前的变量fake,而且还保存了fake前所有的梯度
nowherespyfly·2023-10-26 18:09

批量归一化和残差网络；凸优化；梯度下降 2020-02-25

批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。全连接：批量归一化：这⾥ϵ>0
allen成·2023-10-26 18:47

Spring Boot集成Swagger接口分类与各元素排序问题

Swagger的接口的分组首先我们需要对Swagger中的接口也就是以Controller层作为第一级梯度进行组织的，Controller在我们实际开发中，与其他具体接口之间是存在一对多的关系，我们可以将同属一个模块的接口
Miaow.Y.Hu·2023-10-26 17:55

DenseNet论文学习笔记

DenseNet网络有以下优点减缓梯度消失增强特征传播特征重
shuyeah·2023-10-26 08:13

学习率（Learing Rate）的作用以及如何调整

这里以梯度下降为例，来观察一下不同的学习率对代价函数的收敛过程的影响（这里以代价函数为凸函数为例）：回顾一下梯度下降的代码：  repeat{    θj=θj−αΔJ(θ)Δθjθj=θj−
一枚小菜程序员·2023-10-26 08:15

论文解读：Black-Box Tuning for Language-Model-as-a-Service

将这种不能访问梯度参数，只能通过推理API查询模型推理结果的场景称为LMaaS（LanguageModelasaService）本文在此场景下提出了一种黑盒优化框架，通过无导数优化来优化输入文本前的连续提示
RittoQin·2023-10-26 07:41

混合精度训练原理之float16和float32数据之间的互相转换

：全网最全-混合精度训练原理上述文章已经讲解的比较详细，本文只是从数值角度分析：1.float32转入float16的精度误差2.在深度学习的混精度训练当中，当参数值（float32)获取到计算得到的梯度值
Cheny1m·2023-10-26 07:02

BN层总结与实际作用

层的目的深度学习的一个重要假设是独立同分布假设（IID），这个假设不仅适用于训练集和测试集，也适用于同一网络的不同层之间，即假设每一层的输入在经过与权重相乘和非线性激活后，输出（即下一层的输入）与输入依然IID，这样在反向传播时各层的梯度都会在一个合理的区间内
qq184861643·2023-10-26 07:32

BP网络权值调公式推导（梯度下降算法推导）

这要从梯度下降算法推导来理解：首先看一下梯度的定义：看不懂也没关系，只要认识梯度的符号▽请看下面的推导过程：可以发现5.19和5.23很相似，就可以将5.19的推论应用到5.23来理
Strive_LiJiaLe·2023-10-26 03:04

37 深度学习（一）：查看自己显卡的指令|张量|验证集|分类问题|回归问题

文章目录查看自己显卡的指令框架选什么张量的阶数验证集存在的意义分类问题一般的全连接的代码格式（板子）上面训练的详解一些省略梯度消失和梯度爆炸Dropout回归问题一般回归的全连接的板子batch-size
Micoreal·2023-10-26 02:29

机器学习中为什么需要梯度下降_机器学习理论（四）线性回归中的梯度下降法...

(小小：机器学习的经典算法与应用)(小小：机器学习理论（一）KNN-k近邻算法)(小小：机器学习理论（二）简单线性回归)(小小：机器学习理论（三）多元线性回归)(小小：机器学习理论（四）线性回归中的梯度下降法
weixin_39607423·2023-10-26 02:24

实验二：线性回归

目录实验前准备一元线性回归模型实验要求实验数据预处理方法1——最小二乘法方法2——梯度下降法方法3——矩阵求解法三元线性回归模型实验要求实验数据预处理方法1——矩阵求解法方法2——梯度下降法实验总结实验前准备本实验是在
盐水鸭的守护神·2023-10-26 02:19

神经架构搜索survey: 关于如何提升Kendall tau和Spearman？

Curriculumlearningonthesharingextenttowardsbetterone-shotnasK-shotnas:Learnableweight-sharingfornaswithk-shotsupernetsFew-shotneuralarchitecturesearch2.梯度匹配
从零开始的计科搬砖猫·2023-10-26 01:46

LSTM算法精解（附案例代码）

LSTM旨在解决传统RNN存在的梯度消失和梯度爆炸问题，这些问题使得RNN难以处理长序列数据。LSTM引入了门控机制，这些门控单元允许网络选择性地记住和遗忘信息。
贾斯汀玛尔斯·2023-10-26 01:38

Proximal Algorithms 6 Evaluating Proximal Operators

ProximalAlgorithms需要注意的一点是，本节所介绍的例子可以通过第二节的性质进行延展.一般方法一般情况下proximal需要解决下面的问题:在这里插入图片描述其中,.我们可以使用梯度方法(
馒头and花卷·2023-10-26 01:44

第P9周-YOLOv5Backbone模块

CSPBottleneck块和C3类的设计使其非常适合目标检测任务，充分考虑了多尺度特征融合、梯度流动和计算效率等因素。
风筝超冷·2023-10-26 00:47

听课随想《故乡》《就英法联军远征中国致巴特勒上尉的信》2022-10-04

课前思考：上周听了4节语文课，发觉初一的课和初二初三的课没有层次和梯度，也就是初中三年的知识没有一个完整的知识体系，那么如何建立知识体系呢？
深海虾米·2023-10-25 16:14

【机器学习】集成学习Boosting

文章目录集成学习BoostingAdaBoost梯度提升树GBDTXGBoostxgboost库sklearnAPIxgboost库xgboost应用集成学习集成学习（ensemblelearning）
高 朗·2023-10-25 10:32
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他