梯度

Datawhale 强化学习笔记(二）马尔可夫过程，DQN 算法

文章目录参考马尔可夫过程DQN算法（DeepQ-Network）如何用神经网络来近似Q函数如何用梯度下降的方式更新网络参数强化学习vs深度学习提高训练稳定性的技巧经验回放目标网络代码实战DQN算法进阶DoubleDQNDuelingDQN
RessCris·2024-01-20 17:54

CT与核磁科普

MRI是把人体放置在一个强大的磁场中，通过射频脉冲激发人体内氢质子，发生核磁共振，然后接受质子发出的核磁共振信号，经过梯度场三个方向的定位，再经过计算机的运算，构成各方位的图像。CT由于X线
笑笑2018·2024-01-20 16:04

数字图像处理

表示色调，s饱和度，l表示亮度，色调和饱和度2.RGB彩色模型：r红色，g绿色，b蓝色，对应的是xyz轴，每个为8比特，用24比特表示全彩色图像3.边缘检测中抗噪性能应该为：Canny算子>一阶算子（梯度算子
爱学习的机器小冉·2024-01-20 12:45

大模型学习笔记06——模型训练

计算单向上下文embedding，一次生成一个tokenencoder-only（BERT）：计算双向上下文embeddingencoder-decoder（T5）：编码输入，解码输出2、优化算法随机梯度下降
等风来随风飘·2024-01-20 11:34

**PyTorch月学习计划 - 第一周；第6-7天: 自动梯度（Autograd）**

PyTorch月学习计划-第6-7天:自动梯度（Autograd）学习目标：掌握自动微分的基本原理，特别是在深度学习中的应用。学会如何在PyTorch中使用autograd模块进行自动梯度计算。
M.D·2024-01-20 06:56

Pytorch学习 第二周Day 10-11: 损失函数和优化器

优化器探讨了随机梯度下降（SGD）、Adam、R
M.D·2024-01-20 06:56

动手学深度学习5 矩阵计算

矩阵计算--矩阵怎么求导数1.导数和微分2.偏导数3.梯度1.向量-标量求导2.向量-向量求导3.拓展到矩阵4.链式法则5.小结QA练习课程安排：视频：https://www.bilibili.com/
陌上阳光·2024-01-20 04:49

动手学深度学习6 自动求导

2.非标量变量的反向传播3.分离计算4.Python控制流的梯度计算QA1.ppt上隐式构造和显示构造为什么看起来差不多？
陌上阳光·2024-01-20 04:47

Tensorflow2.0笔记 - 不使用layer方式，简单的MNIST训练

前向传播和梯度更新都使用最基础的tensorflowAPI来做。
亦枫Leonlew·2024-01-20 03:20

深度学习记录--mini-batch gradient descent

batchvsmini-batchgradientdescentbatch：段，块与传统的batch梯度下降不同，mini-batchgradientdescent将数据分成多个子集，分别进行处理，在数据量非常巨大的情况下
蹲家宅宅·2024-01-19 22:14

对抗样本之FGSM原理&实战

FGSM（fastgradientsignmethod）是一种基于梯度生成对
liuyishou·2024-01-19 22:47

AI 内容分享(七)：加速计算，为何会成为 AI 时代的计算力“新宠”

目录什么是加速计算加速计算解决方案硬件GPU应用型专用集成电路ASIC现场可编程逻辑门阵列FPGA软件CUDAOpenCL网络加速计算应用场景生成式AI加快训练时间处理大型数据集创建复杂模型实时功能高效的计算梯度
之乎者也··2024-01-19 17:51

【挑战全网最易懂】深度强化学习 --- 零基础指南

行为价值方法强化学习六要素设计奖励函数设计评论家策略学习与优化算法路径深度Q网络DQN演员-评论家算法：多智能体强化学习核心框架PPO近端策略优化算法演员-评论家的改进算法：近端策略优化算法PPO、优势演员-评论家算法A2C、异步优势演员-评论家算法A3C、深度确定性策略梯度
Debroon·2024-01-19 14:17

机器学习（一）—— 简介

参考书籍《机器学习和深度学习：原理、算法、实战》文章目录1工业界流行的机器学习算法2机器学习3深度学习4预备知识5监督学习与无监督学习1工业界流行的机器学习算法线型回归逻辑回归决策树随机森林梯度提升机人工神经网络卷积神经网络循环神经网络贝叶斯技术支持向量机进化方法马尔可夫逻辑网络隐马尔可夫模型生成对抗网络
奶盖加芝士·2024-01-19 10:15

Hessian 矩阵汉语叫什么名字，是什么意思，是用来干什么的？

Hessian矩阵是一个方阵，其中的元素是一个函数的二阶偏导数，用于描述该函数在给定点附近的局部曲率和梯度信息。Hessian矩阵在数学和优化领域中的应用非常广泛，具体用途包括：优化问
神笔馬良·2024-01-19 09:13

神经网络激活函数--Sigmoid、Tanh、Relu、Softmax

sigmoid和Tanh函数的导数简单，但是可能出现梯度弥散。ReLU函数仅保留正元素，有良好的特性。Softmax一般是用于分类最后一层的归一化。
远离科研，保命要紧·2024-01-19 08:27

opencv知识点总结（主要是函数总结）

提取图片中水果特征（周长、面积、颜色、长度、宽度）用到的知识点：参考链接提取梯度特征：cv.Sobel()提取边缘：cv.Canny()寻找轮廓cv.findContours()为轮廓绑定边框cv.boundingRect
雨住多一横·2024-01-19 07:03

2022-10-11

（其实感觉这个表彰可以有梯度层次，突出先进[调皮]最好的同学又有奖状有本，其次的只有奖状）
初心倩萦·2024-01-19 07:42

学习率调整策略之Warmup以及代码实现

介绍在深度学习中，我们通常使用梯度下降等优化算法来训练模型，其中学习率是一个非常重要的超参数。
Wilson_Hank·2024-01-19 05:33

LightGBM On Spark

LightGBM是使用基于树的学习算法的梯度增强框架。它被设计为分布式且高效的，具有以下优点：根据官网的介绍：LigthGBM训练速度更快，效率更高。LightGBM比XGBoost快将近10倍。
wong小尧·2024-01-19 04:10

近似点梯度法

——ProximalGradientMethod最优化笔记，主要参考资料为《最优化：建模、算法与理论》文章目录最优化笔记——ProximalGradientMethod一、邻近算子（1）定义二、近似点梯度法
格兰芬多_未名·2024-01-19 03:52

牛顿法和拟牛顿法介绍

最优化笔记，主要参考资料为《最优化：建模、算法与理论》文章目录一、经典牛顿法（1）迭代格式（2）收敛性二、拟牛顿法（1）割线方程（2）BFGS公式（3）BFGS全局收敛性参考资料梯度法仅仅依赖函数值和梯度的信息
格兰芬多_未名·2024-01-19 03:21

【小白学PyTorch】20 TF2的eager模式与求导

微信：cyx645016617.参考目录：文章目录1什么是eager模式2TF1.0vsTF2.03获取导数/梯度4获取高阶导数之前讲解了如何构建数据集，如何创建TFREC文件，如何构建模型，如何存储模型
微信公众号[机器学习炼丹术]·2024-01-19 02:50

TF2 build-in Keras在eager及非eager模式下callback训练过程中梯度的方式

ClassActivationMap/GradientAttentionMap分类/分割任务中可能会需要对训练过程中某些层的计算梯度进行操作，对于Keras来说我们可以通过使用Callback()实现返回梯度的目的
xtphysics·2024-01-19 02:48

Kaggle知识点：训练神经网络的7个技巧

来源：Coggle数据科学神经网络模型使用随机梯度下降进行训练，模型权重使用反向传播算法进行更新。
Imagination官方博客·2024-01-19 00:56

大模型学习笔记04——新的模型架构

每个输入只激活一小部分专家混合专家模型方法：注意通过门控控制使用不同种类和数量的专家所有专家的概率分布和为1，可以取其中概率较大的几个专家，而忽略概率较小的专家需要确保所有专家都能被输入使用，如果只有一个专家活跃既是浪费，其他专家也得不到梯度改善混合专家非常有利于并行
等风来随风飘·2024-01-18 22:47

零基础"机器学习"自学笔记|Note3:梯度下降法

03梯度下降3.1梯度下
木舟笔记·2024-01-18 20:40

吴恩达机器学习笔记-Logistic回归模型

如果这里使用梯度下降法，不能保证能得到全局收敛的值，这个函数就是所谓的
Carey_Wu·2024-01-18 16:26

线性回归+小批量梯度下降算法

目录1.线性模型计算预测值：2.使用均方损失作为损失函数：3.基础优化算法：梯度下降4.训练数据：5.线性回归实现：6.线性回归总结：1.线性模型计算预测值：线性模型可以看做单层神经网络。
姓蔡小朋友·2024-01-18 15:44

涛思数据获评北京市“专精特新”中小企业

近日，北京市经济和信息化局按照工业和信息化部《优质中小企业梯度培育管理暂行办法》（工信部企业〔2022〕63号）、《北京市优质中小企业梯度管理实施细则》要求，组织开展了2023年第三季度专精
涛思数据（TDengine）·2024-01-18 14:04

深度学习记录--梯度检验

数值逼近为了对梯度进行检验，需要计算近似误差值来接近梯度对于单边误差和双边误差公式，其中双边误差与真实梯度相差更小，故一般采用双边误差公式双边误差公式：梯度检验(gradientchecking)对于成本函数
蹲家宅宅·2024-01-18 09:19

深度学习记录--归—化输入特征

normalizinginputs),对特征值进行一定的处理，可以加速神经网络训练速度步骤零均值化通过x值更新让均值稳定在零附近，即为零均值化归化方差适当减小变量方差解释归化可以让原本狭长的数据图像变得规整，梯度下降的迭代次数减少
蹲家宅宅·2024-01-18 09:49

深度学习记录--梯度消失和爆炸

梯度消失和爆炸的产生当神经网络层数很大时，即很大时，w与1之间的大小关系会产生梯度消失与梯度爆炸的问题当w1时，会非常大，梯度爆炸解决方法权重初始化层数n越大，越要使特征值w变小
蹲家宅宅·2024-01-18 09:16

2024华数杯国际数学建模A题思路模型详解

这个方程考虑了物质由于流体运动（阿德韦克斯项）和由于浓度梯度引起的分子扩散（扩散项）
C灿灿数模·2024-01-18 09:44

大创项目推荐 深度学习的智能中文对话问答机器人

项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分：4.5评价NLP测试效果：4.6梯度截断
laafeer·2024-01-18 09:11

【机器学习300问】9、梯度下降是用来干嘛的？

其实我首先得知道梯度下降是什么，也就它的定义。其次我得了解它具体用在什么地方，也就是使用场景。最后才是这个问题，梯度下降有什么用？怎么用？所以我按照这个思路给大家讲讲我自己是怎么理解梯度下降的。
小oo呆·2024-01-18 08:37

python数字图像处理基础（四）——图像平滑处理、形态学操作、图像梯度

GaussianBlur()4.中值滤波medianBlur()形态学操作morphology1.腐蚀操作2.膨胀操作3.开运算cv2.morphologyEx()4.闭运算cv2.morphologyEx()5.梯度运算
_hermit:·2024-01-18 08:48

python数字图像处理基础（五）——Canny边缘检测、图像金字塔、图像分割

目录Canny边缘检测原理步骤图像金字塔1.高斯金字塔2.拉普拉斯金字塔图像分割图像轮廓检测1.检测轮廓2.绘制轮廓3.补充Canny边缘检测梯度是什么?
_hermit:·2024-01-18 08:48

【机器学习300问】10、学习率设置过大或过小对训练有何影响？

先来复习一下梯度下降算法，在每次迭代过程中，算法计算目标函数关于当前参数值的梯度（即函数在该点的斜率或方向导数向量），然后沿着梯度的反方向移动一定的步长。更新规则可以表示为：其中：θ表示模型参数。
小oo呆·2024-01-18 07:12

为什么在进行softmax之前需要对attention进行scaled（为什么除以 d_k的平方根）

Self-attention中dot-product操作为什么要被缩放-知乎标准正太分布（0均值，1方差的高斯分布）解释1：解释2：这样做是因为对于较大的深度值，点积的大小会增大，从而推动softmax函数往仅有很小的梯度的方向靠拢
ytusdc·2024-01-18 04:52

批量归一化和层归一化

如果将输入序列的每一维数值进行归一化，使其在一定范围之内，比如000和111之间，可以加快基于梯度下降的学习的收敛速度原因：梯度下降以相同的学习率对每一维进行最小化，如果取值范围差异很大，学习就很难在各个维度上同时收敛
bulingg·2024-01-18 04:51

优化算法，理解指数加权平均

可以想象到，梯度要平滑一些。在做mini-batch梯度下降的时候，梯度的表现是这样的，image.png。如果通过指数加权平均使得梯度计算的时候更加平滑，但是整体趋势还是往函数收敛的方向走。
lanughing·2024-01-18 03:55

CMA-ES 算法初探

1进化算法在学习最优模型参数的时候，梯度下降并不是唯一的选择。在我们不知道目标函数的精确解析或者不能直接计算梯度的情况下，进化算法是有效的。
UQI-LIUWJ·2024-01-18 02:47

深度学习基础数据结构之张量：从一维到多维

通过支持高维度矩阵运算、记录梯度信息等功能，张量成为实现深度学习算法的关键。张量是一个多维数据容器，可以用来表示各种数据类型，如数值、图像、音频、文本等。
m0_61254808·2024-01-17 19:17

最优化 | 一维搜索与方程求根 | C++实现

文章目录参考资料前言1.二分法求根1.1[a,b]区间二分法求根1.1.1原理1.1.2C++实现1.2区间右侧无穷的二分法求根1.3求含根区间2.牛顿法求根2.1原理2.2c++实现3.梯度下降法求根
CHH3213·2024-01-17 19:47

最优化 | 无约束优化方法 | C++实现

文章目录参考资料1.前言2.梯度下降法2.1原理2.2c++实现2.3共轭梯度法3.牛顿法3.1原理3.2c++实现4.模拟退火算法4.1原理4.2c++实现5.遗传算法参考资料https://blog.csdn.net
CHH3213·2024-01-17 19:17

自适应动量因子梯度下降BP神经网络的人口预测

目录摘要BP神经网络参数设置及各种函数选择参数设置训练函数传递函数学习函数性能函数显示函数前向网络创建函数BP神经网络训练窗口详解训练窗口例样训练窗口四部详解基于BP神经网络的租金预测代码下载：bp数据人口预测.rar，（代码完整，数据齐全）资源-CSDN文库https://download.csdn.net/download/abc991835105/88746563效果图结果分析摘要本文总结B
神经网络机器学习智能算法画图绘图·2024-01-17 19:15

预备知识02-自动微分

微积分这两个不作介绍，可以点击下方链接阅读原文2.3.线性代数—动手学深度学习2.0.0documentation(d2l.ai)2.4.微积分—动手学深度学习2.0.0documentation(d2l.ai)梯度在微积分中
良子c·2024-01-17 18:13

监督学习 - 梯度提升机（Gradient Boosting Machines，GBM）

什么是机器学习梯度提升机（GradientBoostingMachines，GBM）是一种集成学习方法，通过将多个弱学习器（通常是决策树）组合成一个强学习器来提高模型的性能。
草明·2024-01-17 18:12

解析Transformer模型

原文地址：https://zhanghan.xyz/posts/17281/进入TransformerRNN很难处理冗长的文本序列，且很容易受到所谓梯度消失/爆炸的问题。
.别拖至春天.·2024-01-17 15:50
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他