梯度

GBDT-梯度提升决策树

梯度提升决策树（GradientBoostingDecisionTree,GBDT）是一种基于boosting集成学习思想的加法模型，训练时采用前向分布算法进行贪婪学习，每次迭代都学习一棵CART树来拟合之前
沉住气CD·2023-12-21 02:33

为什么GRU和LSTM能够缓解梯度消失或梯度爆炸问题？

1、什么是梯度消失（gradientvanishing）？参数更新过小，在每次更新时几乎不会移动，导致模型无法学习。2、什么是梯度爆炸（gradientexploding）？
科学禅道·2023-12-21 02:48

梯度下降法

一、梯度下降法的基本概念梯度下降法是一种常用的优化算法，用于求解最小化目标函数的问题。在机器学习和深度学习中，梯度下降法被广泛应用于求解模型参数的优化问题，例如线性回归、逻辑回归、神经网络等。
调钟师·2023-12-21 01:32

常见的分类算法

本文将介绍十种常见的分类算法，包括K-近邻算法、决策树算法、朴素贝叶斯算法、支持向量机算法、逻辑回归算法、神经网络算法、随机森林算法、梯度提升算法、AdaBoost算法和XGBoost算法。
调钟师·2023-12-21 01:01

大模型的魔法

momentum是梯度下降法中一种常用的加速技术。对于一
YingJingh·2023-12-21 01:29

CSP-202309-2 坐标变换（其二）(模拟，c++，vector建二叉树)

计算机软件能力认证考试系统问题描述试题编号：202309-3试题名称：梯度求解时间限制：1.0s内存限制：512.0MB问题描述：背景西西艾弗岛运营公司近期在大力推广智能化市政管理系统。
Landing_on_Mars·2023-12-20 22:06

【Matlab算法】随机梯度下降法 (Stochastic Gradient Descent，SGD) （附MATLAB完整代码）

随机梯度下降法前言正文代码实现可运行代码结果前言随机梯度下降法(StochasticGradientDescent，SGD)是一种梯度下降法的变种，用于优化损失函数并更新模型参数。
Albert_Lsk·2023-12-20 21:02

迭代相位恢复算法matlab仿真程序,相位恢复算法在仿真与实验上的研究

将基于光强传输方程(TIE)法与G-s迭代算法混合提高了相位恢复的精确度，梯度算法的提出加大了迭代步长，使得收敛速度加快。
Mustafa Xia·2023-12-20 20:26

大数据机器学习：从理论到实战，探索学习率的调整策略

大数据机器学习：从理论到实战，探索学习率的调整策略全文目录大数据机器学习：从理论到实战，探索学习率的调整策略一、引言二、学习率基础定义与解释学习率与梯度下降学习率对模型性能的影响三、学习率调整策略常量学习率时间衰减自适应学习率
星川皆无恙·2023-12-20 18:43

MNIST手写数字识别——simple model Y = XW + b

文章目录数据处理MINIST手写数字数据集简单介绍一下数据集将数据集转化为csv文件简单的手写数字识别模型加载数据集定义模型和超参数前向传播sigmoid激活函数softmax函数交叉熵损失函数反向传播梯度下降法链式法则
涵涵不是憨憨~·2023-12-20 18:30

NLP论文阅读记录-ACL 2023 | Improving the Robustness of Summarization Systems with Dual Augmentation

文章目录前言一、论文摘要二、论文动机2.1目标问题2.2相关工作三.本文工作3.1摘要攻击器受攻击的词选择器使用LM和梯度进行攻击3.2双重增强漏洞分析增强设计输入空间增强潜在语义空间增强四实验效果4.1
yuyuyu_xxx·2023-12-20 18:13

2019-09-27

从有效经营的角度来看，我们列举以下重点模块：项目定位，消费设计，服务流程，技术沟通，业绩规划，梯度考核，环境管理，团队成长。在这些模块中，哪些经营动作是有效的，
甘新军Kevingan·2023-12-20 15:07

某电子文档安全管理系统 SQL注入漏洞复现

防止内部员工泄密和外部人员非法窃取企业核心重要数据资产，对电子文档进行全生命周期防护，系统具有透明加密、主动加密、智能加密等多种加密方式，用户可根据部门涉密程度的不同(如核心部门和普通部门)，部署力度轻重不一的梯度式文档加密防护
keepb1ue·2023-12-20 15:04

归一化和标准化(Z-Score)

在处理数据过程中，通常会有不同规格的数据，比如年龄的取值范围是0-130，收入的取值范围是0-100000等等，如果不进行归一化或标准化处理，梯度下降每次走过的相对长度就不一样，就导致某个参数很快就找到了最优解
ShawnWeasley·2023-12-20 11:15

深度学习优化器Optimizer-SGD、mSGD、AdaGrad、RMSProp、Adam、AdamW

alpha学习率learningrate:α防止除0的截断参数:ϵ防止除0的截断参数:\epsilon防止除0的截断参数:ϵt  时刻的参数:Wtt\;时刻的参数:W_{t}t时刻的参数:Wtt  时刻的梯度
Leafing_·2023-12-20 08:13

线性回归——lasso回归和岭回归（ridge regression）

References线性回归很简单，用线性函数拟合数据，用meansquareerror(mse)计算损失（cost），然后用梯度下降法找到一组使mse最小的权重。
weixin_30853329·2023-12-20 05:14

线性回归、lasso回归和岭回归（ridge regression）

线性回归很简单，用线性函数拟合数据，用均方差meansquareerror(mse)计算损失（cost），然后用梯度下降法找到一组使mse最小的权重。
呆小呆_·2023-12-20 05:43

Halcon深度学习相关术语介绍

1、深度学习术语表一序号术语解释1AdamAdam(adaptivemomentestimation)是一种基于一阶梯度的随机目标函数优化算法，用于计算单独的自适应学习率。
夏雪之晶莹·2023-12-20 03:33

湖南科技大学计算智能课设（二）以人事招聘为例的误差反向传播算法

其建立在梯度下降
枍飏·2023-12-20 03:52

数量关系到底该怎么找 《节余多少钱》教学反思

在练习环节，设计了梯度递增的几个练习题，让学生解决图像文字结合的练习抽象、转化为仅有文字和数量信息的问题。让孩子们计算题在数学作业帮上完成的情况不是很好。课题检测的情况相对来说比较理想。但是
坪山区弘金地学校张伟·2023-12-20 03:09

带残差连接的ResNet18

3带残差连接的ResNet183.1模型训练3.2模型评价4与高层API实现版本的对比实验总结残差网络（ResidualNetwork，ResNet）是在神经网络模型中给非线性层增加直连边的方式来缓解梯度消失问题
熬夜患者·2023-12-20 01:15

RNN梯度爆炸实验

前情回顾fromtorch.utils.dataimportDatasetimporttorch.nnasnnimporttorch.nn.functionalasFimportosimportrandomimporttorchfromnndlimportAccuracyfromnndlimportRunnerV3fromtorch.utils.dataimportDataLoaderimport
熬夜患者·2023-12-20 01:15

深度学习中的张量维度

在深度学习中，张量通常被用来表示神经网络的输入、输出、权重和梯度等数据。在深度学习框架中，张量是一个重要的概念，因为它是深度学习计算的基本单位。张量可以用不同的数据类型表示，如浮点型、整型等。
智慧医疗探索者·2023-12-20 01:54

NNDL 循环神经网络-梯度爆炸实验 [HBU]

目录6.2.1梯度打印函数6.2.2复现梯度爆炸现象6.2.3使用梯度截断解决梯度爆炸问题【思考题】梯度截断解决梯度爆炸问题的原理是什么？
洛杉矶县牛肉板面·2023-12-20 00:02

前馈神经网络-自动梯度计算＆优化问题

目录一.自动梯度计算1利用预定义算子重新实现前馈神经网络（1）使用pytorch的预定义算子来重新实现二分类任务。（必做）（2）增加一个3个神经元的隐藏层，再次实现二分类，并与1做对比。
洛杉矶县牛肉板面·2023-12-20 00:01

NNDL 作业10 BPTT [HBU]

目录习题6-1P推导RNN反向传播算法BPTT.习题6-2推导公式(6.40)和公式(6.41)中的梯度．习题6-3当使用公式(6.50)作为循环神经网络的状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决方法
洛杉矶县牛肉板面·2023-12-20 00:01

NNDL 作业11 LSTM [HBU ]

目录习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果>LSTM前向传播>反向传播求梯度>梯度消失和梯度爆炸怎么来的？>关键点：LSTM如何缓解梯度消失？
洛杉矶县牛肉板面·2023-12-20 00:29

pytorch文本分类（三）模型框架（DNN&textCNN）

原任务链接目录pytorch文本分类（三）模型框架（DNN&textCNN）1.背景知识深度学习2.DNN2.1从感知器到神经网络2.2DNN的基本结构2.2.1前向传播算法激活函数2.2.2反向传播算法损失函数梯度下降优化器
大地之灯·2023-12-20 00:59

OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING

文章提出，在小样本数据下，基于梯度的优化算法失败的原因：1、梯度优化算法无法在几步之内完成优化，特别是非凸问题，各种超参的选取无法保证收敛的速度。2、不同任务随机初始化会影响任务收敛到好的解上。
果园林·2023-12-19 23:04

大数据机器学习-梯度下降：从技术到实战的全面指南

大数据机器学习-梯度下降：从技术到实战的全面指南文章目录大数据机器学习-梯度下降：从技术到实战的全面指南一、简介什么是梯度下降？为什么梯度下降重要？
星川皆无恙·2023-12-19 18:30

BN和LN

它们的目的是加速模型的训练过程，提高模型的收敛速度，并且有助于防止梯度消失或梯度爆炸问题。BatchNormalization(BN)：适用范围：BN主要用于卷积神经网络（CNN）和全连接层。操作对
无名之辈008·2023-12-19 17:04

探索拉普拉斯算子：计算机视觉中用于边缘检测和图像分析的关键工具

它是函数梯度的发散度。在图像处理的上下文中，该运算符应用于图像的强度函数，可以将其视为每个像素具有强度值的二维信号。
无水先生·2023-12-19 16:19

【pytorch】图像运行过程中，保证梯度情况下变换

部分操作是危险的，会中断梯度流。
prinTao·2023-12-19 14:29

[PyTorch][chapter 8][李宏毅深度学习][Back propagation]

它用于计算梯度计算中，降低误差。目录：链式法则模型简介（Model）损失函数,梯度手写例子min-batch一链式法则链式法则是反向传播算法里面的核心。
明朝百晓生·2023-12-19 08:11

Logistic 回归算法

Logistic回归Logistic回归算法Logistic回归简述Sigmoid函数Logistic回归模型表达式求解参数$\theta$梯度上升优化算法Logistic回归简单实现使用sklearn
写进メ诗的结尾。·2023-12-19 06:42

基于Levenberg-Marquardt算法改进的BP神经网络-公式推导及应用

它结合了梯度下降和高斯-牛顿方法的特点，旨在提高收敛速度和稳定性。下面是基于Levenberg-Marquardt算法改进的反向传播（BP）神经网络的详细推导过程。
轩Scott·2023-12-19 05:39

大模型自定义算子优化方案学习笔记：CUDA算子定义、算子编译、正反向梯度实现

01算子优化的意义随着大模型应用的普及以及算力紧缺，下一步对于计算性能的追求一定是技术的核心方向。因为目前大模型的计算逻辑是由一个个独立的算子或者说OP正反向求导实现的，底层往往调用的是GPU提供的CUDA的驱动程序。如果不能对于整个计算过程学习并了解，对于性能优化领域无非是隔靴搔痒，今天也是抽一点时间读了下网上的一些文档和CUDA的文档，整理了学习材料。首先说下为什么要自定义算子，无非是两个原因
Garvin Li·2023-12-19 03:02

【代理模型】KrigingModel

代理模型有多项式响应曲面法，克里金法，梯度增强克里金法（GEK），支持向量机，空间映射，和人工神经网络。
喜欢写代码的小白·2023-12-18 21:00

深度学习-激活函数总结

常见的激活函数有以下几种：1、sigmoid函数sigmoid函数：将输入的值转换成0和1之间的值，并且具有良好的可视化性，但是在函数级别变化较大时，梯度会迅速逼近于0，使得训练速度大大降低。
Element_南笙·2023-12-18 20:52

ReLU（Rectified Linear Unit）和Sigmoid激活函数

ReLU在许多深度学习模型中被广泛使用，因为它在梯度下降中的计算上相对简单，且有效防止了梯度消失问题。Sigmoid函数将输入映射到（0，1）之间的范围，常用于二分类问题。
LeapMay·2023-12-18 17:36

根据定义计算梯度

下面的代码会依次x的每个维度根据定义进行计算。ix：（0,0,0...）（0,0,0...1）....下面的代码写法可以兼容x为任意维数的情况。#参数df表示cost函数对df求导defeval_numerical_gradient_array(f,x,df,h=1e-5):"""Evaluateanumericgradientforafunctionthatacceptsanumpyarraya
抬头挺胸才算活着·2023-12-18 15:11

动手学习深度学习-现代循环神经网络

GRU被设计用来解决传统RNN在处理长序列数据时的梯度消失问题。这两个“门”的主要功能是控制信息的流动，即决定在序列数据处理中保留多少旧信息（如
jieHeEternity·2023-12-18 14:08

pytorch深度学习入门（13）之-模型剪枝

剪枝技术主要有以下几种：重要性剪枝：这种方法首先确定模型中每个权重的重要性，例如可以使用梯度或激活值来判断。然后，删除重要性低的权重，并重新训练模型以调整剩余的权重。
码农呆呆·2023-12-18 14:30

Mini-Batch梯度下降

Mini-batch梯度下降是梯度下降法的一种改进版本，它通过每次迭代使用数据集的一个小批量（mini-batch）样本来更新模型参数，从而在训练过程中更加高效。
星宇星静·2023-12-18 12:21

【李宏毅深度强化学习笔记】2、Proximal Policy Optimization算法(PPO)

【李宏毅深度强化学习笔记】1、策略梯度方法（PolicyGradient）【李宏毅深度强化学习笔记】2、ProximalPolicyOptimization(PPO)算法（本文）【李宏毅深度强化学习笔记
qqqeeevvv·2023-12-18 12:15

深度强化学习：（七）PPO

一、TRPOTRPO算法是Shulman博士为了解决普通的策略梯度算法无法保证性能单调非递减而提出来的方法。
Warship_·2023-12-18 12:44

【深度强化学习】TRPO、PPO

策略梯度的缺点步长难以确定，一旦步长选的不好，就导致恶性循环步长不合适→策略变差→采集的数据变差→（回报/梯度导致的）步长不合适步长不合适\to策略变差\to采集的数据变差\to（回报/梯度导致的）步长不合适步长不合适
x66ccff·2023-12-18 12:13

神经网络中梯度消失 以及梯度爆炸的原因已解决办法

深度神经网络中的梯度消失和梯度爆炸是两个常见的问题，它们都会导致网络训练过程中的梯度无法有效传播或者传播过于剧烈，从而影响网络的收敛性和性能。下面将详细介绍这两个问题以及解决方案。
澄绪猿·2023-12-18 12:42

BP神经网络

它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。
unhurried人生——冕临·2023-12-18 10:59

PyTorch自动梯度计算（注意点）

多次调用backward()会导致梯度的错误累积。如果要防止这个问题发生，我们需要在每次迭代的时候手动的把梯度置为零。Demo的例子imp
永远的HelloWorld·2023-12-18 08:25
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他