梯度优化问题

GBDT+LR探秘：构建高效二分类模型的初体验

GBDT（GradientBoostingDecisionTree，梯度提升决策树）和LR（LogisticRegression，逻辑回归）是两种广泛应用于二分类问题的算法。
uncle_ll·2024-01-22 13:45

Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

现有的verbalizer大多由人工构建或者基于梯度下降进行搜索得到，不足在于标签词的覆盖范围小、存在
Navajo_c·2024-01-22 12:23

深度学习记录--学习率衰减(learning rate decay)

学习率衰减mini-batch梯度下降最终会在最小值附近的区间摆动(噪声很大)，不会精确收敛为了更加近似最小值，采用学习率衰减的方法随着学习率的衰减，步长会逐渐变小，因此最终摆动的区间会很小，更加近似最小值如下图
蹲家宅宅·2024-01-22 10:12

深度学习记录--RMSprop均方根

RMSprop(rootmeansquareprop)减缓纵轴方向学习速度，加快横轴方向学习速度，从而加速梯度下降方法：原理：不妨以b为纵轴，w为横轴(横纵轴可能会不同，因为是多维量)为了让w梯度下降更快
蹲家宅宅·2024-01-22 10:42

深度学习记录--Momentum gradient descent

Momentumgradientdescent正常的梯度下降无法使用更大的学习率，因为学习率过大可能导致偏离函数范围，这种上下波动导致学习率无法得到提高，速度因此减慢(下图蓝色曲线)为了减小波动，同时加快速率
蹲家宅宅·2024-01-22 10:11

Transformer and Pretrain Language Models3-3

注意力机制的出发点首先就是为了解决信息瓶颈问题而存在的，这样我们通过注意力机制decoder端在每次生成的时候，都可以直接关注到encoder端所有位置的信息，信息瓶颈的问题就可以有效地解决了2、注意力机制同样很有效地缓解了RNN中的梯度消失的问题
ringthebell·2024-01-22 10:33

【Deepspeed-DeepSpeedZeroOptimizer-01】ZeRO源码精读01：DeepSpeedZeroOptimizer（ZeRO-1，ZeRO-2）

ZeRO-1，分区优化器状态ZeRO-2，在1的基础上分区梯度至于为什么没有把ZeRO-3一起写，暂时不清楚Deepspeed团队的设计，ZeRO3是在一个单独的文件中的，我们将
陈超帅·2024-01-22 10:30

基于双向长短期神经网络的客流量预测，基于bilstm的客流量预测

download/abc991835105/88768314效果图结果分析展望参考论文背影碳排放越来越受到重视，预测是一种比较难的预测，随机性比较大，长短期神经网络是一种改进党的RNN神经网络，克服了梯度爆炸的问
神经网络机器学习智能算法画图绘图·2024-01-22 07:59

深度强化学习Task2：策略梯度算法

本篇博客是本人参加Datawhale组队学习第二次任务的笔记【教程地址】文章目录基于价值算法和基于策略算法的比较策略梯度算法策略梯度算法的直观理解策略梯度算法REINFORCE算法基于平稳分布的策略梯度算法
卡拉比丘流形·2024-01-22 07:16

JoyRL策略梯度

与基于价值的算法（包括DQN等算法）不同，这类算法直接对策略本身进行近似优化。在这种情况下，我们可以将策略描述成一个带有参数θ的连续函数，该函数将某个状态作为输入，输出的不再是某个确定性的离散动作，而是对应的动作概率分布，通常用表示，称作随机性策略9.1基于价值算法的缺点无法表示连续动作。由于DQN等算法是通过学习状态和动作的价值函数来间接指导策略的，因此它们只能处理离散动作空间的问题，无法表示连
__如果·2024-01-22 05:00

CVX工具包（for matlab）

CVX工具包（formatlab）CVX是斯坦福的教授StephenP.Bold等人开发的一个基于Matlab的凸优化工具包，能够解决诸如线性规划，二次规划，整数规划（需要license)等等优化问题，
夕夕夕夕嘻嘻嘻嘻·2024-01-22 01:12

Matlab中CVX工具箱使用

CVX让Matlab变成一个模型语言，可以使用Matlab的标准语法完成优化问题的求解。安装下载官方安装包，解压缩到任意路径，建议和Matlab放到一起。
Upsame·2024-01-22 01:12

【Andrew Ng机器学习】单变量线性回归-梯度下降

课程：吴恩达机器学习此篇我们将学习梯度下降算法，我们之前已经定义了代价函数J，梯度下降法可以将代价函数J最小化。梯度下降是很常用的算法，他不仅被用在线性回归上，还被广泛应用与机器学习的众多领域。
jenye_·2024-01-21 22:01

计算机图像处理之空域滤波增强（图像平滑+图像锐化）

文章目录空间滤波基础模板卷积计算二维离散卷积图像平滑加权平均模板操作注意并行处理特点串行处理特点中值滤波法多图像平均法图像锐化一阶微分和二阶微分的区别图像细节的灰度变化特性图像细节的灰度变化微分特性拉普拉斯锐化锐化模板设计特点空域图像线性滤波技术综合实例常见的梯度算子例题后期处理水平浮雕效果水平边缘的提取效果几种一阶锐化方法的效果比较非锐化滤波高频增强滤波
空LA·2024-01-21 20:26

Improving Deep Neural Network学习笔记

参数调整、正则化、优化1超参数2方差、偏差3正则化4归一化输入5Mini-batch梯度下降算法6Adam优化算法本周学习了深度学习（吴恩达老师的课程）中，提升深度神经网络的一些方法，包括超参数的调整、
佳雨初林·2024-01-21 17:42

Batch Normalisation

在隐藏层将数据进行标准化，能够加快收敛速度，更解决了深层网络中“梯度弥散”的问题，使得深层网络模型更加容易和稳定。
Mr_Stark的小提莫·2024-01-21 17:27

6、梯度提升XGBoost（eXtreme Gradient Boosting）

XGBoost梯度提升结构化数据最精确的建模技术。在本节课中，我们将学习如何使用梯度增强来构建和优化模型。这种方法在Kaggle的许多竞争中占据主导地位，并在各种数据集上获得了最先进的结果。
AI算法蒋同学·2024-01-21 15:33

深度学习中的优化算法

第t时刻的梯度为g_t,一阶动量为m_t,二阶动量为v_t,更新步长为n_t，则有：SGD首先看看SGD，在SGD中没有动量，即m_t=g_t,v_t=I。
小蛋子·2024-01-21 14:27

循环神经网络的变体模型-LSTM、GRU

下面是LSTM的内部结构图LSTM为了改善梯度消失，引入了一种特殊的存储单元，该存储
Algorithm_Engineer_·2024-01-21 13:52

数字图像处理期末速成笔记

、图像平滑5、邻域平均法（线性）6、中值滤波法（分线性）7、中值滤波与领域平均的异同8、4-邻域平滑法9、超限像素平滑法10、灰度最相近的K个邻点平均法11、3*3模板中值滤波四、图像锐化1、微分法（梯度算子
我先去打把游戏先·2024-01-21 13:43

SQP算法论文阅读1：NLPQL: A FORTRAN subroutine solving constrained nonlinear programming problems

AFORTRANsubroutinesolvingconstrainednonlinearprogrammingproblems[J].Annalsofoperationsresearch,1986,5:485-500.SQP序列二次规划的思想是将约束非线性优化问题等效为求解一系列二次规划子问题求解
小林up·2024-01-21 13:57

GRU门控循环单元神经网络的MATLAB实现（含源代码）

GRU神经网络简介GRU由Cho等人于2014年提出，旨在解决标准RNN在处理长序列时的梯度消失或梯度爆炸问题。与传
沅_Yuan·2024-01-21 10:42

pytorch（二）梯度下降算法

文章目录优化问题梯度下降随机梯度下降在线性模型训练的时候，一开始并不知道w的最优值是什么，可以使用一个随机值来作为w的初始值，使用一定的算法来对w进行更新优化问题寻找使得目标函数最优的权重组合的问题就是优化问题梯度下降通俗的讲
@@老胡·2024-01-21 08:02

机器学习_通过梯度下降找到最佳参数

文章目录训练机器要有正确的方向凸函数确保有最小损失点梯度下降的实现学习速率也很重要训练机器要有正确的方向所谓训练机器，也称拟合的过程，也就是确定模型内部参数的过程。
you_are_my_sunshine*·2024-01-21 06:17

cs231n assignment1——SVM

CIFAR-10数据集并展示部分数据数据图像归一化，减去均值（也可以再除以方差）svm_loss_naive和svm_loss_vectorized计算hinge损失，用拉格朗日法列hinge损失函数利用随机梯度下降法优化
柠檬山楂荷叶茶·2024-01-21 06:15

【机器学习300问】13、学习率曲线有什么作用？

学习率是优化算法中的一个重要超参数，它决定了模型在梯度下降过程中权重更新的步伐大小。如果学习率设置得过高，可能会导致训练过程跳过最优解，甚至发散
小oo呆·2024-01-21 06:45

【核心复现】基于改进鲸鱼优化算法的微网系统能量优化管理matlab

改进鲸鱼优化算法二、部分代码三、运行结果四、下载链接一、主要内容该程序为《基于改进鲸鱼优化算法的微网系统能量优化管理》matlab代码，主要内容如下：针对包含多种可再生能源的冷热电联供型微网系统的能量优化问题
科研工作站·2024-01-21 06:24

【优化覆盖】虚拟力算法求解无线网络传感覆盖优化问题【含Matlab源码 1187期】

⛄一、虚拟力覆盖算法简介虚拟力覆盖算法应用于传感器网络近几年引起了越来越多的人的关注，这首先由Zou等人将虚拟力引入到传感器网络，很明显传感器节点和机器人存在着很多共同之处。所以他们在虚拟力应用于机器人领域的基础上，把传感器也看作是势场中的粒子，由于地球是个巨大的磁场和地球周围存在着电磁场，可以把节点看作是存在势场中的粒子，这样传感器节点之间就存在着相互的联系。⛄二、部分源代码clearallcl
Matlab领域·2024-01-21 02:46

机器学习第十八周周报

机器学习第十八周周报摘要Abstract一、导数二、计算图三、使用计算图求导数四、逻辑回归中的梯度下降五、m个样本的梯度下降六、总结摘要本周开始学习吴恩达的梯度下降法，梯度下降法在机器学习中常常用来优化损失函数
JerryC1999·2024-01-20 22:17

(202401)深度强化学习基础2：策略梯度

文章目录前言策略梯度1基于价值算法的缺点2策略梯度算法3REINFORCE算法本章小结前言感谢Datawhale成员的开源本次学习内容的文档地址为第九章策略梯度策略梯度这个章节会开始介绍基于策略梯度的算法
早上真好·2024-01-20 22:27

速卖通平台自营销活动

并且还要设置活动的梯度，满多少才能够达到店铺的活动，梯度可以不止一个。店铺cod
深度链夏天·2024-01-20 21:58

Halcon基于形状的模板匹配

Halcon基于形状的模板匹配基于形状的模板匹配，也称为基于边缘方向梯度的匹配，是一种最常用也最前沿的模板匹配算法。
electrical1024·2024-01-20 17:18

Datawhale 强化学习笔记(二）马尔可夫过程，DQN 算法

文章目录参考马尔可夫过程DQN算法（DeepQ-Network）如何用神经网络来近似Q函数如何用梯度下降的方式更新网络参数强化学习vs深度学习提高训练稳定性的技巧经验回放目标网络代码实战DQN算法进阶DoubleDQNDuelingDQN
RessCris·2024-01-20 17:54

CT与核磁科普

MRI是把人体放置在一个强大的磁场中，通过射频脉冲激发人体内氢质子，发生核磁共振，然后接受质子发出的核磁共振信号，经过梯度场三个方向的定位，再经过计算机的运算，构成各方位的图像。CT由于X线
笑笑2018·2024-01-20 16:04

数字图像处理

表示色调，s饱和度，l表示亮度，色调和饱和度2.RGB彩色模型：r红色，g绿色，b蓝色，对应的是xyz轴，每个为8比特，用24比特表示全彩色图像3.边缘检测中抗噪性能应该为：Canny算子>一阶算子（梯度算子
爱学习的机器小冉·2024-01-20 12:45

大模型学习笔记06——模型训练

计算单向上下文embedding，一次生成一个tokenencoder-only（BERT）：计算双向上下文embeddingencoder-decoder（T5）：编码输入，解码输出2、优化算法随机梯度下降
等风来随风飘·2024-01-20 11:34

【MATLAB源码-第118期】基于matlab的蜘蛛猴优化算法(SMO)无人机三维路径规划，输出做短路径图和适应度曲线。

蜘蛛猴是一种生活在南美洲热带雨林中的灵长类动物，它们在寻找食物时展现出的社会行为和策略被用来模拟解决优化问题。
Matlab程序猿·2024-01-20 10:56

【MATLAB源码-第117期】基于matlab的蜘蛛猴优化算法(SMO)机器人栅格路径规划，输出做短路径图和适应度曲线。

蜘蛛猴是一种生活在南美洲热带雨林中的灵长类动物，它们在寻找食物时展现出的社会行为和策略被用来模拟解决优化问题。
Matlab程序猿·2024-01-20 10:24

**PyTorch月学习计划 - 第一周；第6-7天: 自动梯度（Autograd）**

PyTorch月学习计划-第6-7天:自动梯度（Autograd）学习目标：掌握自动微分的基本原理，特别是在深度学习中的应用。学会如何在PyTorch中使用autograd模块进行自动梯度计算。
M.D·2024-01-20 06:56

Pytorch学习 第二周Day 10-11: 损失函数和优化器

优化器探讨了随机梯度下降（SGD）、Adam、R
M.D·2024-01-20 06:56

动手学深度学习5 矩阵计算

矩阵计算--矩阵怎么求导数1.导数和微分2.偏导数3.梯度1.向量-标量求导2.向量-向量求导3.拓展到矩阵4.链式法则5.小结QA练习课程安排：视频：https://www.bilibili.com/
陌上阳光·2024-01-20 04:49

动手学深度学习6 自动求导

2.非标量变量的反向传播3.分离计算4.Python控制流的梯度计算QA1.ppt上隐式构造和显示构造为什么看起来差不多？
陌上阳光·2024-01-20 04:47

刷题总结1.17 下午

旅行商问题（TravelingSalesmanProblem，TSP）是一个著名的组合优化问题，描述的是一个旅行商要在给定的一系列城市之间找到最短的路径，使得每个城市只访问一次，并最终回到起点城市。
小白冲冲冲123·2024-01-20 04:44

Tensorflow2.0笔记 - 不使用layer方式，简单的MNIST训练

前向传播和梯度更新都使用最基础的tensorflowAPI来做。
亦枫Leonlew·2024-01-20 03:20

Lecture05：随机市场出清

随机市场出清模型的均衡形式4基于场景的随机规划本系列已发表文章列表：Lecture01：市场出清问题的优化建模Lecture1b:如何由原始线性规划模型得到最优条件和对偶问题Lecture02：均衡问题-优化问题以及
运筹码仓·2024-01-20 03:45

深度学习记录--mini-batch gradient descent

batchvsmini-batchgradientdescentbatch：段，块与传统的batch梯度下降不同，mini-batchgradientdescent将数据分成多个子集，分别进行处理，在数据量非常巨大的情况下
蹲家宅宅·2024-01-19 22:14

对抗样本之FGSM原理&实战

FGSM（fastgradientsignmethod）是一种基于梯度生成对
liuyishou·2024-01-19 22:47

运筹说 第95期 | 非线性规划奠基人——库恩与塔克

1、非线性规划的发展起源（标志着非线性规划诞生的历史性事件）非线性规划是一种优化问题，它的目标函数和约束条件包含非线性的数学表达式。它的发展历史可以追溯到20世纪早
运筹说·2024-01-19 22:04

状态压缩DP详细讲解

前言在讲状压dp之前，我们应该清楚dp是解决多阶段决策最优化问题的一种思想方法，即利用各个阶段之间的关系，逐个求解，最终求得全局最优解。
曾续缘·2024-01-19 19:29

AI 内容分享(七)：加速计算，为何会成为 AI 时代的计算力“新宠”

目录什么是加速计算加速计算解决方案硬件GPU应用型专用集成电路ASIC现场可编程逻辑门阵列FPGA软件CUDAOpenCL网络加速计算应用场景生成式AI加快训练时间处理大型数据集创建复杂模型实时功能高效的计算梯度
之乎者也··2024-01-19 17:51
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他