梯度优化问题

【信息学奥赛一本通 提高组】第二章 二分与三分

二分常见模型1、二分答案最小值最大（或是最大值最小）问题，这类双最值问题常常选用二分法求解，也就是确定答案后，配合贪心，DP等其他算法检验这个答案是否合理，将最优化问题转化为判定性问题。
weixin_30609287·2024-01-19 15:12

【挑战全网最易懂】深度强化学习 --- 零基础指南

行为价值方法强化学习六要素设计奖励函数设计评论家策略学习与优化算法路径深度Q网络DQN演员-评论家算法：多智能体强化学习核心框架PPO近端策略优化算法演员-评论家的改进算法：近端策略优化算法PPO、优势演员-评论家算法A2C、异步优势演员-评论家算法A3C、深度确定性策略梯度
Debroon·2024-01-19 14:17

【笔记】认识凸优化

凸优化凸优化是一类特殊的数学优化问题，其基本思路是凸优化的基本思路是通过利用凸性质，将优化问题转化为在凸集上定义的凸函数的最优化问题，从而能够借助凸优化的理论和算法来高效求解。
假装有头像·2024-01-19 10:55

机器学习（一）—— 简介

参考书籍《机器学习和深度学习：原理、算法、实战》文章目录1工业界流行的机器学习算法2机器学习3深度学习4预备知识5监督学习与无监督学习1工业界流行的机器学习算法线型回归逻辑回归决策树随机森林梯度提升机人工神经网络卷积神经网络循环神经网络贝叶斯技术支持向量机进化方法马尔可夫逻辑网络隐马尔可夫模型生成对抗网络
奶盖加芝士·2024-01-19 10:15

【算法】递归

递归递归初始递归：数列求和递归的应用：任意进制转换递归深度限制递归可视化：分形树递归可视化：谢尔宾斯基Sierpinski三角形递归的应用：汉诺塔递归的应用：探索迷宫分治策略和递归优化问题兑换最少个数硬币问题贪心策略递归递归是一种解决问题的方法
叶雨莳·2024-01-19 09:59

Hessian 矩阵汉语叫什么名字，是什么意思，是用来干什么的？

Hessian矩阵是一个方阵，其中的元素是一个函数的二阶偏导数，用于描述该函数在给定点附近的局部曲率和梯度信息。Hessian矩阵在数学和优化领域中的应用非常广泛，具体用途包括：优化问
神笔馬良·2024-01-19 09:13

神经网络激活函数--Sigmoid、Tanh、Relu、Softmax

sigmoid和Tanh函数的导数简单，但是可能出现梯度弥散。ReLU函数仅保留正元素，有良好的特性。Softmax一般是用于分类最后一层的归一化。
远离科研，保命要紧·2024-01-19 08:27

opencv知识点总结（主要是函数总结）

提取图片中水果特征（周长、面积、颜色、长度、宽度）用到的知识点：参考链接提取梯度特征：cv.Sobel()提取边缘：cv.Canny()寻找轮廓cv.findContours()为轮廓绑定边框cv.boundingRect
雨住多一横·2024-01-19 07:03

2022-10-11

（其实感觉这个表彰可以有梯度层次，突出先进[调皮]最好的同学又有奖状有本，其次的只有奖状）
初心倩萦·2024-01-19 07:42

学习率调整策略之Warmup以及代码实现

介绍在深度学习中，我们通常使用梯度下降等优化算法来训练模型，其中学习率是一个非常重要的超参数。
Wilson_Hank·2024-01-19 05:33

LightGBM On Spark

LightGBM是使用基于树的学习算法的梯度增强框架。它被设计为分布式且高效的，具有以下优点：根据官网的介绍：LigthGBM训练速度更快，效率更高。LightGBM比XGBoost快将近10倍。
wong小尧·2024-01-19 04:10

近似点梯度法

——ProximalGradientMethod最优化笔记，主要参考资料为《最优化：建模、算法与理论》文章目录最优化笔记——ProximalGradientMethod一、邻近算子（1）定义二、近似点梯度法
格兰芬多_未名·2024-01-19 03:52

牛顿法和拟牛顿法介绍

最优化笔记，主要参考资料为《最优化：建模、算法与理论》文章目录一、经典牛顿法（1）迭代格式（2）收敛性二、拟牛顿法（1）割线方程（2）BFGS公式（3）BFGS全局收敛性参考资料梯度法仅仅依赖函数值和梯度的信息
格兰芬多_未名·2024-01-19 03:21

【小白学PyTorch】20 TF2的eager模式与求导

微信：cyx645016617.参考目录：文章目录1什么是eager模式2TF1.0vsTF2.03获取导数/梯度4获取高阶导数之前讲解了如何构建数据集，如何创建TFREC文件，如何构建模型，如何存储模型
微信公众号[机器学习炼丹术]·2024-01-19 02:50

TF2 build-in Keras在eager及非eager模式下callback训练过程中梯度的方式

ClassActivationMap/GradientAttentionMap分类/分割任务中可能会需要对训练过程中某些层的计算梯度进行操作，对于Keras来说我们可以通过使用Callback()实现返回梯度的目的
xtphysics·2024-01-19 02:48

进化计算——求解优化问题（一）

进化计算——求解优化问题文章目录一、优化问题是什么？
_hermit:·2024-01-19 02:14

Kaggle知识点：训练神经网络的7个技巧

来源：Coggle数据科学神经网络模型使用随机梯度下降进行训练，模型权重使用反向传播算法进行更新。
Imagination官方博客·2024-01-19 00:56

大模型学习笔记04——新的模型架构

每个输入只激活一小部分专家混合专家模型方法：注意通过门控控制使用不同种类和数量的专家所有专家的概率分布和为1，可以取其中概率较大的几个专家，而忽略概率较小的专家需要确保所有专家都能被输入使用，如果只有一个专家活跃既是浪费，其他专家也得不到梯度改善混合专家非常有利于并行
等风来随风飘·2024-01-18 22:47

零基础"机器学习"自学笔记|Note3:梯度下降法

03梯度下降3.1梯度下
木舟笔记·2024-01-18 20:40

吴恩达机器学习笔记-Logistic回归模型

如果这里使用梯度下降法，不能保证能得到全局收敛的值，这个函数就是所谓的
Carey_Wu·2024-01-18 16:26

线性回归+小批量梯度下降算法

目录1.线性模型计算预测值：2.使用均方损失作为损失函数：3.基础优化算法：梯度下降4.训练数据：5.线性回归实现：6.线性回归总结：1.线性模型计算预测值：线性模型可以看做单层神经网络。
姓蔡小朋友·2024-01-18 15:44

涛思数据获评北京市“专精特新”中小企业

近日，北京市经济和信息化局按照工业和信息化部《优质中小企业梯度培育管理暂行办法》（工信部企业〔2022〕63号）、《北京市优质中小企业梯度管理实施细则》要求，组织开展了2023年第三季度专精
涛思数据（TDengine）·2024-01-18 14:04

深度学习记录--梯度检验

数值逼近为了对梯度进行检验，需要计算近似误差值来接近梯度对于单边误差和双边误差公式，其中双边误差与真实梯度相差更小，故一般采用双边误差公式双边误差公式：梯度检验(gradientchecking)对于成本函数
蹲家宅宅·2024-01-18 09:19

深度学习记录--归—化输入特征

normalizinginputs),对特征值进行一定的处理，可以加速神经网络训练速度步骤零均值化通过x值更新让均值稳定在零附近，即为零均值化归化方差适当减小变量方差解释归化可以让原本狭长的数据图像变得规整，梯度下降的迭代次数减少
蹲家宅宅·2024-01-18 09:49

深度学习记录--梯度消失和爆炸

梯度消失和爆炸的产生当神经网络层数很大时，即很大时，w与1之间的大小关系会产生梯度消失与梯度爆炸的问题当w1时，会非常大，梯度爆炸解决方法权重初始化层数n越大，越要使特征值w变小
蹲家宅宅·2024-01-18 09:16

2024华数杯国际数学建模A题思路模型详解

这个方程考虑了物质由于流体运动（阿德韦克斯项）和由于浓度梯度引起的分子扩散（扩散项）
C灿灿数模·2024-01-18 09:44

大创项目推荐 深度学习的智能中文对话问答机器人

项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分：4.5评价NLP测试效果：4.6梯度截断
laafeer·2024-01-18 09:11

【机器学习300问】9、梯度下降是用来干嘛的？

其实我首先得知道梯度下降是什么，也就它的定义。其次我得了解它具体用在什么地方，也就是使用场景。最后才是这个问题，梯度下降有什么用？怎么用？所以我按照这个思路给大家讲讲我自己是怎么理解梯度下降的。
小oo呆·2024-01-18 08:37

python数字图像处理基础（四）——图像平滑处理、形态学操作、图像梯度

GaussianBlur()4.中值滤波medianBlur()形态学操作morphology1.腐蚀操作2.膨胀操作3.开运算cv2.morphologyEx()4.闭运算cv2.morphologyEx()5.梯度运算
_hermit:·2024-01-18 08:48

python数字图像处理基础（五）——Canny边缘检测、图像金字塔、图像分割

目录Canny边缘检测原理步骤图像金字塔1.高斯金字塔2.拉普拉斯金字塔图像分割图像轮廓检测1.检测轮廓2.绘制轮廓3.补充Canny边缘检测梯度是什么?
_hermit:·2024-01-18 08:48

【机器学习300问】10、学习率设置过大或过小对训练有何影响？

先来复习一下梯度下降算法，在每次迭代过程中，算法计算目标函数关于当前参数值的梯度（即函数在该点的斜率或方向导数向量），然后沿着梯度的反方向移动一定的步长。更新规则可以表示为：其中：θ表示模型参数。
小oo呆·2024-01-18 07:12

为什么在进行softmax之前需要对attention进行scaled（为什么除以 d_k的平方根）

Self-attention中dot-product操作为什么要被缩放-知乎标准正太分布（0均值，1方差的高斯分布）解释1：解释2：这样做是因为对于较大的深度值，点积的大小会增大，从而推动softmax函数往仅有很小的梯度的方向靠拢
ytusdc·2024-01-18 04:52

批量归一化和层归一化

如果将输入序列的每一维数值进行归一化，使其在一定范围之内，比如000和111之间，可以加快基于梯度下降的学习的收敛速度原因：梯度下降以相同的学习率对每一维进行最小化，如果取值范围差异很大，学习就很难在各个维度上同时收敛
bulingg·2024-01-18 04:51

优化算法，理解指数加权平均

可以想象到，梯度要平滑一些。在做mini-batch梯度下降的时候，梯度的表现是这样的，image.png。如果通过指数加权平均使得梯度计算的时候更加平滑，但是整体趋势还是往函数收敛的方向走。
lanughing·2024-01-18 03:55

CMA-ES 算法初探

1进化算法在学习最优模型参数的时候，梯度下降并不是唯一的选择。在我们不知道目标函数的精确解析或者不能直接计算梯度的情况下，进化算法是有效的。
UQI-LIUWJ·2024-01-18 02:47

关于演化策略NES和协方差ES

转载自：https://blog.csdn.net/qq_39217470/article/details/107640778演化策略是一种求解参数优化问题的方法，所以我先介绍一下什么是优化。
阿喵酱紫糖·2024-01-18 02:44

深度学习基础数据结构之张量：从一维到多维

通过支持高维度矩阵运算、记录梯度信息等功能，张量成为实现深度学习算法的关键。张量是一个多维数据容器，可以用来表示各种数据类型，如数值、图像、音频、文本等。
m0_61254808·2024-01-17 19:17

最优化 | 一维搜索与方程求根 | C++实现

文章目录参考资料前言1.二分法求根1.1[a,b]区间二分法求根1.1.1原理1.1.2C++实现1.2区间右侧无穷的二分法求根1.3求含根区间2.牛顿法求根2.1原理2.2c++实现3.梯度下降法求根
CHH3213·2024-01-17 19:47

最优化 | 无约束优化方法 | C++实现

文章目录参考资料1.前言2.梯度下降法2.1原理2.2c++实现2.3共轭梯度法3.牛顿法3.1原理3.2c++实现4.模拟退火算法4.1原理4.2c++实现5.遗传算法参考资料https://blog.csdn.net
CHH3213·2024-01-17 19:17

自适应动量因子梯度下降BP神经网络的人口预测

目录摘要BP神经网络参数设置及各种函数选择参数设置训练函数传递函数学习函数性能函数显示函数前向网络创建函数BP神经网络训练窗口详解训练窗口例样训练窗口四部详解基于BP神经网络的租金预测代码下载：bp数据人口预测.rar，（代码完整，数据齐全）资源-CSDN文库https://download.csdn.net/download/abc991835105/88746563效果图结果分析摘要本文总结B
神经网络机器学习智能算法画图绘图·2024-01-17 19:15

预备知识02-自动微分

微积分这两个不作介绍，可以点击下方链接阅读原文2.3.线性代数—动手学深度学习2.0.0documentation(d2l.ai)2.4.微积分—动手学深度学习2.0.0documentation(d2l.ai)梯度在微积分中
良子c·2024-01-17 18:13

监督学习 - 梯度提升机（Gradient Boosting Machines，GBM）

什么是机器学习梯度提升机（GradientBoostingMachines，GBM）是一种集成学习方法，通过将多个弱学习器（通常是决策树）组合成一个强学习器来提高模型的性能。
草明·2024-01-17 18:12

解析Transformer模型

原文地址：https://zhanghan.xyz/posts/17281/进入TransformerRNN很难处理冗长的文本序列，且很容易受到所谓梯度消失/爆炸的问题。
.别拖至春天.·2024-01-17 15:50

【PyTorch简介】5.Automatic Differentiation with `torch.autograd` 自动微分与`torch.autograd`

torch.autograd`自动微分与`torch.autograd`Tensors,FunctionsandComputationalgraph张量、函数和计算图ComputingGradients计算梯度
冰雪storm·2024-01-17 15:15

第十周周报

文章目录摘要ResNet深度学习硬件：CPU和GPU深度学习硬件TPU和其他单机多卡并行多GPU训练总结摘要本周学习了ResNet网络设计思想的由来，解决了对应的梯度爆炸或消失的问题，并基于梯度计算的层面理解
Joy_moon·2024-01-17 15:42

反向传播(Back Propagation)

目录回顾简单模型的梯度计算反向传播计算图链式求导链式法则定理：Forward前馈计算反向传播BackPropagation例子线性模型的计算图计算前馈过程反向传播过程（逆向求导）练习Pytorch中的前馈过程和反向传播过程
chairon·2024-01-17 14:56

梯度下降算法

目录回顾优化问题梯度下降算法梯度计算代码损失曲线图随机梯度下降（StochasticGradientDescent）代码比较思考：回顾对于一个学习系统来说，我们需要找到最适合数据的模型，模型有很多，需要不断尝试
chairon·2024-01-17 14:25

2025山大软件学院机器学习805 2024持续押中

3．线性模型线性回归、对数几率回归、线性判别分析、多分类学习、类别不平衡问题、基于梯度的优化方法等。4．决策树决
sdu_study·2024-01-17 14:17

2024年1月16日Arxiv热门深度强化学习论文：IDENTIFYING POLICY GRADIENT SUBSPACES

揭秘强化学习之谜，图宾根大学和马普所发现策略梯度的低维奥秘，开启高效AI训练新纪元！
夕小瑶·2024-01-17 10:16

数学建模常见算法的通俗理解（更新中）

1.2.5求解C.R.值1.2.6判断一致性1.2.7计算总得分2神经网络（正向流通反向反馈，调整系数，预测结果）2.1粗浅理解2.2算法过程2.2.1划分数据集2.2.2前向传播及反向调整系数（利用梯度下降法
菜只因C·2024-01-17 09:19
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他