梯度优化算法

【Deepspeed-DeepSpeedZeroOptimizer-01】ZeRO源码精读01：DeepSpeedZeroOptimizer（ZeRO-1，ZeRO-2）

ZeRO-1，分区优化器状态ZeRO-2，在1的基础上分区梯度至于为什么没有把ZeRO-3一起写，暂时不清楚Deepspeed团队的设计，ZeRO3是在一个单独的文件中的，我们将
陈超帅·2024-01-22 10:30

SCI一区级 | Matlab实现EVO-CNN-GRU-Mutilhead-Attention能量谷优化算法优化卷积门控循环单元融合多头注意力机制多变量多步时间序列预测

SCI一区级|Matlab实现EVO-CNN-GRU-Mutilhead-Attention能量谷优化算法优化卷积门控循环单元融合多头注意力机制多变量多步时间序列预测目录SCI一区级|Matlab实现EVO-CNN-GRU-Mutilhead-Attention
机器学习之心·2024-01-22 08:13

回归预测 | Python基于ALO-BiGRU蚁狮优化算法优化双向BiGRU多变量回归预测+适应度曲线+多个评价指标

目录效果一览基本介绍程序设计参考资料效果一览基本介绍ALO算法是Mirjalili于2015提出的一种新型元启发式群智能算法。由于引入了随机游走、轮盘赌策略及精英策略，使得ALO算法成为一种种群多样、寻优性能强、调节参数少、易于实现的搜索技术python代码优化参数：filter,unints1,units2，学习率1、输入为多变量，输出为单变量2、python程序3、数据更换简单：更改excel
机器学习之心·2024-01-22 08:12

基于双向长短期神经网络的客流量预测，基于bilstm的客流量预测

download/abc991835105/88768314效果图结果分析展望参考论文背影碳排放越来越受到重视，预测是一种比较难的预测，随机性比较大，长短期神经网络是一种改进党的RNN神经网络，克服了梯度爆炸的问
神经网络机器学习智能算法画图绘图·2024-01-22 07:59

深度强化学习Task2：策略梯度算法

本篇博客是本人参加Datawhale组队学习第二次任务的笔记【教程地址】文章目录基于价值算法和基于策略算法的比较策略梯度算法策略梯度算法的直观理解策略梯度算法REINFORCE算法基于平稳分布的策略梯度算法
卡拉比丘流形·2024-01-22 07:16

JoyRL策略梯度

与基于价值的算法（包括DQN等算法）不同，这类算法直接对策略本身进行近似优化。在这种情况下，我们可以将策略描述成一个带有参数θ的连续函数，该函数将某个状态作为输入，输出的不再是某个确定性的离散动作，而是对应的动作概率分布，通常用表示，称作随机性策略9.1基于价值算法的缺点无法表示连续动作。由于DQN等算法是通过学习状态和动作的价值函数来间接指导策略的，因此它们只能处理离散动作空间的问题，无法表示连
__如果·2024-01-22 05:00

【Andrew Ng机器学习】单变量线性回归-梯度下降

课程：吴恩达机器学习此篇我们将学习梯度下降算法，我们之前已经定义了代价函数J，梯度下降法可以将代价函数J最小化。梯度下降是很常用的算法，他不仅被用在线性回归上，还被广泛应用与机器学习的众多领域。
jenye_·2024-01-21 22:01

2022-04-28 「167. 两数之和 II - 输入有序数组」

这个时候开始考虑优化算法，二分法的思路是，先找到第一个数，然后用target减去它，去找第二个数。但是双指针更简单，一次遍历即可，因
柠香萌萌鸡·2024-01-21 22:40

Day 4: 优化算法

1.GradientDecent把所有的训练样本丢进去训练一次之后，把W和b更新一次，然后重复这个过程，具体重复多少次就看我们的“迭代次数”是多少。“把所有训练样本过一遍”为一个epoch2.Mini-batchGD我们训练的时候，跑完一个mini-batch就把W和b更新一次，这样的的话，在一个epoch中，我们就已经把参数更新了多次了！虽然每一步没有batchGD的一步走的准，但是我多步加起来
andyjkt·2024-01-21 21:45

计算机图像处理之空域滤波增强（图像平滑+图像锐化）

文章目录空间滤波基础模板卷积计算二维离散卷积图像平滑加权平均模板操作注意并行处理特点串行处理特点中值滤波法多图像平均法图像锐化一阶微分和二阶微分的区别图像细节的灰度变化特性图像细节的灰度变化微分特性拉普拉斯锐化锐化模板设计特点空域图像线性滤波技术综合实例常见的梯度算子例题后期处理水平浮雕效果水平边缘的提取效果几种一阶锐化方法的效果比较非锐化滤波高频增强滤波
空LA·2024-01-21 20:26

Improving Deep Neural Network学习笔记

参数调整、正则化、优化1超参数2方差、偏差3正则化4归一化输入5Mini-batch梯度下降算法6Adam优化算法本周学习了深度学习（吴恩达老师的课程）中，提升深度神经网络的一些方法，包括超参数的调整、
佳雨初林·2024-01-21 17:42

无人机航迹规划（二）：七种元启发算法（DBO、LO、SWO、COA、LSO、KOA、GRO）求解无人机路径规划（提供MATLAB代码）

一、七种算法（DBO、LO、SWO、COA、LSO、KOA、GRO）简介1、蜣螂优化算法DBO蜣螂优化算法（Dungbeetleoptimizer，DBO）由JiankaiXue和BoShen于2022
优化算法MATLAB与Python·2024-01-21 17:37

Batch Normalisation

在隐藏层将数据进行标准化，能够加快收敛速度，更解决了深层网络中“梯度弥散”的问题，使得深层网络模型更加容易和稳定。
Mr_Stark的小提莫·2024-01-21 17:27

干货|数学建模必考的四大模型

，A题考察优化算法比较多，近五年国赛A题考察的题型参考如下：B题B题难度一般介于A题和C题之间，题型一般不固定，
spssau·2024-01-21 17:56

无人机航迹规划（四）：七种元启发算法（DBO、LO、SWO、COA、LSO、KOA、GRO）求解无人机路径规划（提供MATLAB代码）

一、七种算法（DBO、LO、SWO、COA、LSO、KOA、GRO）简介1、蜣螂优化算法DBO蜣螂优化算法（Dungbeetleoptimizer，DBO）由JiankaiXue和BoShen于2022
优化算法MATLAB与Python·2024-01-21 15:47

无人机航迹规划（一）七种元启发算法（DBO、LO、SWO、COA、LSO、KOA、GRO）求解无人机路径规划（提供MATLAB代码）

一、七种算法（DBO、LO、SWO、COA、LSO、KOA、GRO）简介1、蜣螂优化算法DBO蜣螂优化算法（Dungbeetleoptimizer，DBO）由JiankaiXue和BoShen于2022
优化算法MATLAB与Python·2024-01-21 15:17

无人机航迹规划（三）：七种元启发算法（DBO、LO、SWO、COA、LSO、KOA、GRO）求解无人机路径规划（提供MATLAB代码）

一、七种算法（DBO、LO、SWO、COA、LSO、KOA、GRO）简介1、蜣螂优化算法DBO蜣螂优化算法（Dungbeetleoptimizer，DBO）由JiankaiXue和BoShen于2022
优化算法MATLAB与Python·2024-01-21 15:17

6、梯度提升XGBoost（eXtreme Gradient Boosting）

XGBoost梯度提升结构化数据最精确的建模技术。在本节课中，我们将学习如何使用梯度增强来构建和优化模型。这种方法在Kaggle的许多竞争中占据主导地位，并在各种数据集上获得了最先进的结果。
AI算法蒋同学·2024-01-21 15:33

24号资源——程序：电力系统程序集合已提供下载资源

24号资源：程序集合包含17个程序（经典电力系统经济调度程序；2解决带储；3智能微电网PSO优化算法；微电网调度等等见资源描述）资源-CSDN文库https://download.csdn.net/download
电网论文源程序·2024-01-21 15:55

智能算法 | Matlab实现改进黑猩猩优化算法SLWCHOA与多个基准函数对比与秩和检验

智能算法|Matlab实现改进黑猩猩优化算法SLWCHOA与多个基准函数对比与秩和检验目录智能算法|Matlab实现改进黑猩猩优化算法SLWCHOA与多个基准函数对比与秩和检验预测效果基本描述程序设计参考资料预测效果基本描述
机器学习之心·2024-01-21 14:56

深度学习中的优化算法

本文尝试通过一个框架来梳理深度学习中的常用优化算法，即从SGD到NAdam。整体框架我们设待学习参数为w,目标函数为f(w)，初始学习率为α。
小蛋子·2024-01-21 14:27

循环神经网络的变体模型-LSTM、GRU

下面是LSTM的内部结构图LSTM为了改善梯度消失，引入了一种特殊的存储单元，该存储
Algorithm_Engineer_·2024-01-21 13:52

数字图像处理期末速成笔记

、图像平滑5、邻域平均法（线性）6、中值滤波法（分线性）7、中值滤波与领域平均的异同8、4-邻域平滑法9、超限像素平滑法10、灰度最相近的K个邻点平均法11、3*3模板中值滤波四、图像锐化1、微分法（梯度算子
我先去打把游戏先·2024-01-21 13:43

【GRU时序预测】基于门控循环单元GRU实现时间序列预测附matlab代码

更多Matlab仿真内容点击智能优化算法神经网络预测雷达通信无线传感器信号处理图像处理路径规划元胞自动机无人机电力系统⛄内容介绍提出的预测模型采取分时序分段策略,将结果送入门控循环单元(GRU)以挖掘其中的时序信息
matlab科研助手·2024-01-21 10:44

GRU门控循环单元神经网络的MATLAB实现（含源代码）

GRU神经网络简介GRU由Cho等人于2014年提出，旨在解决标准RNN在处理长序列时的梯度消失或梯度爆炸问题。与传
沅_Yuan·2024-01-21 10:42

人工智能技术的优势有哪些

自动化和智能化：人工智能可以自动化执行复杂的任务和流程，同时，通过学习和优化算法，人工智能可以不断提高自身的性能和准确性，实现智能化的决策和操作。
人工智能技术与咨询·2024-01-21 08:20

pytorch（二）梯度下降算法

文章目录优化问题梯度下降随机梯度下降在线性模型训练的时候，一开始并不知道w的最优值是什么，可以使用一个随机值来作为w的初始值，使用一定的算法来对w进行更新优化问题寻找使得目标函数最优的权重组合的问题就是优化问题梯度下降通俗的讲
@@老胡·2024-01-21 08:02

机器学习_通过梯度下降找到最佳参数

文章目录训练机器要有正确的方向凸函数确保有最小损失点梯度下降的实现学习速率也很重要训练机器要有正确的方向所谓训练机器，也称拟合的过程，也就是确定模型内部参数的过程。
you_are_my_sunshine*·2024-01-21 06:17

cs231n assignment1——SVM

CIFAR-10数据集并展示部分数据数据图像归一化，减去均值（也可以再除以方差）svm_loss_naive和svm_loss_vectorized计算hinge损失，用拉格朗日法列hinge损失函数利用随机梯度下降法优化
柠檬山楂荷叶茶·2024-01-21 06:15

【机器学习300问】13、学习率曲线有什么作用？

学习率是优化算法中的一个重要超参数，它决定了模型在梯度下降过程中权重更新的步伐大小。如果学习率设置得过高，可能会导致训练过程跳过最优解，甚至发散
小oo呆·2024-01-21 06:45

【核心复现】基于改进鲸鱼优化算法的微网系统能量优化管理matlab

目录一、主要内容1冷热电联供型微网系统2长短期记忆网络(LongShortTermMemory,LSTM)3改进鲸鱼优化算法二、部分代码三、运行结果四、下载链接一、主要内容该程序为《基于改进鲸鱼优化算法的微网系统能量优化管理
科研工作站·2024-01-21 06:24

SCI一区级 | Matlab实现EVO-CNN-BiLSTM-Mutilhead-Attention能量谷优化算法优化卷积双向长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测

SCI一区级|Matlab实现EVO-CNN-BiLSTM-Mutilhead-Attention能量谷优化算法优化卷积双向长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测目录SCI一区级|Matlab
机器学习之心·2024-01-21 03:05

SCI一区级 | Matlab实现EVO-CNN-LSTM-Mutilhead-Attention能量谷优化算法优化卷积长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测

SCI一区级|Matlab实现EVO-CNN-LSTM-Mutilhead-Attention能量谷优化算法优化卷积长短期记忆神经网络融合多头注意力机制多变量多步时间序列预测目录SCI一区级|Matlab
机器学习之心·2024-01-21 03:35

机器学习第十八周周报

机器学习第十八周周报摘要Abstract一、导数二、计算图三、使用计算图求导数四、逻辑回归中的梯度下降五、m个样本的梯度下降六、总结摘要本周开始学习吴恩达的梯度下降法，梯度下降法在机器学习中常常用来优化损失函数
JerryC1999·2024-01-20 22:17

(202401)深度强化学习基础2：策略梯度

文章目录前言策略梯度1基于价值算法的缺点2策略梯度算法3REINFORCE算法本章小结前言感谢Datawhale成员的开源本次学习内容的文档地址为第九章策略梯度策略梯度这个章节会开始介绍基于策略梯度的算法
早上真好·2024-01-20 22:27

速卖通平台自营销活动

并且还要设置活动的梯度，满多少才能够达到店铺的活动，梯度可以不止一个。店铺cod
深度链夏天·2024-01-20 21:58

Python：最简单的神经网络分类模型(附带详细注释说明）+ 训练结果可视化+ 模型可视化

#2.torch.autograd：用于构建计算图形并自动获取渐变的包#3.torch.nn：具有共同层和成本函数的神经网络库#4.torch.optim：具有通用优化算法（如SGD，Adam等
深耕智能驾驶·2024-01-20 20:03

Halcon基于形状的模板匹配

Halcon基于形状的模板匹配基于形状的模板匹配，也称为基于边缘方向梯度的匹配，是一种最常用也最前沿的模板匹配算法。
electrical1024·2024-01-20 17:18

Datawhale 强化学习笔记(二）马尔可夫过程，DQN 算法

文章目录参考马尔可夫过程DQN算法（DeepQ-Network）如何用神经网络来近似Q函数如何用梯度下降的方式更新网络参数强化学习vs深度学习提高训练稳定性的技巧经验回放目标网络代码实战DQN算法进阶DoubleDQNDuelingDQN
RessCris·2024-01-20 17:54

CT与核磁科普

MRI是把人体放置在一个强大的磁场中，通过射频脉冲激发人体内氢质子，发生核磁共振，然后接受质子发出的核磁共振信号，经过梯度场三个方向的定位，再经过计算机的运算，构成各方位的图像。CT由于X线
笑笑2018·2024-01-20 16:04

数字图像处理

表示色调，s饱和度，l表示亮度，色调和饱和度2.RGB彩色模型：r红色，g绿色，b蓝色，对应的是xyz轴，每个为8比特，用24比特表示全彩色图像3.边缘检测中抗噪性能应该为：Canny算子>一阶算子（梯度算子
爱学习的机器小冉·2024-01-20 12:45

大模型学习笔记06——模型训练

GPT-3）：计算单向上下文embedding，一次生成一个tokenencoder-only（BERT）：计算双向上下文embeddingencoder-decoder（T5）：编码输入，解码输出2、优化算法随机梯度下降
等风来随风飘·2024-01-20 11:34

【MATLAB源码-第118期】基于matlab的蜘蛛猴优化算法(SMO)无人机三维路径规划，输出做短路径图和适应度曲线。

操作环境：MATLAB2022a1、算法描述蜘蛛猴优化算法（SpiderMonkeyOptimization,SMO）是一种灵感来源于蜘蛛猴觅食行为的群体智能优化算法。
Matlab程序猿·2024-01-20 10:56

【MATLAB源码-第117期】基于matlab的蜘蛛猴优化算法(SMO)机器人栅格路径规划，输出做短路径图和适应度曲线。

操作环境：MATLAB2022a1、算法描述蜘蛛猴优化算法（SpiderMonkeyOptimization,SMO）是一种灵感来源于蜘蛛猴觅食行为的群体智能优化算法。
Matlab程序猿·2024-01-20 10:24

字节跳动 ByteHouse 云原生之路 – 计算存储分离与性能优化

例如，团队通过优化算法和架构，显著
亚马逊云开发者·2024-01-20 09:15

深度学习的基本概念汇总

对于二阶优化算法，减小batch换来的收敛速度提升远不如引入大量噪声导致的性能下降，因此在使用二阶优化算法时，往往要采用大batch哦。此时往往b
-day day up-·2024-01-20 07:01

**PyTorch月学习计划 - 第一周；第6-7天: 自动梯度（Autograd）**

PyTorch月学习计划-第6-7天:自动梯度（Autograd）学习目标：掌握自动微分的基本原理，特别是在深度学习中的应用。学会如何在PyTorch中使用autograd模块进行自动梯度计算。
M.D·2024-01-20 06:56

Pytorch学习 第二周Day 10-11: 损失函数和优化器

优化器探讨了随机梯度下降（SGD）、Adam、R
M.D·2024-01-20 06:56

微电网优化MATLAB：基于麻雀搜索算法SSA的微电网优化调度（提供MATLAB代码）

,等.基于改进粒子群算法的微电网多目标优化调度[J].电力科学与工程,2021,37(3):7二、麻雀搜索算法简介麻雀搜索算法(SparrowSearchAlgorithm,SSA)是一种新型的群智能优化算法
优化算法MATLAB与Python·2024-01-20 05:56

多目标优化算法：基于非支配排序的鱼鹰优化算法（NSOOA）MATLAB

一、鱼鹰优化算法鱼鹰优化算法（Ospreyoptimizationalgorithm，OOA）由MohammadDehghani和PavelTrojovský于2023年提出，其模拟鱼鹰的捕食行为。
优化算法MATLAB与Python·2024-01-20 05:25
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他