梯度下降优化算法

Datawhale X 李宏毅苹果书AI夏令营深度学习详解进阶Task02

目录一、自适应学习率二、学习率调度三、优化总结四、分类五、问题与解答本文了解到梯度下降是深度学习中最为基础的优化算法，其核心思想是沿着损失函数的梯度方向更新模型参数，以最小化损失值。
z are·2024-08-30 08:14

没有免费的午餐定理

没有免费午餐定理（NoFreeLunchTheorem，NFL）是由Wolpert和Macerday在最优化理论中提出的．没有免费午餐定理证明：对于基于迭代的最优化算法，不存在某种算法对所有问题（有限的搜索空间内
做程序员的第一天·2024-08-30 02:37

智能优化特征选择|基于鹦鹉优化（2024年新出优化算法）的特征选择（分类器选用的是SVM）研究Matlab程序 【优化算法可以替换成其他优化方法】

智能优化特征选择|基于鹦鹉优化（2024年新出优化算法）的特征选择（分类器选用的是SVM）研究Matlab程序【优化算法可以替换成其他优化方法】文章目录一、PO基本原理基本原理基本流程示例应用二、实验结果三
机器不会学习CL·2024-08-29 16:27

L1正则和L2正则

Hands-OnMachineLearning)上对L1_norm和L2_norm的解释:左上图是L1_norm.背景是损失函数的等高线(圆形),前景是L1_penalty的等高线(菱形),这两个组成了最终的目标函数.在梯度下降的过程中
wangke·2024-08-29 10:19

MATLAB智能优化算法-学习笔记（1）——遗传算法求解0-1背包问题【过程+代码】

一、问题描述（1）数学模型（2）模型总结目标函数：最大化背包中的总价值Z。约束条件：确保背包中的物品总重量不超过容量W。决策变量：每个物品是否放入背包，用0或1表示。这个数学模型是一个典型的0-1整数线性规划问题。由于其NP完全性，当问题规模较大时，求解此问题通常需要使用启发式算法（如遗传算法、动态规划、分支定界法等）来找到近似最优解。（3）实例讲解：0-1背包问题模型手动求解过程在0-1背包问题
郭十六弟·2024-08-28 23:59

基于霜冰优化算法(RIME)优化CNN-BiGUR-Attention风电功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、研究背景与意义二、技术概述1.霜冰优化算法（RIME）2.卷积神经网络（CNN）3.双向门控循环单元（BiGRU）4.注意力机制（AttentionMechanism
程序辅导帮·2024-08-28 23:57

理解PyTorch版YOLOv5模型构架

ActivationFunction)：YOLOv5在隐藏层中使用了LeakyReLU激活函数，在最后的检测层中使用了Sigmoid激活函数，参考这里优化函数(OptimizationFunction)：YOLOv5的默认优化算法是
LabVIEW_Python·2024-08-28 17:05

【ShuQiHere】SGD vs BGD：搞清楚它们的区别和适用场景

优化算法帮助我们调整模型的参数，使其更好地拟合训练数据，减少预测误差。在众多优化算法中，梯度下降法是一种最为常见且有效的手段。
ShuQiHere·2024-08-28 13:20

反向传播算法：深度神经网络学习的核心机制

反向传播算法的基本概念反向传播算法结合了梯度下降优化和链式法则，通过计算损失函数关于网络参数的梯度来更新网络权重。1.损失函数
2402_85758936·2024-08-28 08:22

回归预测|基于北方苍鹰优化正则化极限学习机的数据预测Matlab程序NGO-RELM 多特征输入单输出

回归预测|基于北方苍鹰优化正则化极限学习机的数据预测Matlab程序NGO-RELM多特征输入单输出文章目录一、基本原理1.北方苍鹰优化算法(NGO)2.正则化极限学习机(RELM)3.NGO-RELM
机器不会学习CL·2024-08-28 02:44

回归预测|基于鲸鱼优化WOA-Transformer-BiLSTM组合模型的数据回归预测Matlab程序多特征输入单输出

程序多特征输入单输出文章目录前言时序预测|基于鲸鱼优化WOA-Transformer-BiLSTM组合模型的数据时序预测Matlab程序多特征输入单输出一、WOA-Transformer-BiLSTM模型1.鲸鱼优化算法
机器不会学习CL·2024-08-28 02:14

【机器学习】梯度下降算法

梯度下降算法这篇博客更加详细，以下只是我个人的理解梯度下降算法原理讲解——机器学习-CSDN博客梯度下降算法是一种优化算法，通过梯度下降找到函数最小值时的自变量值。
de-feedback·2024-08-27 18:50

时序分解 | Matlab实现NGO-ICEEMDAN基于北方苍鹰算法优化ICEEMDAN时间序列信号分解

更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机内容介绍信号处理是现代科学技术中的重要组成部分，而信号去噪作为信号处理的一个重要分支
天天Matlab代码科研顾问·2024-08-27 16:10

神经网络深度学习梯度下降算法优化

【神经网络与深度学习】以最通俗易懂的角度解读[梯度下降法及其优化算法]，这一篇就足够（很全很详细）_梯度下降在神经网络中的作用及概念-CSDN博客https://blog.51cto.com/u_15162069
海棠如醉·2024-08-27 15:00

基于灰狼优化算法(GWO)优化CNN-BiGUR-Attention风电功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、研究背景与意义二、算法原理与模型构建1.灰狼优化算法(GWO)2.CNN-BiGRU-Attention模型3.GWO优化CNN-BiGRU-Attention模型三
qq_551705769·2024-08-27 14:27

局部极小值与鞍点 Datawhale X 李宏毅苹果书 AI夏令营

当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了，此时梯度接近于0。我们把梯度为零的点统称为临界点（criticalpoint）。
千740·2024-08-27 09:23

回归预测|基于北方苍鹰优化支持向量机的数据回归预测Matlab程序NGO-SVM 多特征输入单输出 高引用先用先创新

NGO-SVM多特征输入单输出高引用先用先创新文章目录前言回归预测|基于北方苍鹰优化支持向量机的数据回归预测Matlab程序NGO-SVM多特征输入单输出高引用先用先创新一、NGO-SVM模型1.北方苍鹰优化算法
机器不会学习CL·2024-08-27 08:43

基于白鲸优化算法(BWO)优化CNN-BiGUR-Attention风电功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、研究背景与意义二、算法介绍1.白鲸优化算法（BWO）2.卷积神经网络（CNN）3.双向门控循环单元（BiGRU）4.注意力机制（Attention）三、模型构建与优化
科研_研学社·2024-08-27 06:33

基于鲸鱼优化算法(WOA)优化CNN-BiGUR-Attention风电功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、研究背景与意义二、算法介绍1.鲸鱼优化算法(WOA)2.CNN（卷积神经网络）3.BiGRU（双向门控循环单元）4.Attention机制三、模型构建与优化1.模型结构
程序辅导帮·2024-08-27 06:00

基于霜冰优化算法(RIME)优化CNN-BiGUR-Attention风电功率预测研究（Matlab代码实现）

本文目录如下：目录⛳️赠与读者1概述一、研究背景与意义二、技术概述1.霜冰优化算法（RIME）2.卷积神经网络（CNN）3.双向门控循环单元（BiGRU）4.注意力机制（AttentionMechanism
创新优化代码学习·2024-08-27 05:57

人工神经网络通过调整,神经网络怎么调参数

现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等），这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同
小浣熊的技术·2024-08-27 04:20

【matlab】分类回归——智能优化算法优化径向基神经网络

目录径向基（RadialBasisFunction,RBF）神经网络一、基本概念二、网络结构三、工作原理四、学习算法五、优点与应用六、与BP神经网络的比较智能优化算法常见的智能优化算法灰狼优化算法（GreyWolfOptimizer
passion更好·2024-08-26 06:56

【matlab】分类回归——智能优化算法极限学习机

目录引言基本原理主要特点应用领域发展趋势智能优化算法——蜣螂优化算法（DBO）算法原理算法特点应用前景代码实现ELM训练函数——elmtrain函数ELM预测函数——elmpredict函数适应度函数主函数引言极限学习机
passion更好·2024-08-26 06:26

python通过Gurobi求解线性规划

Gurobi采用了最先进的优化算法和技术，具有出
vibag·2024-08-25 18:09

机器学习最优化方法之梯度下降

1、梯度下降出现的必然性利用最小二乘法求解线性回归的参数时，求解的过程中会涉及到矩阵求逆的步骤。随着维度的增多，矩阵求逆的代价会越来越大，而且有些矩阵没有逆矩阵，这个时候就需要用近似矩阵，影响精度。
whemy·2024-08-25 17:45

寻参算法之蜘蛛猴优化算法

蜘蛛猴优化算法（SpiderMonkeyOptimization,SMO）来历蜘蛛猴优化算法（SpiderMonkeyOptimization,SMO）是受蜘蛛猴觅食行为启发的一种群体智能优化算法。
Network_Engineer·2024-08-25 13:08

粒子群优化算法和强化算法的优缺点对比，以表格方式进行展示。详细解释

粒子群优化算法（PSO）和强化学习算法（RL）是两种常用的优化和学习方法。
资源存储库·2024-08-25 09:44

matlab实现梯度下降优化算法

梯度下降（GradientDescent）是一种常用的优化算法，用于寻找函数的局部最小值。在机器学习领域，它常被用来优化模型的参数，比如线性回归、逻辑回归以及神经网络等模型的权重和偏置。
孺子牛 for world·2024-08-25 09:13

智能优化算法——遗传算法（Python&Matlab实现）[2]

初始化种群initPopulation(POP,N)进化过程==foritinrange(iter_N):#遍历每一代a,b=selection(N)#随机选择两个个体ifnp.random.random()<0.65:#以0.65的概率进行交叉结合child1,child2=crossover(POP[a],POP[b])new=sorted([POP[a],POP[b],child1,chil
2401_84009974·2024-08-25 05:51

新书上架 | 《智能计算系统：从深度学习到大模型（第2版）》重磅上市！

欢迎关注博主Mindtechnist或加入【智能科技社区】一起学习和分享Linux、C、C++、Python、Matlab，机器人运动控制、多机器人协作，智能优化算法，滤波估计、多传感器信息融合，机器学习
Mindtechnist·2024-08-24 16:31

数学基础 -- 梯度下降算法

梯度下降算法梯度下降算法（GradientDescent）是一种优化算法，主要用于寻找函数的局部最小值或全局最小值。它广泛应用于机器学习、深度学习以及统计学中，用于最小化损失函数或误差函数。
sz66cm·2024-08-24 15:25

pytorch深度学习基础 7（简单的的线性训练，SGD与Adam优化器）

接下来小编来讲一下一些优化器在线性问题中的简单使用使用，torch模块中有一个叫optim的子模块，我们可以在其中找到实现不同优化算法的类SGD随机梯度下降基本概念定义：随机梯度下降（SGD）是一种梯度下降形式
不是浮云笙·2024-08-24 05:49

Logistic 回归

文章目录1.引言2.Logistic回归概述2.1定义与应用场景2.2与线性回归的区别3.原理与数学基础3.1Sigmoid函数3.2概率解释3.3极大似然估计4.模型建立4.1假设函数4.2成本函数4.3梯度下降法
零 度°·2024-08-23 21:56

python实现梯度下降优化算法

梯度下降（GradientDescent）是一种常用的优化算法，用于求解无约束优化问题。在机器学习中，它常被用来更新模型的参数以最小化某个损失函数。
孺子牛 for world·2024-08-23 15:49

机器学习·day4梯度下降

参考原文地址：https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes文章目录前言一、梯度下降？
#include<菜鸡>·2024-08-23 10:20

matlab实现模拟退火算法

模拟退火算法（SimulatedAnnealing,SA）是一种通用概率优化算法，用于在给定的大搜索空间内寻找问题的近似全局最优解。
孺子牛 for world·2024-08-23 06:30

24 优化算法

目录优化和深度学习深度学习中的挑战局部最小vs全局最小鞍点（saddlepoint）梯度消失小结凸性（convexity）凸集凸函数（convexfunction）凸函数优化凸和非凸例子小结梯度下降（gradientdescent
Unknown To Known·2024-08-22 01:31

优化选址问题 | 基于和声搜索算法求解基站选址问题含Matlab源码

目录问题代码问题和声搜索算法（HarmonySearch,HS）是一种模拟音乐创作过程中乐师们凭借自己的记忆，通过反复调整各乐器的音调，直至达到最美和声状态为启发，通过反复调整解向量的各分量来寻求全局最优解的智能优化算法
天天酷科研·2024-03-28 12:14

路径优化算法 | 基于蚁群的城市路径优化算法应用及其Matlab实现

蚁群算法（AntColonyOptimization,ACO）是一种模拟自然界中蚂蚁觅食行为的优化算法，用于解决如旅行商问题（TSP）等组合优化问题。
算法如诗·2024-03-25 19:38

动手学习深度学习——2.5 自动微分

2.5自动微分  正如【2.4微积分】所说，微分是深度学习中几乎所有最优化算法的关键步骤。虽然求这些导数的计算过程很简单，只需要一些基本的微积分知识。
X_Imagine·2024-03-22 06:23

神奇的微积分

微积分在人工智能（AI）领域扮演着至关重要的角色，以下是其主要作用：优化算法：•梯度下降法：微积分中的导数被用来计算损失函数相对于模型参数的梯度，这是许多机器学习和深度学习优化算法的核心。
科学的N次方·2024-03-19 05:14

基于冠豪猪优化算法(Crested Porcupine Optimizer，CPO)的无人机三维路径规划（MATLAB）

二、算法介绍冠豪猪优化算法(CrestedPorcupineOptimizer，CPO)由MohamedAbdel-Basset等人于2024年提出，该算法
IT猿手·2024-03-15 15:47

深度学习——梯度消失、梯度爆炸

为什么神经网络优化用到梯度下降的优化方法？深度网络是由许多非线性层(带有激活函数)堆叠而成，每一层非线性层可以视为一个非线性函数f(x)，因此整个深度网络可以视为一个复合的非线性多元函数
小羊头发长·2024-03-14 12:07

数字化沙龙观后感

首先是黎叔请来的清华大学博士，分享了物流行业的各种优化算法，感觉自己的智商不够用了。收获是要把物流的一些具体场景转换成数学模型，然后再选择合适的算法算出最优解。
心水·2024-03-10 06:22

MATLAB|【免费】概率神经网络的分类预测--基于PNN的变压器故障诊断

同时，部分章节也涉及了常见的优化算法（遗传算法、蚁群算法等）与神经网络的结合问题。此外，《MATLAB神经网络43个案例分析
电力程序小学童·2024-03-06 05:27

【改进算法】【IHAOAVOA】天鹰优化算法和非洲秃鹫混合优化算法

AnimprovedhybridaquilaoptimizerandAfricanvulturesoptimizationalgorithmforglobaloptimizationproblems》，天鹰优化算法
科研工作站·2024-03-03 05:53

【超详细】HIVE 日期函数（当前日期、时间戳转换、前一天日期等）

后一天日期获取日期中的年、季度、月、周、日、小时、分、秒等时间戳转换时间戳to日期日期to时间戳日期之间月、天数差作者：小猪快跑基础数学&计算数学，从事优化领域5年+，主要研究方向：MIP求解器、整数规划、随机规划、智能优化算法
小猪快跑爱摄影·2024-02-25 21:04

麻雀算法优化BP神经网络回归分析，麻雀算法优化BP神经网络回归预测，麻雀优化算法改进BP神经网络客流量预测

目录背影BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数麻雀算法原理麻雀算法主要参数麻雀算法流程图麻雀算法优化测试函数代码麻雀算法优化BP神经网络回归分析，麻雀算法优化BP神经网络回归预测数据matlab编程实现效果图结果分析展望完整代码数据文件下载链接：（代码完整，数据齐全）资源-CSDN文库https://downlo
神经网络机器学习智能算法画图绘图·2024-02-23 17:36

蛙跳算法例子

蛙跳算法（JumpingFrogAlgorithm，简称JFA）是一种仿生优化算法，模拟了青蛙在搜索食物时的跳跃行为。
依然风yrlf·2024-02-23 09:27

贪心算法的介绍

贪婪算法（GreedyAlgorithm）是一种基于贪心策略的优化算法，通常用于在组合优化问题中找到最优解。
依然风yrlf·2024-02-23 09:57
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他