梯度下降法

回归算法学习笔记——线性回归、随机梯度（SGD、BGD）、逻辑回归（牛顿法）、Softmax回归算法、L1/L2正则化、Ridge、Lasso、ElasticNet

目录线性回归梯度下降算法构建损失函数梯度下降法LogisticRegression算法sigmoid函数构造目标函数构造损失函数-极大似然估计梯度下降多分类问题优化算法：牛顿法切线法另一种理解方式改进：
XuZhiyu_·2023-08-26 11:45

最优化方法——梯度下降法、牛顿法、LM算法

一、梯度下降法介绍：在机器学习中应用十分的广泛，主要目的是通过迭代的方式找到目标函数的最小值（极小值）。
ha_lee·2023-08-26 00:36

机器学习笔记之优化算法(十七)梯度下降法在强凸函数的收敛性分析

机器学习笔记之优化算法——梯度下降法在强凸函数的收敛性分析引言回顾：梯度下降法在强凸函数的收敛性二阶可微——梯度下降法在强凸函数的收敛性推论引言上一节介绍并证明了：梯度下降法在强凸函数上的收敛速度满足Q
静静的喝酒·2023-08-25 16:16

PyTorch基础知识

一.常用优化方法最小二乘法，牛顿法，拟牛顿法，梯度下降法二.tensor和numpyarray的相互转换定义一个numpyarraynp_data=np.arange(6).reshape((2,3))
几时见得清梦·2023-08-25 11:23

机器学习--特征缩放/均值归一化

特征缩放(featurescaling)其中，特征缩放(featurescaling)大致的思路是这样的：梯度下降算法中，在有多个特征的情况下，如果你能确保这些不同的特征都处在一个相近的范围，这样梯度下降法就能更快地收敛
runnerxin·2023-08-25 05:54

神经网络基础-神经网络补充概念-44-minibatch梯度下降法

概念小批量梯度下降法（Mini-BatchGradientDescent）是梯度下降法的一种变体，它结合了批量梯度下降（BatchGradientDescent）和随机梯度下降（StochasticGradientDescent
丰。。·2023-08-23 06:00

极限学习机(ELM)的原理和matlab代码实现

由于梯度下降法需要多次迭代,从而达到修正权值和阈值的目的,因此训练过程
配电网和matlab·2023-08-23 00:17

深度学习基本理论下篇：（梯度下降/卷积/池化/归一化/AlexNet/归一化/Dropout/卷积核）、深度学习面试

18、请说明Momentum、AdaGrad、Adam梯度下降法的特点Momentum、AdaGrad、Adam是针对SGD梯度下降算法的缺点的改进算法。
会害羞的杨卓越·2023-08-22 09:44

机器学习笔记之优化算法(十六)梯度下降法在强凸函数上的收敛性证明

机器学习笔记之优化算法——梯度下降法在强凸函数上的收敛性证明引言回顾：凸函数与强凸函数梯度下降法：凸函数上的收敛性分析关于白老爹定理的一些新的认识梯度下降法在强凸函数上的收敛性收敛性定理介绍结论分析证明过程引言本节将介绍
静静的喝酒·2023-08-21 13:19

BN和LN之间的关系

转载于https://zhuanlan.zhihu.com/p/518047927当我们使用梯度下降法做优化时，随着网络深度的增加，输入数据的特征分布会不断发生变化，为了保证数据特征分布的稳定性，会加入
壹晴天·2023-08-21 08:59

改善神经网络——优化算法（mini-batch、动量梯度下降法、Adam优化算法）

改善神经网络——优化算法梯度下降Mini-batch梯度下降（Mini-batchGradientDescent）指数加权平均包含动量的梯度下降RMSprop算法Adam算法优化算法可以使神经网络运行的更快，机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，你需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助你快速训练模型。其中一个难点在于，深度学习没有在大数据领域发挥最大
Luo_LA·2023-08-20 22:44

神经网络基础-神经网络补充概念-49-adam优化算法

概念Adam（AdaptiveMomentEstimation）是一种优化算法，结合了动量梯度下降法和RMSProp的优点，用于在训练神经网络等深度学习模型时自适应地调整学习率。
丰。。·2023-08-20 20:10

神经网络基础-神经网络补充概念-47-动量梯度下降法

概念动量梯度下降法（MomentumGradientDescent）是一种优化算法，用于加速梯度下降的收敛速度，特别是在存在高曲率、平原或局部最小值的情况下。
丰。。·2023-08-20 12:23

神经网络基础-神经网络补充概念-43-梯度下降法

概念梯度下降法（GradientDescent）是一种优化算法，用于在机器学习和深度学习中最小化（或最大化）目标函数。它通过迭代地调整模型参数，沿着梯度方向更新参数，以逐步接近目标函数的最优解。
丰。。·2023-08-18 23:03

感知机模型(Perceptron)详细解读 | 统计学习方法学习笔记 | 数据分析 | 机器学习

本文包括：1.走近感知机-感知机与童话2.重要概念3.感知机模型的数学形式4.构建感知机的损失函数5.如何取得损失函数最小值-随机梯度下降法6.感知机模型对偶形式Python复现，使用了随机梯度下降法，
舟晓南·2023-08-18 07:56

基于灰狼优化（GWO）、帝国竞争算法（ICA）和粒子群优化（PSO）对梯度下降法训练的神经网络的权值进行了改进（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述在神经网络训练中，使用传统的梯度下降法可能会受到局部极值问题的影响，导致训练结果不够稳定或收敛速度较慢。
然哥依旧·2023-08-17 23:23

Task07：优化算法进阶；word2vec；词嵌入进阶

以上是梯度下降法的最基本形式，在此基础上，为了使梯度下降法收敛更加迅速和稳定，研究人员提出了多种变种，其中最优秀的要数Momentum，RMSprop，和Adam等。
Crystality·2023-08-17 16:45

神经网络基础-神经网络补充概念-23-神经网络的梯度下降法

概念神经网络的梯度下降法是训练神经网络的核心优化算法之一。它通过调整神经网络的权重和偏差，以最小化损失函数，从而使神经网络能够逐渐逼近目标函数的最优值。
丰。。·2023-08-17 07:26

利用matlab实现无约束最优化方法

目录1.最速下降法2.加速梯度法——最速梯度下降法的改进3.Newton法-----多维4.阻尼Newton法5、FR共轭梯度法6、变尺度法---DFP算法1.最速下降法最速下降法-----两个特征：1
小白要努力sgy·2023-08-16 16:48

通俗讲解-动量梯度下降法原理与代码实例

本站原创文章，转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com目录一.动量梯度下降法介绍1.1动量梯度下降法简介与思想1.2动量梯度下降法的算法流程二.动量梯度下降法代码实例2.1动量梯度下降法实例代码一
老饼讲解-BP神经网络·2023-08-16 14:39

神经网络基础-神经网络补充概念-04-梯度下降法

概念梯度下降法是一种常用的优化算法，用于在机器学习和深度学习中更新模型参数以最小化损失函数。它通过迭代地调整参数，沿着损失函数的负梯度方向移动，从而逐步逼近损失函数的最小值。
丰。。·2023-08-15 17:51

第10周 | 斯坦福 CS229 机器学习

文章目录前言第10周十七、大规模机器学习(LargeScaleMachineLearning)17.1大型数据集的学习17.2随机梯度下降法17.3小批量梯度下降17.4随机梯度下降收敛17.5在线学习
ReturnTmp·2023-08-14 15:33

基于灰狼优化（GWO）、帝国竞争算法（ICA）和粒子群优化（PSO）对梯度下降法训练的神经网络的权值进行了改进（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述在神经网络训练中，使用传统的梯度下降法可能会受到局部极值问题的影响，导致训练结果不够稳定或收敛速度较慢。
长安程序猿·2023-08-12 22:26

机器学习笔记之优化算法(十三)关于二次上界引理

机器学习笔记之优化算法——关于二次上界引理引言回顾：利普希兹连续梯度下降法介绍二次上界引理：介绍与作用二次上界与最优步长之间的关系二次上界引理证明过程引言本节将介绍二次上界的具体作用以及它的证明过程。
静静的喝酒·2023-08-11 20:41

机器学习笔记值优化算法(十四)梯度下降法在凸函数上的收敛性

机器学习笔记之优化算法——梯度下降法在凸函数上的收敛性引言回顾：收敛速度：次线性收敛二次上界引理梯度下降法在凸函数上的收敛性收敛性定理介绍证明过程引言本节将介绍梯度下降法在凸函数上的收敛性。
静静的喝酒·2023-08-11 20:10

机器学习笔记之优化算法(十一)梯度下降法：凸函数VS强凸函数

机器学习笔记之优化算法——梯度下降法：凸函数VS强凸函数引言凸函数：凸函数的定义与判定条件凸函数的一阶条件凸函数的梯度单调性凸函数的二阶条件强凸函数强凸函数的定义强凸函数的判定条件强凸函数的一阶条件强凸函数的梯度单调性强突函数的二阶条件引言本节将介绍凸函数
静静的喝酒·2023-08-10 10:01

吴恩达机器学习笔记（自用）

（UnsupervisedLearning）单变量线性回归模型描述（ModelRepresentation）代价函数梯度下降线性回归中的梯度下降凸函数（convexfunction）多变量线性回归多元梯度下降法特征缩放
cosθ·2023-08-09 06:02

深度学习--优化器篇(超保姆级+附代码包含常用各种优化器)

个人通俗理解(仅供参考)：为梯度下降法配置的一个的"领航员"，寻找模型最优解又要避免出现局部最优解，使之能快速高效的达到"目标"以下为使用chatgpt3.5的回答(仅供参考，还挺全乎，直接给我把本文要介绍的优化器优缺点都总结好了
Lian_Ge_Blog·2023-08-08 16:27

4_回归算法（算法原理推导+实践）

目标函数（loss/costfunction）3模型效果判断4机器学习调参5梯度下降算法5.1梯度方向5.2批量梯度下降算法（BGD）5.3随机梯度下降算法（SGD）5.4BGD和SGD算法比较5.5小批量梯度下降法
少云清·2023-08-07 21:52

7_分类算法—逻辑回归

参数求解1.4Logistic回归损失函数1.5LogisticRegression总结2Softmax回归（多分类问题）2.1Softmax算法原理2.2Softmax算法损失函数2.3Softmax算法梯度下降法求解
少云清·2023-08-07 21:20

【水文】基于 MNN 训练能力解方程

训练能力解方程简介许久没上，水篇文章，事由同学想由房贷月还款额推测年利率：月还款额=pow(年利率/12+1,期数)*(年利率/12)*贷款总额/(pow(年利率/12+1,期数)-1)这个方程直接求解感觉比较麻烦，考虑使用梯度下降法
夕阳叹·2023-08-07 19:33

机器学习笔记之优化算法(十)梯度下降法铺垫：总体介绍

机器学习笔记之优化算法——梯度下降法铺垫：总体介绍引言回顾：线搜索方法线搜索方法的方向Pk\mathcalP_kPk线搜索方法的步长αk\alpha_kαk梯度下降方法整体介绍引言从本节开始，将介绍梯度下降法
静静的喝酒·2023-08-06 09:02

5/1-3 BP神经网络的改进及MATLAB实现（下）

5/1-3BP神经网络的改进及MATLAB实现（下）文章目录5/1-3BP神经网络的改进及MATLAB实现（下）1.自适应梯度下降法（Adagrad）2.动量法（momentum）1.自适应梯度下降法（
机器学习成长之路·2023-08-04 10:48

机器学习15 大规模机器学习

17大规模机器学习内容：17.1大型数据集学习17.2随机梯度下降法17.3小批量梯度下降17.4随机梯度下降收敛17.5在线学习17.6映射化简和数据并行17.1大型数据集学习如果我们有一个低方差的模型
黄桃百香果·2023-08-03 17:04

第2章 梯度下降法

第2章梯度下降法深度学习的核心任务就是通过样本数据训练一个函数模型，或者说找到一个最佳的函数表示或刻画这些样本数据。
hwdong·2023-08-02 10:27

梯度下降算法

目录梯度下降法随机梯度下降法实验分析mini-batch梯度下降法importnumpyasnpimportmatplotlib.pyplotaspltw=1.0defforward(x):""":paramx
Q渡劫·2023-08-01 16:25

学习经验分享【NO.17】YOLO训练时固定随机种子

深度学习网络模型中初始的权值参数通常都是初始化成随机数，而使用梯度下降法最终得到的局部最优解对于初始位置点的选择很敏感。
人工智能算法研究院·2023-07-31 08:39

Pytorch参数优化

但是模型的参数我们一般是无法看见的，所以我们必须学会对参数的更新，下面，我将介绍两种参数更新的方法下面以梯度下降法为例进行展示：手动遍历参数更新在PyTorch中，模型的参数是通过torch.nn.Parameter
Teroin·2023-07-31 07:38

最速梯度下降

梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。
无涯2016·2023-07-30 05:19

深度学习的优化算法

批量梯度下降法受电脑GPU限制，在训练网络时，通常不会将所有数据一起训练，为了加快学习速度，我们首先引入批量梯度下降法，但是会有震荡问题，如图1的的右图。
阿里山Paris·2023-07-29 19:09

【深度学习笔记】动量梯度下降法

感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1指数加权平均2动量梯度下降法1指数加权平均在介绍更复杂的优化算法之前
洋洋Young·2023-07-29 10:15

加载数据集--准备数据集mini-batch

批量梯度下降法（BatchGradientDescent，BGD）：在更新参数时，BGD根据batch中的所有样本对参数进行更新。
Yuerya.·2023-07-29 04:03

python机器学习（五）逻辑回归、决策边界、代价函数、梯度下降法实现线性和非线性逻辑回归

线性回归所解决的问题是把数据集的特征传入到模型中，预测一个值使得误差最小，预测值无限接近于真实值。比如把房子的其他特征传入到模型中，预测出房价，房价是一系列连续的数值，线性回归解决的是有监督的学习。有很多场景预测出来的结果不一定是连续的，我们要解决的问题并不是一直类似于房价的问题。分类问题预测是红细胞还是白细胞，红细胞和白细胞是两个完全不同的类别。预测的时候首先要有历史数据，训练出模型，然后对模型
hwwaizs·2023-07-29 04:56

非线性优化知识

这里列下最小二乘的四种解法的优缺点．求J求H求J和H^求J,H^和信赖域最小二乘问题梯度下降法牛顿法高斯牛顿法列文伯格-马夸特法最小二乘问题可以使用牛顿法，梯度下降法，牛顿高斯法以及列文伯格-马夸特法来求解
lyyiangang·2023-07-29 01:08

2019-03-17神经网络——optimizer

神经网络优化算法，通常有三种：小批量梯度下降法，随机梯度下降法和批量梯度下降法。
hhhhlyy·2023-07-28 12:49

罚函数法、增广拉格朗日函数法

本文部分内容来自罚函数法一，约束优化问题约束优化问题：约束优化问题相比于无约束问题的困难：约束优化问题中x不能随便取值，梯度下降法所得点不一定在可行域内最优解处目标函数的梯度不一定为零向量。
csuzhucong·2023-07-28 04:35

深度学习讲稿(29)

5.6.2批量梯度下降法的代码实现在开始代码之前，我们首先介绍一个numpy的小技巧：矩阵的展平。这里使用到的是numpy中的ravel函数，ravel的中文翻译是拆开，解开的意思。
山岳之心·2023-07-28 01:25

sklearn实验1——使用感知器对鸢尾花数据分类

感知器算法要求样本是线性可分的，通过梯度下降法有限次的迭代后就可以收敛得到一个解。当样本非线性时，使用感知器算法不会收敛。
lyb06·2023-07-27 14:09

深度学习讲稿(28)

5.6批量梯度下降法5.6.1PCA降维的意义在很多时候，我们需要综合使用随机梯度下降法和瀑布下降法的长处。这时往往数据量很大，一次计算所有的数据是非常耗费内存的。
山岳之心·2023-07-27 13:00

多项式拟合

输入，输出Y=，要拟合二次多项式y=a*x^2+b*x+c,则构造输入矩阵X=构造待拟合系数矩阵W=构造损失函数，用梯度下降法可求得：W=1.matlab仿真验证：%为了验证，我们首先构造一组待拟合数据
东城青年·2023-07-27 11:56
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他