梯度下降法

scikit-learn机器学习四（多元线性回归）

从简单线性回归到多元线性回归多元线性回归多项式回归梯度下降法多元线性回归我们之前训练并评价了一个用于预估披萨价格的模型详情请见我的另一篇博文scikit-learn机器学习之简单线性回归但是这个模型其实并不完美
国家一级假勤奋大学生·2022-10-17 07:43

【模糊神经网络预测】基于模糊神经网络实现水质预测含Matlab源码

预测指标个数,模糊规则数构建模糊小波神经网络预测模型,模糊小波神经网络预测模型包括输入层,隶属层,模糊规则层,小波层,输出层和解模糊层;对隶属函数参数,小波层的小波参数进行调整,并定义代价函数,使用以梯度下降法为基础的
matlab_dingdang·2022-10-16 17:29

神经网络训练梯度算法详解

文章目录题目ThebasicdefinitionThemotivationPaperdetailedintroduction梯度下降变体批梯度下降随机梯度下降算法小批量梯度下降法MBGDChallengesGradientdescentoptimizationalgorithmsMomentumNesterovacceleratedgradientAdaGradRMSPropAdadeltaAda
pinn山里娃·2022-10-16 15:21

神经网络之梯度下降法及其实现

文章目录一、梯度下降的场景假设二、梯度三、梯度下降算法的数学解释四、梯度下降算法的实例五、梯度下降算法的实现一、梯度下降的场景假设梯度下降法的基本思想可以类比为一个下山的过程。假设这
南淮北安·2022-10-16 15:20

基于 RBF 径向基神经网络的自适应控制，原理，实现，Matlab 程序

网络逼近的自适应控制3.1问题描述3.2验证没有未知干扰项的控制器3.2RBF网络原理3.3控制算法设计与分析3.4仿真实例4.RBF神经网络自适应控制matlab仿真_RBF神经网络及其在控制中的应用简介1.采用梯度下降法计算权值
Zhao-Jichao·2022-10-16 13:06

线性回归——最小二乘法

线性回归的根本就是求解最小损失函数，常用的方法有：最小二乘法，梯度下降法和正则化。1.1模型推导假设数据满足线性模型条件，可以设定线性模型为：h=a0+a1x1+a2x2+…+anxn所以预测值
Arnon_yin·2022-10-16 07:12

机器学习 - 各种优化器 optimizer

先修知识：牛顿法和拟牛顿法可以看我之前写的文章：https://blog.csdn.net/weixin_41332009/article/details/1131120261.梯度下降法(GradientDescent
愉贵妃珂里叶特氏海兰·2022-10-15 07:53

深度学习面试题03：改进版梯度下降法Adagrad、RMSprop、Momentum、Adam

目录Adagrad法RMSprop法Momentum法Adam法参考资料发展历史标准梯度下降法的缺陷如果学习率选的不恰当会出现以上情况因此有一些自动调学习率的方法。
weixin_30323961·2022-10-15 07:52

如何通过torch使用梯度下降法（ Gradient descent）求函数极小值

1.梯度下降法梯度下降法（Gradientdescent，简称GD）是一阶最优化算法，计算过程就是沿梯度下降的方向求解极小值，公式如下所示，其中μ\muμ表示学习率，gtg^tgt表示梯度，ttt表示第
rpsate·2022-10-15 07:49

深度学习常见的优化算法

文章目录1.梯度下降算法（batchgradientdescentBGD)2.随机梯度下降法（StochasticgradientdescentSGD)3.小批量梯度下降(Mini-batchgradientdescentMBGD
ZhangTuTu丶·2022-10-15 07:17

深度学习基础知识——optimizer总结

1.训练方法：（1）批/梯度下降法GD（gradientdescent）梯度下降法是求解无约束最优化问题的一种常用方法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。
m0_49089298·2022-10-15 07:43

深度学习基础之优化器（optimizer）的介绍

文章目录前言SGD(随机梯度下降法）MomentumAdaGradRMSpropAdamMNIST手写数据集四种方法对比总结参考前言神经网络的学习的目的是找到使损失函数的值尽可能小的参数。
Icy Hunter·2022-10-15 07:36

深度学习常见优化算法，图解AdaGrad、RMSProp，Adam

1.AdaGradAdaGrad算法是梯度下降法的改进算法，其优点是可以自适应学习率。该优化算法在较为平缓处学习速率大，有比较高的学习效率，在陡峭处学习率小，在一定程度上可以避免越过极小值点。
rpsate·2022-10-15 07:36

深度神经网络主要模型,深度卷积神经网络模型

2使用随机梯度下降法，防止局部收敛3调小学习率谷歌人工智能写作项目：小发猫2、深度学习有哪些优点和缺点深度学习的主要优点如下：1：学习能力强深度学习具备很强的学习能力深度神经网络模型精度。2：覆盖
goodutils·2022-10-14 14:27

【无标题】

文章目录前言一、深入研究鸢尾花数据集二、实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建
别被打脸·2022-10-14 07:13

神经网络与深度学习（五）前馈神经网络（3）鸢尾花分类

目录4.5实践：基于前馈神经网络完成鸢尾花分类深入研究鸢尾花数据集4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4
Jacobson Cui·2022-10-14 07:13

NNDL 实验五 前馈神经网络—鸾尾花分类

目录深入研究鸾尾花数据集小批量梯度下降法数据分组数据处理用DataLoader进行封装模型构建完善Runner类模型训练模型评价模
白小码i·2022-10-14 07:09

HBU-NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4
不是蒋承翰·2022-10-14 07:31

NNDL 实验五 前馈神经网络（3）鸢尾花分类

深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4完善
刘先生TT·2022-10-14 07:53

BP反向传播网络

梯度下降法本质上，在神经网络中实现的梯度下降和在线性回归和逻辑斯特回归这两件事上的梯度下降的步骤没有什么不同不同的是，神经网络中，参数非常多，它的梯度可能是个上百维的一个梯度反向传播是一种，为了让你计算梯度更有效率的一种衍生法链式法则
Caaaaaan·2022-10-14 07:22

数值优化：经典随机优化算法及其收敛性与复杂度分析

为了说明这一点，我们来看一个用梯度下降法求解线性回归
u012804784·2022-10-13 20:06

西瓜书学习笔记---第三章 线性模型

、题目要求二、数据集介绍三、Logistics回归模型3.1Logistics回归模型介绍3.2Logistics回归算法原理3.3Logistics回归算法核心代码解释1.定义Sigmoid函数2.梯度下降法求解
MCMer·2022-10-13 19:55

分析acc/loss上下波动不稳定的原因？

为什么需要设定batch：一般机器学习或者深度学习训练过程中的目标函数可以简单理解为在每个训练集样本上得到的目标函数值的求和，然后根据目标函数的值进行权重值的调整，大部分时候是根据梯度下降法来进行参数更新的
李卓璐·2022-10-13 13:37

机器学习之支持向量机（SVM）的求解方法

文章目录前言梯度下降法SMO算法参考前言支持向量机就是寻找一个超平面，将不同的样本分分隔开来，其中间隔分为硬间隔和软间隔，硬间隔就是不允许样本分错，而软间隔就是允许一定程度上样本存在偏差，后者更符合实际
Icy Hunter·2022-10-12 09:32

吴恩达机器学习逻辑回归的代价函数06

下面我们来看一个不同的成本函数，它可以逻辑回归选择更好的参数训练集平方误差代价函数由下图可知，逻辑回归的平方误差代价函数是非凸代价函数，不是凸的，这意味着，如果使用梯度下降法，因为有很多局部最小值，很容易卡
·2022-10-10 22:47

神经网络之网络基础第4关：优化方法：梯度下降

任务描述本关任务：通过学习梯度下降法的相关知识，编写一个计算指定函数取得极值时对应的x的值的程序。相关知识为了完成本关任务，你需要掌握：优化算法概述；梯度下降法；梯度消失。
OnlyForBetter·2022-10-09 11:47

常见的机器学习面试题

解析：在实际应用中，通过梯度下降法求解的模型一般都是需要归一化的，比如线性回归、logistic回归、KNN、SVM、神经网络等模型。
king1043·2022-10-09 10:11

NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.2数据处理4.5.3模型构建4.5.4完善Runner类4.5.5模型训练4.5.6模型评价4.5.7
HBU_David·2022-10-07 12:20

机器学习笔记-逻辑回归

文章目录一、逻辑回归算法简介二、逻辑回归的数学思想1.构造预测函数2.构造损失函数3.求解参数3.1.梯度下降法优化3.2.牛顿法优化三、逻辑回归的应用1.梯度下降法实现逻辑回归2.牛顿法实现逻辑回归总结一
Pijriler·2022-10-07 07:38

[HITML]哈工大2020秋机器学习复习笔记

文章目录1基础1.1机器学习中的概率1.2最大似然估计、最大后验概率1.3最小二乘法、梯度下降法、共轭梯度法2决策树2.1熵2.2条件熵2.3相对熵（KL散度）2.4交叉熵3贝叶斯判别3.1最优分类器3.2
北言栾生·2022-10-07 07:06

机器学习编程作业ex4(matlab/octave实现)-吴恩达coursera

对应的各层每个单元的值a；2.由输出层的误差计算倒推各个隐藏层的误差delta；3.利用各层误差delta计算梯度值；4.利用迭代函数fmincg求出代价函数最小（梯度grad=0）时的theta值，与之前的梯度下降法不断更新
独家*记忆·2022-10-07 07:36

【简单学习机器学习】简单易学的机器学习算法——Logistic回归

二、最优化方法确定最佳回归系数最优化方法有基于梯度的梯度下降法、梯度上升发，改进的随机梯度下降法等等。基于梯
feng_zhiyu·2022-10-07 07:58

吴恩达AI机器学习-01神经网络与深度学习week2上-神经网络基础

函数求导链式规则推导部分和梯度下降代码思路部分重点理解目录2.1二分分类2.2逻辑线性回归2.3参数w&b以及损失函数2.4梯度下降法2.5导数+2.6更多导数的例子2.7计算图2.8计算图的导数计算2.9Logistic
睡觉特早头发特多·2022-10-04 07:01

详解梯度下降法求解线性模型参数

有监督学习和无监督学习机器学习，分为有监督学习和无监督学习。有监督学习，就是有训练集，有label，我们是可以知道模型输出是什么样子的。而无监督学习，没有训练集，没有label，提前无法知道输出的样子。有监督学习分为两种：回归和分类。模型输出若为连续变量，就是回归；模型输出为离散值，就是分类。无监督学习常见的是聚类。给定一堆数据集，从中找出相似的类簇，这个过程没有label。神经网络，深度学习，S
浪子私房菜·2022-10-04 07:31

线性回归（线性拟合）与非线性回归(非线性拟合)原理、推导与算法实现（一）

拟合常用的方法有最小二乘法、梯度下降法、高斯牛顿（即迭代最小二乘）、列-马算法
生信小兔·2022-10-02 07:13

深度学习中Adam优化算法的介绍

深度学习中Adam优化算法的介绍本文来源：http://www.atyun.com/2257.html深度学习中Adam优化算法的介绍对深度学习中Adam优化算法的简单介绍Adam优化算法是一种对随机梯度下降法的扩展
蔚蓝呆鸟·2022-10-01 08:57

【机器学习】梯度下降法与牛顿法【Ⅰ】梯度下降法概述

【机器学习】梯度下降法与牛顿法【Ⅰ】梯度下降法概述【机器学习】梯度下降法与牛顿法【Ⅱ】牛顿法与修正牛顿法【机器学习】梯度下降法与牛顿法【Ⅲ】拟牛顿法1.梯度下降法梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值
不牌不改·2022-09-30 13:47

机器学习(深度学习)中的反向传播算法与梯度下降

一、反向传播算法定义：反向传播(Backpropagation，缩写为BP)是“误差反向传播”的简称，其与最优化方法(如梯度下降法)的结合使用是用来训练人工神经网络的常用方法。
AIWCZ·2022-09-27 18:46

深度学习优化函数

深度学习优化函数详解系列目录本系列课程代码，欢迎star：https://github.com/tsycnh/mlbasic深度学习优化函数详解（0）--线性回归问题深度学习优化函数详解（1）--GradientDescent梯度下降法深度学习优化函数详解
用心把天空锁住·2022-09-26 16:09

深度学习优化算法之(小批量)随机梯度下降（MXNet）

随机梯度下降法(sgd)，我们在很久就介绍过，有兴趣的可以参阅或直接跳过，先看完这篇文章回过头来再熟悉以前的文章也可以。
寅恪光潜·2022-09-26 16:39

adam算法_梯度下降/批量（随机）梯度下降/动量法/RMSporp/Adam算法汇总

梯度下降法：对1到M这些给出的数据计算损失函数之和的均值求导更新参数，a为学习率（用于决定我们学习的步长）通俗一点将过程就相当于：1遍历我们所有的数据（求损失函数均值）2环顾四方，寻找一个最优（损失函数下降最快
weixin_39968823·2022-09-26 16:08

机器学习算法_[优化算法系列]机器学习\深度学习中常用的优化算法

通俗易懂的讲解机器学习深度学习中一些常用的优化算法，梯度下降法、动量法momentum、Adagrad、RMSProp、Adadelta、Adam，介绍不同算法之间的关联和优缺点，后续会继续分享其他的算法
weixin_39773239·2022-09-26 16:08

深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG)

深度学习优化函数详解系列目录本系列课程代码，欢迎star：https://github.com/tsycnh/mlbasic深度学习优化函数详解（0）--线性回归问题深度学习优化函数详解（1）--GradientDescent梯度下降法深度学习优化函数详解
史丹利复合田·2022-09-26 16:37

深度学习优化函数详解（6）-- adagrad

深度学习优化函数详解系列目录深度学习优化函数详解（0）–线性回归问题深度学习优化函数详解（1）–GradientDescent梯度下降法深度学习优化函数详解（2）–SGD随机梯度下降深度学习优化函数详解
ChasingdreamLY·2022-09-26 16:06

深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG) 优化算法

深度学习优化函数详解系列目录深度学习优化函数详解（0）–线性回归问题深度学习优化函数详解（1）–GradientDescent梯度下降法深度学习优化函数详解（2）–SGD随机梯度下降深度学习优化函数详解
weixin_ry5219775·2022-09-26 16:36

机器学习-梯度下降算法

梯度下降法的基本思
没李不邢·2022-09-26 14:44

机器学习中的梯度下降算法原理详解

2.梯度下降算法2.1场景假设梯度下降法的基本思想可以类比为一个
gldbys·2022-09-26 14:40

Trick : PyTorch学习率 warm up + 余弦退火

我们都知道几乎所有的神经网络采取的是梯度下降法来对模型进行最优化，其中标准的权重更新公式：学习率a控制着梯度更新的步长(step)，a越大，意味着下降的越快，到达最优点的速度也越快，如果为0，则网络就会停止更新学习率过大
NANCYGOODENOUGH·2022-09-24 07:44

动手学深度学习——线性回归之线性模型与梯度下降法

1.1构建简化模型1.2构建线性模型1.3线性模型联系神经网络1.4神经网络源于神经科学1.5构建损失函数1.6构建训练数据集1.7利用损失进行参数学习1.8学习过程表示为显示解1.9线性回归总结2.梯度下降法与参数优化
时生丶·2022-09-23 12:50

机器学习（Machine learning）3——多项式回归算法（Polynomial Regression Algorithm）

文章目录一、多项式回归于NormalEquation二、梯度下降法与正规方程的优缺点一、多项式回归于NormalEquation二、梯度下降法与正规方程的优缺点
江南曾听风·2022-09-23 11:07
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他