共轭梯度下降

xgboost为什么要用泰勒展开

xgboost使用了一阶和二阶偏导,二阶导数有利于梯度下降的更快更准.使用泰勒展开取得函数做自变量的二阶导数形式,可以在不选定损失函数具体形式的情况下,仅仅依靠输入数据的值就可以进行叶子分裂优化计算,本质上也就把损失函数的选取和模型算法优化
Smile_未来可期·2023-09-16 14:20

逻辑回归

逻辑回归是假设数据服从伯努利分布（二项分布），通过极大似然函数的方法，运用梯度下降来求解参数，达到数据的二分类的目的。是经典的二分类算法，是处理因变量是分类变量的回归问题。
MaskStar·2023-09-16 14:55

pytorch的自动微分、计算图 | 代码解析

在深度学习和机器学习中，自动微分是一个关键的概念，用于计算函数相对于其输入变量的导数（梯度）从而利用各类优化算法如梯度下降降低损失函数。
Qodi·2023-09-16 07:24

机器学习一点通： 统计中的Beta分布你真的懂了吗？

它在数学上是共轭的，意味着后验分布保持相似的格式，使得涉及它的计算更为简单。Beta分布由两个参数定义，α（al
robot_learner·2023-09-16 02:15

简单介绍神经网络中不同优化器的数学原理及使用特性【含规律总结】

那我就介绍解释几种常用的优化器的基本原理：随机梯度下降（SGD）：SGD是最基本的优化算法之一。它通过计算当前位置的梯度（即损失函数对参数的导数），然后朝着梯度的反方向更新
Yooooung_Lee·2023-09-15 23:07

专题：正交矩阵

例3.10设为阶正交矩阵，则（1）的复特征值的模为，从而的实特征值只能为或，虚特征值成对互为共轭.（2）若是的特征值，是的属于特征值入的特征向量，则长度相等且正交.例3.11设为欧氏空间的正交变换，在的标准正交基下的矩阵为
抄书侠·2023-09-15 17:41

机器学习（14）---逻辑回归（含手写公式、推导过程和手写例题）

逻辑回归一、逻辑回归概述二、模型、策略和优化（手写）三、w和b的梯度下降公式推导四、例题分析4.1题目4.2解答一、逻辑回归概述 1.逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型
冒冒菜菜·2023-09-15 07:52

深度学习-全连接神经网络-训练过程-批归一化- [北邮鲁鹏]

批归一化操作小批量梯度下降算法回顾：每次迭代时会读入一批数据，比如32个样本；经过当前神经元后会有32个输出值y1,…y32。
古董a·2023-09-15 07:29

Python数据分析入门--线性规划和非线性规划学习笔记

文章目录一、线性规划简介二、线性规划常用求解方法三、线性规划实现流程1.明确问题和变量2.建立数学模型四、Python实现线性规划五、非线性规划简介六、非线性规划常用求解方法1.拉格朗日乘数法2.梯度下降法七
szu_ljm·2023-09-15 02:00

深度学习讲稿（24）

5.2三种梯度下降在上节中，我们使用了梯度下降实现了多元线性回归。如果你仔细看过上面的算法。你就知道，这个算法能够找到一个解是很自然的。对于单个数据点来说，这个解并没有什么意义。
山岳之心·2023-09-14 22:56

深度学习2--tensorflow--Softmax回归实现手写数字识别

逻辑回归先准备一下LR逻辑回归：广义线性模型：实现x到y的非线性映射：在LR逻辑回归中取g函数：实现0--1映射输出值为预测结果为1的概率线性模型wx+b:令h（x）表示结果为1的概率：极大对数似然：损失函数：随机梯度下降
暗夜猎手-大魔王·2023-09-14 22:44

梯度下降之线性回归模型

相关原理线性回归的模型为：y=ax+b我们就是利用已知的数据即x,y求出a,b相关公式梯度下降的求法一、BGD（批量梯度下降）此方法就是对所有的数据进行训练，找出最优解，如果对象为凸函数找出的为全局最优
day. day. up!·2023-09-14 19:52

optimizer和loss.backward()相关函数

optimizer.zero_grad()#梯度清零(一定要先进行梯度清零，这样tensor里面的grad就不会累加)loss.backward()是用来求导的optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数上面的顺序步骤不能变
小宋加油啊·2023-09-14 12:05

深度学习-详解梯度下降从BGD到ADAM - [北邮鲁鹏]

文章目录参考文章及视频导言梯度下降的原理、过程一、什么是梯度下降？
古董a·2023-09-14 09:16

打开深度学习的锁

数据集降维度并且转置2.3数据预处理完整代码三、逻辑回归3.1线性回归函数公式3.2sigmoid函数公式四、初始化函数五、构建逻辑回归的前向传播和后向传播5.1损失函数5.2前向传播5.3后向传播5.3.1梯度下降算法
Jiashun Hao·2023-09-13 13:31

L1 、 L2 、 smooth L1 loss

均方误差MSE(L2Loss)均方误差（MeanSquareError，MSE）是模型预测值f(x)与真实样本值y之间差值平方的平均值，其公式如下MSE的函数曲线光滑、连续，处处可导，便于使用梯度下降算法
THE@JOKER·2023-09-13 09:07

【线性回归】梯度下降

梯度下降在整个机器学习中都很重要〇、问题回顾找到θ0、θ1，最小化代价函数J(θ0,θ1)outline初始化θ0，θ1调整θ0、θ1，减小J直到J最小（如何调整呢？）走下降最快的方向！
阿瑟琴·2023-09-13 05:16

神经网络 06(优化方法)

二、梯度下降方法梯度下降法简单来说就是一种寻找使损失函数最小化的方法。
Darren_pty·2023-09-13 05:25

2019-03-03

如何让线离点为了使用梯度下降法，我们需要使用连续误差函数，为此还需要
_mora·2023-09-13 01:34

深度学习的数值问题

文章目录梯度下降临界点、驻点、拐点、鞍点、顶点（曲线）、曲率近似优化预测最佳步长梯度下降往斜率的反方向走。
玖玖玖 柒染·2023-09-12 23:08

深入探讨梯度下降：优化机器学习的关键步骤（三）

文章目录引言随机、批量梯度下降的差异随机梯度下降的实现随机梯度下降的调试引言随机梯度下降是一种优化方法，主要作用是提高迭代速度，避免陷入庞大计算量的泥沼。
小馒头学python·2023-09-12 20:30

基于小波神经网络的多分类预测，基于ANN的分类预测

BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数小波神经网络（以小波基为传递函数的BP神经网络）代码链接：基于小波神经网络的多分类代码，基于自适应学习率动量因子梯度下降
神经网络机器学习智能算法画图绘图·2023-09-12 16:15

Batch normalization和Layer normalization

深度学习的归一化方法1归一化的目的当我们使用梯度下降法做优化时，随着网络深度的增加，输入数据的特征分布会不断发生变化，为了保证数据特征分布的稳定性，会加入Normalization。
Mariooooooooooo·2023-09-12 16:51

机器学习（12）---梯度下降（含手写公式、推导过程和手写例题）

梯度下降一、概述1.1梯度下降的用途1.2梯度下降公式二、公式讲解2.1推导过程2.2例题一、概述1.1梯度下降的用途 1.使用线性回归的平方误差成本函数时，成本函数不会也永远不会有多个局部最小值。
冒冒菜菜·2023-09-12 08:03

【论文解读】元学习：MAML

该算法与任何用梯度下降训练的模型兼容，适用于各种学习问题，包括分类、回归和强化学习。
Scc_hy·2023-09-12 06:57

傅里叶变换 ~ 离散傅里叶变换（DFT）

DTFT、Z变换的关系--频域抽样6、离散傅里叶变换对x(n)与X(k)中各参量间的关系7、DFT隐含的周期性二、DFT的主要性质1、线性2、圆周移位性质2.1、圆周移位序列2.2、圆周移位性质2、圆周共轭对称
日行一步·2023-09-11 23:34

机器学习入门教学——梯度下降、梯度上升

梯度上升和梯度下降是优化算法中常用的两种方法，主要目的是通过迭代找到目标函数的最大值和最小值。例如：想象我们在一座很高的山上，怎么才能以最快的速度下山？
恣睢s·2023-09-11 13:54

【AI】机器学习——感知机

文章目录4.1感知机基本概念4.2策略4.2.1数据集的线性可分性4.2.2学习策略目标损失函数的构造关于距离的解释4.3算法4.3.1原始形式损失函数的梯度下降法4.3.2PLA例题4.3.3算法收敛性
AmosTian·2023-09-11 08:14

机器学习笔记之最优化理论与方法(十)无约束优化问题——共轭梯度法背景介绍

机器学习笔记之最优化理论与方法——共轭梯度法背景介绍引言背景：共轭梯度法线性共轭梯度法共轭方向共轭VS正交共轭方向法共轭方向法的几何解释引言本节将介绍共轭梯度法，并重点介绍共轭方向法的逻辑与几何意义。
静静的喝酒·2023-09-11 01:42

python实现线性回归的梯度下降法

但损失函数一般都比较复杂，难以从函数本身找到最优的参数，因此实际应用过程中使用得较多的就是梯度下降法。通过逐渐改变参数，使损失函数逐渐收敛，最终确定参数值使损失函数的值最小。
yy辰·2023-09-10 21:46

光学基础概念系列之——景深、工作距离、物像

在机器视觉中，相机芯片为光学系统的像平面，物方与像平面共轭的平面称为对准平面。严格的来讲除对准平面上的点能成点像外，其他空间点在像平面上成像为弥散斑。
vimovision·2023-09-10 13:00

【深度学习】Mini-Batch梯度下降法

Mini-Batch梯度下降法在开始Mini-Batch算法开始之前，请确保你已经掌握梯度下降的最优化算法。
NormalConfidence_Man·2023-09-10 08:07

深度学习基础之梯度下降

1.引言梯度下降是一种用于最小化（或最大化）损失函数的优化算法。它是机器学习和深度学习中的一个关键概念，通常用于调整学习算法中的参数。梯度下降背后的核心思想是迭代调整参数以最小化损失函数。
赵卓不凡·2023-09-10 06:46

【白话机器学习系列】白话梯度下降

白话梯度下降梯度下降是机器学习中最常见的优化算法之一。理解它的基本实现是理解所有基于它构建的高级优化算法的基础。
JarodYv·2023-09-10 06:39

【李宏毅】深度学习6：机器学习任务攻略

问题：model太简单了，funcset中没有满足条件的func(我觉得这就是一种欠拟合的状态吧)解决方案：使用更复杂的模型优化法Optimization没有选对，比如通过梯度下降，结果收敛到局部最优。
Avada__Kedavra·2023-09-10 06:35

机器学习之感知机

感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求
是小橙子呀·2023-09-09 22:54

人工智能-深度学习-代价函数，梯度下降和反向传播

深度学习算法最后都归结为求解最优化问题，以达到我们想让算法达到的目标，即找到最好的那个决策。为了完成某一目标，需要构造出一个“目标函数”来，然后让该函数取极大值或极小值，从而得到深度学习算法的模型参数。代价函数（CostFunction）：用于找到最优解的目的函数，这也是代价函数的作用。代价函数是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。损失函数（LossFunction）
guszhang·2023-09-09 14:16

TORCH01-02:Tensor的基本属性

同时还提供了导数的逆向计算，这是目前神经网络中最成功的网络思想：前馈神经网络的实现基础（梯度下降算法）；回顾因为Torch的核心是Tensor，Tensor的数据由Storage管理，所以这两个类的关系搞清楚
杨强AT南京·2023-09-09 12:41

python机器学习| 岭回归介绍及实现

岭回归介绍及实现1岭回归的引入2岭回归的原理2.1原理介绍2.2原理代码实现3API实现1岭回归的引入在线性回归-正规方程和梯度下降中，我们介绍了基于正规方程或者梯度下降的优化算法，来寻找最优解。
Claire_chen_jia·2023-09-09 05:31

【AI】机器学习——线性模型（线性回归）

又能构造出功能更加强大的非线性模型文章目录3.1线性模型3.1.1数据3.1.2目标/应用3.2线性回归3.2.1回归模型历史3.2.2回归分析研究内容回归分析步骤3.2.3回归分析分类3.2.4回归模型3.2.5损失函数梯度下降法一元回归模型的梯度下降多元回归模型梯度下降不同特征尺度不同
AmosTian·2023-09-08 10:33

机器学习

***梯度下降算法、计算损失函数之后，用求导的思想进行求导学习率进行调整***均方差代价函
chen_sheng·2023-09-08 10:11

矩阵论 内积空间几何表示图解

一、内积的定义例1：(对于实数而言，是否取共轭都是一样的。
艾晓初·2023-09-08 09:38

回归与聚类算法系列②：线性回归

目录1、定义与公式2、应用场景3、特征与目标的关系分析线性回归的损失函数为什么需要损失函数损失函数⭐如何减少损失4、优化算法正规方程梯度下降优化动态图偏导正规方程和梯度下降比较5、优化方法GD、SGD、
逐梦苍穹·2023-09-08 08:49

机器学习实战-系列教程2：线性回归1（项目实战、原理解读、源码解读）

线性回归入门教程机器学习实战-系列教程2：线性回归1机器学习实战-系列教程3：线性回归21、整体流程简介拿到数据data数据预处理操作（归一化、标准化）怎么样的x和k组合能够更加准确的拟合出真实值使用梯度下降算法
机器学习杨卓越·2023-09-08 05:29

逻辑回归

假设：使用极大似然法来估计模型参数：其对数似然函数为：对求极大值，得到的估计值通常使用梯度下降法和你牛顿法求解
菜鸟learn编程·2023-09-08 03:19

机器学习--随机梯度下降算法

对于样本数量额非常之多的情况，BatchGradientDescent（批量梯度下降）算法会非常耗时，因为每次迭代都要便利所有样本，可选用StochasticGradientDescent算法，需要注意外层循环
IT满仓·2023-09-07 19:42

深度学习中的batch（batch size，full batch，mini batch， online learning）、iterations与epoch

概念引入我们已知在梯度下降中需要对所有样本进行处理过后然后走一步，那么如果我们的样本规模的特别大的话效率就会比较低。
xys430381_1·2023-09-07 13:16

深度学习面试八股文（2023.9.06持续更新）

批梯度下降（Batchgradientdescent）：遍历全部数据集算一次损失函数，计算量开销大，计算速度慢，不支持在线学习。
完美屁桃·2023-09-07 13:43

机器学习：基于梯度下降算法的逻辑回归实现和原理解析

Sigmoid函数逻辑回归损失函数梯度下降逻辑回归定义逻辑函数线性组合模型训练决策边界了解逻辑回归：从原理到实现什么是逻辑回归？
是一个Bug·2023-09-07 06:14

【数学建模竞赛】优化类赛题常用算法解析

模型分析和求解方法选择：对建立的数学模型进行分析，可以使用数学工具和方法，例如最优化算法、梯度下降法、遗传算法、模拟退火等。根据问题的性质和模型的特点，选择适当的优化方法来求解问题。
CaojunjiaOnly·2023-09-06 23:08
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他