共轭梯度下降

Batch normalization和Layer normalization

深度学习的归一化方法1归一化的目的当我们使用梯度下降法做优化时，随着网络深度的增加，输入数据的特征分布会不断发生变化，为了保证数据特征分布的稳定性，会加入Normalization。
Mariooooooooooo·2023-09-12 16:51

机器学习（12）---梯度下降（含手写公式、推导过程和手写例题）

梯度下降一、概述1.1梯度下降的用途1.2梯度下降公式二、公式讲解2.1推导过程2.2例题一、概述1.1梯度下降的用途 1.使用线性回归的平方误差成本函数时，成本函数不会也永远不会有多个局部最小值。
冒冒菜菜·2023-09-12 08:03

【论文解读】元学习：MAML

该算法与任何用梯度下降训练的模型兼容，适用于各种学习问题，包括分类、回归和强化学习。
Scc_hy·2023-09-12 06:57

傅里叶变换 ~ 离散傅里叶变换（DFT）

DTFT、Z变换的关系--频域抽样6、离散傅里叶变换对x(n)与X(k)中各参量间的关系7、DFT隐含的周期性二、DFT的主要性质1、线性2、圆周移位性质2.1、圆周移位序列2.2、圆周移位性质2、圆周共轭对称
日行一步·2023-09-11 23:34

机器学习入门教学——梯度下降、梯度上升

梯度上升和梯度下降是优化算法中常用的两种方法，主要目的是通过迭代找到目标函数的最大值和最小值。例如：想象我们在一座很高的山上，怎么才能以最快的速度下山？
恣睢s·2023-09-11 13:54

【AI】机器学习——感知机

文章目录4.1感知机基本概念4.2策略4.2.1数据集的线性可分性4.2.2学习策略目标损失函数的构造关于距离的解释4.3算法4.3.1原始形式损失函数的梯度下降法4.3.2PLA例题4.3.3算法收敛性
AmosTian·2023-09-11 08:14

机器学习笔记之最优化理论与方法(十)无约束优化问题——共轭梯度法背景介绍

机器学习笔记之最优化理论与方法——共轭梯度法背景介绍引言背景：共轭梯度法线性共轭梯度法共轭方向共轭VS正交共轭方向法共轭方向法的几何解释引言本节将介绍共轭梯度法，并重点介绍共轭方向法的逻辑与几何意义。
静静的喝酒·2023-09-11 01:42

python实现线性回归的梯度下降法

但损失函数一般都比较复杂，难以从函数本身找到最优的参数，因此实际应用过程中使用得较多的就是梯度下降法。通过逐渐改变参数，使损失函数逐渐收敛，最终确定参数值使损失函数的值最小。
yy辰·2023-09-10 21:46

光学基础概念系列之——景深、工作距离、物像

在机器视觉中，相机芯片为光学系统的像平面，物方与像平面共轭的平面称为对准平面。严格的来讲除对准平面上的点能成点像外，其他空间点在像平面上成像为弥散斑。
vimovision·2023-09-10 13:00

【深度学习】Mini-Batch梯度下降法

Mini-Batch梯度下降法在开始Mini-Batch算法开始之前，请确保你已经掌握梯度下降的最优化算法。
NormalConfidence_Man·2023-09-10 08:07

深度学习基础之梯度下降

1.引言梯度下降是一种用于最小化（或最大化）损失函数的优化算法。它是机器学习和深度学习中的一个关键概念，通常用于调整学习算法中的参数。梯度下降背后的核心思想是迭代调整参数以最小化损失函数。
赵卓不凡·2023-09-10 06:46

【白话机器学习系列】白话梯度下降

白话梯度下降梯度下降是机器学习中最常见的优化算法之一。理解它的基本实现是理解所有基于它构建的高级优化算法的基础。
JarodYv·2023-09-10 06:39

【李宏毅】深度学习6：机器学习任务攻略

问题：model太简单了，funcset中没有满足条件的func(我觉得这就是一种欠拟合的状态吧)解决方案：使用更复杂的模型优化法Optimization没有选对，比如通过梯度下降，结果收敛到局部最优。
Avada__Kedavra·2023-09-10 06:35

机器学习之感知机

感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求
是小橙子呀·2023-09-09 22:54

人工智能-深度学习-代价函数，梯度下降和反向传播

深度学习算法最后都归结为求解最优化问题，以达到我们想让算法达到的目标，即找到最好的那个决策。为了完成某一目标，需要构造出一个“目标函数”来，然后让该函数取极大值或极小值，从而得到深度学习算法的模型参数。代价函数（CostFunction）：用于找到最优解的目的函数，这也是代价函数的作用。代价函数是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。损失函数（LossFunction）
guszhang·2023-09-09 14:16

TORCH01-02:Tensor的基本属性

同时还提供了导数的逆向计算，这是目前神经网络中最成功的网络思想：前馈神经网络的实现基础（梯度下降算法）；回顾因为Torch的核心是Tensor，Tensor的数据由Storage管理，所以这两个类的关系搞清楚
杨强AT南京·2023-09-09 12:41

python机器学习| 岭回归介绍及实现

岭回归介绍及实现1岭回归的引入2岭回归的原理2.1原理介绍2.2原理代码实现3API实现1岭回归的引入在线性回归-正规方程和梯度下降中，我们介绍了基于正规方程或者梯度下降的优化算法，来寻找最优解。
Claire_chen_jia·2023-09-09 05:31

【AI】机器学习——线性模型（线性回归）

又能构造出功能更加强大的非线性模型文章目录3.1线性模型3.1.1数据3.1.2目标/应用3.2线性回归3.2.1回归模型历史3.2.2回归分析研究内容回归分析步骤3.2.3回归分析分类3.2.4回归模型3.2.5损失函数梯度下降法一元回归模型的梯度下降多元回归模型梯度下降不同特征尺度不同
AmosTian·2023-09-08 10:33

机器学习

***梯度下降算法、计算损失函数之后，用求导的思想进行求导学习率进行调整***均方差代价函
chen_sheng·2023-09-08 10:11

矩阵论 内积空间几何表示图解

一、内积的定义例1：(对于实数而言，是否取共轭都是一样的。
艾晓初·2023-09-08 09:38

回归与聚类算法系列②：线性回归

目录1、定义与公式2、应用场景3、特征与目标的关系分析线性回归的损失函数为什么需要损失函数损失函数⭐如何减少损失4、优化算法正规方程梯度下降优化动态图偏导正规方程和梯度下降比较5、优化方法GD、SGD、
逐梦苍穹·2023-09-08 08:49

机器学习实战-系列教程2：线性回归1（项目实战、原理解读、源码解读）

线性回归入门教程机器学习实战-系列教程2：线性回归1机器学习实战-系列教程3：线性回归21、整体流程简介拿到数据data数据预处理操作（归一化、标准化）怎么样的x和k组合能够更加准确的拟合出真实值使用梯度下降算法
机器学习杨卓越·2023-09-08 05:29

逻辑回归

假设：使用极大似然法来估计模型参数：其对数似然函数为：对求极大值，得到的估计值通常使用梯度下降法和你牛顿法求解
菜鸟learn编程·2023-09-08 03:19

机器学习--随机梯度下降算法

对于样本数量额非常之多的情况，BatchGradientDescent（批量梯度下降）算法会非常耗时，因为每次迭代都要便利所有样本，可选用StochasticGradientDescent算法，需要注意外层循环
IT满仓·2023-09-07 19:42

深度学习中的batch（batch size，full batch，mini batch， online learning）、iterations与epoch

概念引入我们已知在梯度下降中需要对所有样本进行处理过后然后走一步，那么如果我们的样本规模的特别大的话效率就会比较低。
xys430381_1·2023-09-07 13:16

深度学习面试八股文（2023.9.06持续更新）

批梯度下降（Batchgradientdescent）：遍历全部数据集算一次损失函数，计算量开销大，计算速度慢，不支持在线学习。
完美屁桃·2023-09-07 13:43

机器学习：基于梯度下降算法的逻辑回归实现和原理解析

Sigmoid函数逻辑回归损失函数梯度下降逻辑回归定义逻辑函数线性组合模型训练决策边界了解逻辑回归：从原理到实现什么是逻辑回归？
是一个Bug·2023-09-07 06:14

【数学建模竞赛】优化类赛题常用算法解析

模型分析和求解方法选择：对建立的数学模型进行分析，可以使用数学工具和方法，例如最优化算法、梯度下降法、遗传算法、模拟退火等。根据问题的性质和模型的特点，选择适当的优化方法来求解问题。
CaojunjiaOnly·2023-09-06 23:08

[machine learning]神经网路初步 basic neural network

这一篇写的很差....我会找时间慢慢补充的1.神经网络是什么在上一篇关于逻辑回归的博客中,简单介绍了逻辑回归模型,对于监督学习来说,模型可以理解为一个模块/函数,在足够的数据训练以后,通过梯度下降等手段进行拟合
ViceMusic5·2023-09-06 17:52

机器学习：基于梯度下降算法的线性拟合实现和原理解析

机器学习：基于梯度下降算法的线性拟合实现和原理解析线性拟合梯度下降算法步骤算法实现数据可视化（动态展示）应用示例当我们需要寻找数据中的趋势、模式或关系时，线性拟合和梯度下降是两个强大的工具。
是一个Bug·2023-09-06 17:21

机器学习笔记之最优化理论与方法(七)无约束优化问题——常用求解方法(上)

机器学习笔记之最优化理论与方法——基于无约束优化问题的常用求解方法[上]引言总体介绍回顾：线搜索下降算法收敛速度的衡量方式线性收敛范围高阶收敛范围二次终止性朴素算法：坐标轴交替下降法最速下降法(梯度下降法
静静的喝酒·2023-09-06 16:17

Day 1 线性回归；Softmax与分类模型、多层感知机

首先，Task1是线性回归；Softmax与分类模型、多层感知机线性回归与梯度下降模型  这里给出的是关于房价预测的模型，我大学的时候做数学建模，用SAS曾经跑过这个model，是关于租房买房的可行性探究
Crystality·2023-09-06 16:26

python深度学习 花卉识别（整套工程）

使用前向传播算法来获得预测值,再用损失函数表示计算预测值和正确答案之间的差距,使用反向传播算法和梯度下降算法来
单片机探索者bea·2023-09-06 13:48

机器学习(吴恩达第一课)

Supervisedlearning)1、回归(Regression)2、分类(Classification)3、无监督学习(Unsupervisedlearning)4、线性回归模型5、代价函数6、梯度下降
Think-killer·2023-09-05 15:04

机器人中的数值优化（十）——线性共轭梯度法

主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等，本系列文章篇数较多，不定期更新，上半部分介绍无约束优化，下半部分介绍带约束的优化，中间会穿插一些路径规划方面的应用实例  十二、线性共轭梯度法
慕羽★·2023-09-05 09:28

Connecting Test Time Predictions to Training Patterns via Spotlights of Attention

重新审视神经网络的对偶形式：通过注意力焦点将测试时间预测与训练模式联系起来摘要1引言2前言3梯度下降训练神经网络中线性层的对偶形式4相关工作5实验6
UnknownBody·2023-09-05 09:48

modernC++手撸任意层神经网络22前向传播反向传播&梯度下降等23代码补全的例子0901b

以下神经网络代码,请添加输入:{{1,0},{1,1}},输出{1,0};添加反向传播,梯度下降等训练!
aw344·2023-09-05 05:37

提示学习 | Prompt-Tuning这么好用？

prompt-tuning的核心思想就是嵌入一小段文本，比如对于文本分类任务，将其转变成填空任务，还有就是构建个映射器(verbalizer)可以在label和word之间相互映射，verbalizer是人工精妙设计的且用梯度下降学
zenRRan·2023-09-05 05:05

微积分学习笔记：梯度 & 梯度下降

最近流行说：“万物皆可盘”，站在数学的角度，我更喜欢另外一句“万物皆可微”。不知道怎么计算一个圆的面积，可以把它切割成无数个相等的三角形（形成一个内接正多边形），来无限逼近圆本身。不知道如何入手开始一个项目，可以WBS，不停的breakdown，把一个框架拆解成更小的任务和可交付单元。和任何一个其他数学概念一样，诞生之初，都是为了解决某些实际生活中的问题，了解到概念之后，也应该回归到应用之上来深化
进击の糖炒栗子·2023-09-04 22:20

为了搞清深度学习的随机梯度下降我复习了下微积分

在学习深度学习时遇到了个新名词：随机梯度下降－－可以想象把一个篮球扔到群山之中，让它自由滚动，直到滚动到最低点．找最低点的过程也是机器学习模型训练的过程．对于篮球来说在现实世界中有万有引力会牵引它走向最地点
一个不安分的程序员·2023-09-04 22:20

转载自http://www.cnblogs.com/pinard/p/5970503.html---梯度下降讲解

梯度下降（GradientDescent）小结在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（GradientDescent）是最常采用的方法之一，另一种常用的方法是最小二乘法。
_codedreamer·2023-09-04 22:49

统计机器学习 -- 目录

scalemixturepisribarinjeffreypriorstatisticinterenceLaplace变换多元分布定义概率变换jacobianwedgeproduction统计量多元正态分布Wishart分布矩阵元Beta分布统计量充分统计量指数值分布共轭先验性质
雪茸川·2023-09-04 21:03

构建机器学习项目

如果例子的效果不理想，你的脑海里会涌现出很多提升准确率的思路：1.收集更多的数据2.增大训练样本多样性3.使用梯度下降法训练更长的时间4.换一种优化算法，比如Adam算法5.尝试更复杂或更简单的神经网络
带刺的小花_ea97·2023-09-04 19:15

【人工智能】—_神经网络、前向传播、反向传播、梯度下降、局部最小值、多层前馈网络、缓解过拟合的策略

神经网络、前向传播、反向传播文章目录神经网络、前向传播、反向传播前向传播反向传播梯度下降局部最小值多层前馈网络表示能力多层前馈网络局限缓解过拟合的策略前向传播是指将输入数据从输入层开始经过一系列的权重矩阵和激活函数的计算后
Runjavago·2023-09-04 13:24

梯度下降算法入门

提到梯度下降我们知道梯度下降算法是很多机器学习算法、深度学习算法的基础。
wa的一声哭了·2023-09-04 11:47

关于凸优化与机器学习理解笔记

梯度下降法和牛顿法等基于导数作为判断依据的优化算法，找到的都是导数为0的点，但是梯度为0只是取得极值的必要条件而非充分条件。
淘尽黄沙后·2023-09-04 10:52

深入探讨梯度下降：优化机器学习的关键步骤（二）

文章目录引言eta参数的调节sklearn中的梯度下降引言承接上篇，这篇主要有两个重点，一个是eta参数的调解；一个是在sklearn中实现梯度下降在梯度下降算法中，学习率（通常用符号η表示，也称为步长或学习速率
小馒头学python·2023-09-03 20:27

matlab解方程 中det,matlab中det函数

diaryMatlab指令窗文本内容记录diff数值差分、符号微分digits符号计算中设置符号数值的精度dir......MATLAB中矩阵常用的操作函数1.zeos:生成零矩阵2.ones:生成1...则A'是共轭转置行列式
利益第三人·2023-09-03 20:24

深入探讨梯度下降：优化机器学习的关键步骤（一）

文章目录引言什么是梯度下降？损失函数梯度(gradient)梯度下降的工作原理梯度下降的变种随机梯度下降（SGD）批量梯度下降（BGD）小批量梯度下降（Mini-BatchGD）如何选择学习率？
小馒头学python·2023-09-03 09:08

用现代C++构建前反向传播神经网络(backpropagation Neural Network)230829a

这个例子也包括了基本的梯度下降优化,要求实现异或xor的神经网络,要求输入数据有四组{1,0}、{0,1}、{1,1}、{0,0}，训练目标数据target也有四个{1}、{1}、{0}、{0}……
aw344·2023-09-03 07:37
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他