共轭梯度下降

PyTorch深度学习实践---笔记

PyTorch深度学习实践---笔记2.线性模型（LinearModel）2.exercise3.梯度下降算法（GradientDescent）3.1梯度下降（GradientDescent）3.2随机梯度下降
努力向前的JF（s1hjf）·2023-08-18 19:25

感知机模型(Perceptron)详细解读 | 统计学习方法学习笔记 | 数据分析 | 机器学习

本文包括：1.走近感知机-感知机与童话2.重要概念3.感知机模型的数学形式4.构建感知机的损失函数5.如何取得损失函数最小值-随机梯度下降法6.感知机模型对偶形式Python复现，使用了随机梯度下降法，
舟晓南·2023-08-18 07:56

神经网络中的神经元

神经网络中的神经元神经元数学模型非线性函数和梯度下降神经元数学模型人工神经网络是一个用户大量简单处理单元经广泛链接而成的人工网络,是对人脑的神经网络的抽象和模拟.我们知道,人脑的神经系统的基本的单位是神经元
bobasyu·2023-08-18 01:04

基于灰狼优化（GWO）、帝国竞争算法（ICA）和粒子群优化（PSO）对梯度下降法训练的神经网络的权值进行了改进（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述在神经网络训练中，使用传统的梯度下降法可能会受到局部极值问题的影响，导致训练结果不够稳定或收敛速度较慢。
然哥依旧·2023-08-17 23:23

PyTorch训练简单的生成对抗网络GAN

GAN的梯度下降训练过程：上图来源：https://arxiv.org/abs/1406.266
阿正的梦工坊·2023-08-17 18:39

Task07：优化算法进阶；word2vec；词嵌入进阶

首先回顾下前面的知识点梯度下降的迭代公式如下其中是待训练的网络参数，是学习率（有时也用表示），是一个常数，是梯度。
Crystality·2023-08-17 16:45

复数

组合实部和虚部复数加法的几何解释总结复数减法1.减实部2.减虚部3.组合实部和虚部复数减法的几何解释总结复数乘法1.展开乘法2.使用i2=−1i^2=-1i2=−13.合并实部和虚部复数乘法的几何解释总结复数除法1.求除数的共轭
-_Matrix_-·2023-08-17 08:20

神经网络基础-神经网络补充概念-23-神经网络的梯度下降法

概念神经网络的梯度下降法是训练神经网络的核心优化算法之一。它通过调整神经网络的权重和偏差，以最小化损失函数，从而使神经网络能够逐渐逼近目标函数的最优值。
丰。。·2023-08-17 07:26

特征缩放与学习速率

在多项特征中，有可能遇到x1的范围在1~10，而x2的范围在5000~100000，此时由于x1与x2的范围相差太大，会减慢代价函数的梯度下降求极小值，所以我们要对特征进行缩放（FeatureScaling
马光98·2023-08-17 01:19

【Sklearn】基于随机梯度下降算法的数据分类预测（Excel可直接替换数据）

【Sklearn】基于随机梯度下降算法的数据分类预测（Excel可直接替换数据）1.模型原理2.模型参数3.文件结构4.Excel数据5.下载地址6.完整代码7.运行结果1.模型原理随机梯度下降（StochasticGradientDescent
敲代码两年半的练习生·2023-08-16 19:24

利用matlab实现无约束最优化方法

目录1.最速下降法2.加速梯度法——最速梯度下降法的改进3.Newton法-----多维4.阻尼Newton法5、FR共轭梯度法6、变尺度法---DFP算法1.最速下降法最速下降法-----两个特征：1
小白要努力sgy·2023-08-16 16:48

通俗讲解-动量梯度下降法原理与代码实例

本站原创文章，转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com目录一.动量梯度下降法介绍1.1动量梯度下降法简介与思想1.2动量梯度下降法的算法流程二.动量梯度下降法代码实例2.1动量梯度下降法实例代码一
老饼讲解-BP神经网络·2023-08-16 14:39

机器学习：线性回归

文章目录什么是线性回归代价函数NormalEqution梯度下降（GradientDescent）数据归一化多元线性回归（multivariatelinearregression）多用线性回归求解岭回归
一个小猴子｀·2023-08-16 12:31

线性回归

损失函数预测值与真实值之间的误差有了目标函数，如何优化使用优化算法：随机梯度下降，重点是梯度下降的方向和学习率总结一下，优化函数的有以下两个步骤：1.初始化模型参数，一般来说使用随机初始化；2.我们在数据上迭代多次
留下的脚印·2023-08-16 02:04

神经网络基础-神经网络补充概念-08-逻辑回归中的梯度下降算法

概念逻辑回归是一种用于分类问题的机器学习算法，而梯度下降是优化算法，用于更新模型参数以最小化损失函数。在逻辑回归中，我们使用梯度下降算法来找到最优的模型参数，使得逻辑回归模型能够更好地拟合训练数据。
丰。。·2023-08-15 17:53

神经网络基础-神经网络补充概念-09-m个样本的梯度下降

概念当应用梯度下降算法到具有m个训练样本的逻辑回归问题时，我们需要对每个样本计算梯度并进行平均，从而更新模型参数。这个过程通常称为批量梯度下降（BatchGradientDescent）。
丰。。·2023-08-15 17:23

神经网络基础-神经网络补充概念-04-梯度下降法

概念梯度下降法是一种常用的优化算法，用于在机器学习和深度学习中更新模型参数以最小化损失函数。它通过迭代地调整参数，沿着损失函数的负梯度方向移动，从而逐步逼近损失函数的最小值。
丰。。·2023-08-15 17:51

基于灰色神经网络的订单需求预测代码

(2)利用误差平方和负梯度下降原理进行阈值和权值修正，使误差平方和小于目标值。(3)利用灰色
然哥依旧·2023-08-15 08:42

第10周 | 斯坦福 CS229 机器学习

文章目录前言第10周十七、大规模机器学习(LargeScaleMachineLearning)17.1大型数据集的学习17.2随机梯度下降法17.3小批量梯度下降17.4随机梯度下降收敛17.5在线学习
ReturnTmp·2023-08-14 15:33

回归与聚类算法————线性回归

目录1，线性回归2，线性模型3、线性回归的损失和优化原理3.1损失函数3.2优化算法正规方程梯度下降GradientDescent3.3回归性能评估4，波士顿房价预测案例5，两种优化算法的对比6，其他优化方法
荷泽泽·2023-08-14 08:59

反向传播算法

既然是反向传播，说明对于参数的调整是从最后一层开始的，根据梯度下降算法：问题在
若_6dcd·2023-08-14 07:00

机器学习---梯度下降代码

1.归一化#Readdatafromcsvpga=pd.read_csv("pga.csv")print(type(pga))print(pga.head())#Normalizethedata归一化值(x-mean)/(std)pga.distance=(pga.distance-pga.distance.mean())/pga.distance.std()pga.accuracy=(pga.a
三月七（爱看动漫的程序员）·2023-08-14 05:44

【机器学习 | 数据预处理】 提升模型性能，优化特征表达：数据标准化和归一化的数值处理技巧探析

希望大佬带带）该文章收录专栏[✨—《深入解析机器学习：从原理到应用的全面指南》—✨]数据标准化和归一化在使用梯度下降算法进行模型训练时，对输入特征
计算机魔术师·2023-08-14 05:43

神经网络中验证集、训练集和测试集

验证集并没有参与训练过程中的梯度下降过程，狭义上来讲就是不参与反向传播过程中的参数更新。
gyqJulius_Caesar·2023-08-14 05:10

深度学习笔记—模型优化

会受到目标函数的某些特征带来的挑战2)每次训练迭代，导致参数的改变，需要进行重新计算导致→只有参数很少的网络才能在实际中用牛顿法来训练还有，当目标函数的表面非常凸，如有鞍点的情况→使用牛顿法会有问题2.共轭梯度最速下降方法有什么弱点
no_repeat·2023-08-13 22:28

深度学习基础知识笔记

深度学习要解决的问题1深度学习要解决的问题2应用领域3计算机视觉任务4视觉任务中遇到的问题5得分函数6损失函数7前向传播整体流程8返向传播计算方法1梯度下降9神经网络整体架构11神经元个数对结果的影响12
longerVR·2023-08-13 11:22

Linear Regression（2018-05-03）

线性回归用于预测，以及建立变量之间是否有关系找损失方程解有两种方法第一种，标准方程normalequationimage.pngimage.png第二种，梯度下降GradientDescent针对凸方程和非凸方程的梯度下降若是凸方程
叨逼叨小马甲·2023-08-13 06:18

2018-10-26 gradient descend

一、gradientdescend的应用场景问题最小化L,求对应的参数：求最小L值时的参数方法：梯度下降，如下：gradientdescend公式二、多参数情况下的gradientdescend，使用可变
昊昊先生·2023-08-13 01:19

基于灰狼优化（GWO）、帝国竞争算法（ICA）和粒子群优化（PSO）对梯度下降法训练的神经网络的权值进行了改进（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述在神经网络训练中，使用传统的梯度下降法可能会受到局部极值问题的影响，导致训练结果不够稳定或收敛速度较慢。
长安程序猿·2023-08-12 22:26

5.利用matlab完成 符号矩阵的转置和 符号方阵的幂运算（matlab程序）

返回A的非共轭转置，即每个元素的行和列索引都会互换。如果A包含复数元素，则A.'不会影响虚部符号。例如，如果A(3,2)是1+2i且B=A.'，则元素B(2,3)也是1+2i。
素馨堂·2023-08-12 08:43

机器学习笔记之优化算法(十三)关于二次上界引理

机器学习笔记之优化算法——关于二次上界引理引言回顾：利普希兹连续梯度下降法介绍二次上界引理：介绍与作用二次上界与最优步长之间的关系二次上界引理证明过程引言本节将介绍二次上界的具体作用以及它的证明过程。
静静的喝酒·2023-08-11 20:41

机器学习笔记值优化算法(十四)梯度下降法在凸函数上的收敛性

机器学习笔记之优化算法——梯度下降法在凸函数上的收敛性引言回顾：收敛速度：次线性收敛二次上界引理梯度下降法在凸函数上的收敛性收敛性定理介绍证明过程引言本节将介绍梯度下降法在凸函数上的收敛性。
静静的喝酒·2023-08-11 20:10

[深度学习]note for Machine Learning: An Algorithmic Perspective, Second Edition（Ch04-Ch06）【日常更新】

4.1前向4.1.1偏置4.2后向：误差的反向传播4.2.1多层感知器算法4.2.2初始化权重4.2.3不同的输出激活函数4.2.4顺序和批量训练4.2.5局部最小4.2.6利用冲量4.2.7小批量和随机梯度下降
LiongLoure·2023-08-11 15:44

黑马机器学习day3

1.线性回归1.1线性回归的原理线性关系非线性关系1.2线性回归的损失和优化原理目标：求模型参数，模型参数能够使预测准确1损失函数2优化方法正规方程：直接求解W梯度下降：试错，改进1.3线性回归API1
每天学一点q·2023-08-11 09:12

深度学习中训练、推理和验证分别都是什么意思

在训练阶段，模型接收训练数据集（包括输入特征和相应的标签或目标值），并使用优化算法（如梯度下降）来调整模型参数
Env1sage·2023-08-11 02:23

现代C++中的从头开始深度学习：【4/8】梯度下降

在这个故事中，我们将通过引入梯度下降算法来介绍数据中2D卷积核的拟合。我们将使用卷积和上一个故事中引入的成本函数概念，将所有内容编码为现代C++和特征。
无水先生·2023-08-10 15:03

深度学习：使用卷积神经网络CNN实现MNIST手写数字识别

引言本项目基于pytorch构建了一个深度学习神经网络，网络包含卷积层、池化层、全连接层，通过此网络实现对MINST数据集手写数字的识别，通过本项目代码，从原理上理解手写数字识别的全过程，包括反向传播，梯度下降等
智慧医疗探索者·2023-08-10 15:37

混频原理

【嵌牛鼻子】混频原理【嵌牛正文】由傅里叶变换知道，实信号x(t)的傅里叶变换X(w)同时存在正负频率分量，且互为共轭。而复信号则只有单边频率分量，正余弦和复信号的的傅里叶变换频率分量：四
赵小赵的花花世界·2023-08-10 13:25

机器学习笔记之优化算法(十一)梯度下降法：凸函数VS强凸函数

机器学习笔记之优化算法——梯度下降法：凸函数VS强凸函数引言凸函数：凸函数的定义与判定条件凸函数的一阶条件凸函数的梯度单调性凸函数的二阶条件强凸函数强凸函数的定义强凸函数的判定条件强凸函数的一阶条件强凸函数的梯度单调性强突函数的二阶条件引言本节将介绍凸函数
静静的喝酒·2023-08-10 10:01

神经网络原理概述

什么是单层感知器1.3.多层感知机（Multi-LayerPerceptron，MLP）2.激活函数2.1.单位阶跃函数2.2.sigmoid函数2.3.ReLU函数2.4.输出层激活函数3.损失函数4.梯度下降和学习率
铃音.·2023-08-09 20:43

深度学习中的优化算法

文章目录前言一、优化和深度学习1.1优化的目标1.2深度学习中的优化挑战1.2.1局部最小值1.2.2鞍点1.2.3梯度消失二、梯度下降2.1一维梯度下降2.1.1学习率2.2多元梯度下降2.3自适应方法
穆_清·2023-08-09 09:24

吴恩达机器学习笔记（自用）

机器学习算法1.监督学习（SupervisedLearning）2.无监督学习（UnsupervisedLearning）单变量线性回归模型描述（ModelRepresentation）代价函数梯度下降线性回归中的梯度下降凸函数
cosθ·2023-08-09 06:02

Python 中的机器学习简介：多项式回归

本文是关于回归、梯度下降和MSE系列文章的第三篇。前面的文章介绍了简单线性回归、回归的正态方程和多元线性回归。二、多项式回归多项式回归用于最适合曲线拟合的复杂数据。它可以被视为多元线性回归的子集。
无水先生·2023-08-09 05:59

机器学习（15）——优化算法

文章目录前言1梯度下降算法1.1BGD1.2SGD1.3MBGD2基于动量的优化算法2.1基于动量的SGD2.2基于NAG的SGD3自适应优化算法3.1AdaGrad3.2RMSProp3.3Adam4
八岁爱玩耍·2023-08-08 18:41

task6

利用随机梯度下降更新参数时，每次参数更新都会导致网络中间每一层的输入的分布发生改变。越深的层，其输入分布会改变的越明显。
欧飞红·2023-08-08 17:26

深度学习--优化器篇(超保姆级+附代码包含常用各种优化器)

个人通俗理解(仅供参考)：为梯度下降法配置的一个的"领航员"，寻找模型最优解又要避免出现局部最优解，使之能快速高效的达到"目标"以下为使用chatgpt3.5的回答(仅供参考，还挺全乎，直接给我把本文要介绍的优化器优缺点都总结好了
Lian_Ge_Blog·2023-08-08 16:27

《动手学深度学习》优化算法学习&习题

优化算法梯度下降类小批量随机梯度下降，通过平均梯度来减小方差动量法基础泄露平均法：用来取代梯度的计算β\betaβ这个参数控制了取多久时间的平均值上述推理构成了”加速”梯度方法的基础，例如具有动量的梯度
银晗·2023-08-08 12:57

BinaryNet

GradientComputationandAccumulationthereal-valuedgradientsoftheweightsareaccumulatedinreal-valuedvariablesSGD随机梯度下降
王子冠·2023-08-08 04:05

4_回归算法（算法原理推导+实践）

文章目录1线性回归1.1定义1.2题目分析1.3误差项分析1.4目标函数推导1.5线性回归求解1.6最小二乘法的参数最优解2目标函数（loss/costfunction）3模型效果判断4机器学习调参5梯度下降算法
少云清·2023-08-07 21:52

6_回归算法 —欠拟合、过拟合原因及解决方法

正则化的线性回归—Ridge回归1.2.2带有L1正则化的线性回归—LASSO回归1.2.3Ridge（L2-norm）和LASSO（L1-norm）比较1.2.4ElasitcNet2欠拟合3用法（梯度下降
少云清·2023-08-07 21:21
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他