梯度下降算法

梯度下降系列博客：3、批量梯度下降代码实战

梯度下降系列博客：1、梯度下降算法基础梯度下降系列博客：2、梯度下降算法背后的数学直觉梯度下降系列博客：3、批量梯度下降代码实战梯度下降系列博客：4、小批量梯度下降算法代码实战梯度下降系列博客：4、随机梯度下降算法代码实战介绍
猛男技术控·2023-02-07 11:31

Xavier参数初始化方法和Kaiming参数初始化方法详细介绍及其原理详解

相关文章梯度下降算法、随机梯度下降算法、动量随机梯度下降算法、AdaGrad算法、RMSProp算法、Adam算法详细介绍及其原理详解反向传播算法和计算图详细介绍及其原理详解激活函数、Sigmoid激活函数
IronmanJay·2023-02-07 11:59

机器学习之神经网络

神经网络神经网络介绍梯度下降算法前馈神经网络感知器BP神经网络反馈神经网络自组织神经网络神经网络介绍传统神经网络结构比较简单，训练时随机初始化输入参数，并开启循环计算输出结果，与实际结果进行比较从而得到损失函数
legendaryhaha·2023-02-07 08:31

线性回归 (Linear Regression)

(costfunction)1.4梯度(gradient)1.5批梯度下降(batchgradientdescent)1.6随机梯度下降(stochasticgradientdescent)1.7关于梯度下降算法的更多讨论
阿涵·2023-02-07 08:21

梯度算法c语言拟合函数,基于梯度下降的曲线拟合

背景7月份的时候导师布置了个作业，他给了一条用程序生成的曲线，然后让我们用代码实现一个梯度下降算法来拟合曲线。具体要求:data.csv文件中包含两列用逗号分隔的数据。第一列是x，第二列是y。
小泉水·2023-02-07 07:00

梯度下降算法

梯度下降算法概念梯度下降的基本过程就和下山的场景很类似。首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。
NongfuSpring-wu·2023-02-06 17:40

Logistic回归-分类模型和梯度下降算法

Logistic回归1.Logistc回归模型回归：用一条直线对给定数据进行拟合(最佳拟合直线)Logistic回归：根据现有数据对分类边界建立回归方程，以此直线进行分类给定数据集\([(x_{1},y_{1}),(x_{2},y_{2}),…,(x_{m},y_{m})]\)，每个样本x有d个属性\(x=[x_{1},x_{2},…,x_{d}]\)。对于给定数据集，该数据集的线性拟合公式为：f
从锅里爬·2023-02-06 17:08

反向传播算法(另梯度下降算法）笔记

反向传播算法（另梯度下降算法）定义算法推导一个具体的前向传播和反向传播算法的例子mse(均方误差）另两个问题梯度下降算法梯度数学解释梯度要乘以一个负号单变量函数的梯度下降多变量函数的梯度下降反向传播具体例子
梵魉·2023-02-06 17:37

神经网络与深度学习笔记（一）梯度下降算法

1、定义一个代价函数w表示所有的网络中权重的集合n是训练输入数据的个数a是表示当输入为x时输出的向量求和则是在总的训练输入x上进行的C称为二次代价函数;有时也称被称为均方误差或者MSE2、C我们训练神经网络的目的是找到能最小化二次代价函数C(w,b)的权重和偏置假设我们要最小化某些函数，C(v)。它可以是任意的多元实值函数，v=v1,v2,…。注意我们用v代替了w和b以强调它可能是任意的函数——我
dsjdjsa·2023-02-06 17:35

梯度下降算法——theta参数更新公式的数学理解

（notice：粗体以示向量）一、引出算法在学习LinearRegression算法时，经典案例就是房价预测。在通过一系列预处理操作后，得到一个带有特征变量xxx和可学习参数θ\thetaθ的假设函数:hθ(x)=θ0+θ1x1+θ2x2h_\theta(\textbf{x})=\theta_0+\theta_1{x_1}+\theta_2{x_2}hθ(x)=θ0+θ1x1+θ2x2一般式：hθ
书浅_·2023-02-06 17:03

梯度下降系列博客：2、梯度下降算法背后的数学直觉

推导均方误差的梯度下降算法梯度下降系列博客：梯度下降算法基础梯度下降算法背后的数学直觉（你在这里！）
猛男技术控·2023-02-06 17:30

梯度下降系列博客：1、梯度下降算法基础

梯度下降系列博客：梯度下降算法基础（你在这里！）梯度下降算法背后的数学直觉梯度下降算法及其变体梯度下降系列的动机：如今，可以使用众多Python包中的一个来实现大多数机器学习算法。
猛男技术控·2023-02-06 16:49

梯度下降优化算法整理：SGD、AdaGrad、RMSProp、Momentum、Adam

深度学习在执行梯度下降算法时，通常会面临一系列的问题。如陷入localminimun、saddlepoint，训练很慢或不收敛等诸多问题。
汐梦聆海·2023-02-06 13:44

【人工智能与深度学习】算法优化一：梯度下降算法和自适应优化算法

【人工智能与深度学习】算法优化一：梯度下降算法和自适应优化算法梯度下降优化算法梯度下降随机梯度下降小批次处理动量直观实用指南为什么动量有用？
王子王子聪·2023-02-06 08:58

OpenMMLab Day03

MMClassification图像分类工具包使用环境配置文件说明深度学习模型的训练涉及几个方面：模型结构：模型有几层、每层多少通道数等等数据集：用什么数据训练模型：数据集划分、数据文件路径、数据增强策略等等训练策略：梯度下降算法
kongqi404·2023-02-05 09:07

Lesson 4.6 逻辑回归的手动实现

逻辑回归损失函数的梯度计算表达式二、创建分类数据集生成器1.手动创建分类数据2.创建分类数据生成器三、逻辑回归的手动实现四、逻辑回归的分类性能瓶颈与算法评价讨论完梯度下降的相关内容之后，接下来我们尝试使用梯度下降算法求解逻辑回归损失函数
虚心求知的熊·2023-02-05 03:32

梯度下降算法c语言描述,（随机）梯度下降算法

我们搞清楚了补充一下随机梯度下降算法的英文：StochasticGradientDescent，简写为SGD。如何来理解梯度下降？
weixin_39921689·2023-02-05 01:51

神经网络基础部件-参数初始化详解

一，参数初始化概述我们知道神经网络模型一般是依靠随机梯度下降优化算法进行神经网络参数更新的，而神经网络参数学习是非凸问题，利用梯度下降算法优化参数时，网络权重参数的初始值选取十分关键。
嵌入式视觉·2023-02-05 01:20

随机梯度下降法的数学基础

梯度是微积分中的基本概念，也是机器学习解优化问题经常使用的数学工具（梯度下降算法）。因此，有必要从头理解梯度的来源和意义。
嵌入式视觉·2023-02-05 01:50

Open-mmlab学习笔记 D2

模型学习的方式主要有监督学习（损失函数、随机梯度下降算法、视觉模型常用训练技巧）与自监督学习。监督学习指基于标注数据
weixin_56985645·2023-02-04 07:13

＜OpenMMLab实战营第一讲＞计算机视觉与OpenMMLab

算法框架介绍三、机器学习和神经网络简介机器学习的基本流程（以分类器问题为例）：多分类任务：四、神经网络的训练神经网络的训练损失函数L1损失：平方损失：交叉熵损失（Cross-EntropyLoss）：梯度下降算法
努力码代码的菜鸟·2023-02-03 15:34

计算机视觉之图像分类算法基础

2.模型学习：监督学习：基于标注数据学习，损失函数，随机梯度下降算法，视觉模型常用训练技巧。自监督学习：基于无标注的数据学习。
weixin_42837310·2023-02-03 14:51

AI基础实战营第一课打卡笔记

OpenMMLab1.0和2.0的简单介绍及其优点通用，开放统一，灵活，迭代机器学习相关内容监督学习，无监督学习，强化学习神经网络的介绍及其训练如何衡量神经网络性能，损失函数如何调整优化等问题，介绍了梯度下降算法卷积神经网络介绍了卷积层
z_whiskey·2023-02-03 08:52

卷积神经网络（CNN）

BP神经网络简介信息的正向传播与误差的反向传播梯度下降算法修正权值收敛慢，冗余，过拟合卷积神经网络存在包含卷积层与子抽样层的特征抽取器，整个网络由三部分组成：输入层(INPUT)，n个卷积层与子抽样层（
_不知年·2023-02-03 01:10

机器学习笔记（15）— 基本概念batch、batchsize、epoch、iteration

深度学习中的优化算法就是梯度下降算法，通过该算法来进行参数的优化，参数的优化过程是通过计算损失函数来实现的。但是计算损失函数时如果每次都遍历整个数据集，会影响运行效率。
开门儿大弟子·2023-02-02 08:23

Overcoming Challenges in Fixed Point Training of Deep Convolutional Networks

随机梯度下降算法由于存在数值精度有限的算术而导致出现噪声的梯度更新时变得不稳定。随机进位是一种易于接受的解决方案，它可以帮助训练低精度定点网络。
侯俊同学·2023-02-02 04:14

在 PyTorch 中使用梯度检查点在GPU 上训练更大的模型

并且由于梯度下降算法的性质，通常较大的批次在大多数模型中会产生更好的结果，但在大多数情况下，由于内存限制，我们必须使用适应GPU显存的批次大小。本文将介
·2023-02-01 12:16

PyTorch搭建神经网络求解二分类问题

PyTorch搭建全连接神经网络求解二分类问题在求解线性回归问题的时候，我们已经学习了如何使用梯度下降算法来不断更新权重矩阵，使误差函数不断减小，这一节我们将使用PyTorch搭建一个简单的神经网络来求解二分类问题
哈尔查理斯·2023-01-31 10:28

《机器学习》阅读笔记 第五章

神经网络的本质是回归模型反向传播算法跳出局部极小点防止过拟合其它神经网络神经网络的本质是回归模型神经网络的本质是一个多次线性组合+非线性变换的回归模型每一层神经元构成线性组合到下一层的激活函数构成非线性变换输出层的结果与真实结果比较，得到误差函数分类常用交叉熵损失回归常用均方误差反向传播算法反向传播算法算法的基础是一阶梯度下降算法用损失函数对每一层的参数求导
Golden_Baozi·2023-01-31 07:05

多特征线性回归梯度下降算法的matlab实现

文章目录数据导入特征值归一化添加x0x_0x0项梯度下降预测刚做完吴恩达的作业，毕竟是第一个机器学习算法，不发一下对不起自己数据导入%LoadDatadata=load('ex1data2.txt');X=data(:,1:2);y=data(:,3);m=length(y);%Printoutsomedatapoints%First10examplesfromthedatasetfprintf(
ShadyPi·2023-01-30 17:41

梯度下降算法_梯度下降算法中的偏导公式推导

前言：最近在跟着吴恩达老师(AndrewNg)的视频课程学习机器学习，该视频是2014年拍的，虽然有点老，但理论却并不过时，是非常经典的机器学习入门教程，也正是因为这是入门教程，所以视频中的有些数学知识只给出了结论却未进行推导，这对于入门来说再适合不过了，但如果想深入学习机器学习理论和算法就得对那些数学公式的来龙去脉有比较清楚的认识。所以随着学习的深入，我不知道为什么的地方也越来越多，所以我决定先
weixin_39882948·2023-01-30 12:02

梯度下降法推导

梯度下降法简单的来说就是一种寻找最小值的点的方法，是机器学习和深度学习中常用的优化器，具体又可分为批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（MBGD），本文不对这些问题做讨论只是从数学角度来推导神经网络中的数学武器：梯度下降算法
废话会浪费话费·2023-01-30 12:29

梯度下降算法学习总结——机器学习

目录1.引言1.1算法的个人印象1.2为什么用这个算法2.梯度下降算法2.1场景设定2.2梯度下降2.2.1梯度2.2.2梯度指出了定点上升的最快方向2.3数学解释2.3.12.3.2η2.3.3怎么停下来
图灵的加菲·2023-01-30 12:53

梯度下降算法学习心得

梯度下降算法学习心得分为深度和非深度两种一.非深度损失函数定义为方差函数：loss=1/2(y-h)^2参数更新部分的代码需要手撕，每个参数同时但是单独更新，梯度是用上次更新的所有θ和样本数据计算得来的
Chary_df·2023-01-30 12:19

深度学习进阶课程02---神经网络基本结构及梯度下降算法

这篇文章继续介绍神经网络基本结构及其中最重要的一个算法，梯度下降算法1.神经网络结构：以上是神经网络的基本结构，分别是输入层，隐藏层，输出层从输入层开始，每个神经元输入值*权重，求和后到隐藏层，再经过非线性转换等一系列变化
多欢喜 ·2023-01-30 11:55

深度学习的训练流程（前向传播，损失函数，优化器，反向传播更新w和b）

所以我们求极小值点就可以方法：使用梯度下降算法（梯度指函数在该点处沿着该方向增长最快，那么我们沿着梯度的反方向，就可以使该函数在该点出下降最快）为了使w和b
【 变强大 】·2023-01-30 05:39

深度学习中的各种优化算法

深度学习中的各种优化算法梯度下降算法：Momentum动量法、AdaGrad算法、RMSProp算法和Adam算法
雍容雅郑·2023-01-30 02:17

Pytorch之波士顿房价预测

Pytorch之波士顿房价预测一、包库准备importtorchimporttorch.nnasnn#帮助我们创建和训练神经网络fromtorch.optimimportSGD#导入实现随机梯度下降算法
殇小气·2023-01-29 14:49

Lesson 4.3 梯度下降（Gradient Descent）基本原理与手动实现

文章目录一、梯度下降基本原理与学习率1.数据背景与最小二乘法求解2.一维梯度下降基本流程2.1参数移动第一步2.2梯度下降的多轮迭代3.梯度下降算法特性与学习率二、梯度下降一般建模流程与多维梯度下降1.
虚心求知的熊·2023-01-29 13:31

【动手学深度学习】反向传播+神经网络基础

学习资料：[5分钟深度学习]#02反向传播算法_哔哩哔哩_bilibili4.7.前向传播、反向传播和计算图—动手学深度学习2.0.0documentation(d2l.ai)[5分钟深度学习]#01梯度下降算法
Ya_nnnG·2023-01-29 09:24

【PyTorch深度学习实践】深度学习之线性模型和梯度下降算法

本章中我们先从最简单的线性模型和梯度下降算法讲起。一、线性模型这里我们以一个最简单的线性模型为例y=w*x，x为输入值，y为实际值w为权重，图中给了
今天又干了些什么呢·2023-01-29 07:31

PyTorch深度学习-03梯度下降（快速入门）

目录1.GradientDescent(梯度下降)1.1OptimizationProblem(优化问题)1.2GradientDescentalgorithm(梯度下降算法)1.2.1Gradient
璞玉牧之·2023-01-29 07:52

【Pytorch学习笔记】003--梯度下降算法

1.引入由【Pytorch学习笔记】002—线性模型。在简化目标函数为不含常数项的线性方程后，我们需要在w-cost曲线图中寻找一个最优的w值使得cost最小。但是当目标函数存在两个变量w、b，即含有常数项的线性方程，我们就需要在曲面中寻找一个使得cost最小的一个点。并且当多维（即多个参数）的情况下会引起维度诅咒问题。导致问题不可解，因此我们需要对该类问题进行改进。穷举法：设定未知参数在一个范围
沉潜于·2023-01-28 10:47

线性回归及正则化总结，python实现，非sklearn

线性回归有最小二乘法和梯度下降算法两种基本方法求解，最
一只程序猿林·2023-01-28 10:39

3 梯度下降算法

文章目录问题方法穷举法分治法梯度下降算法梯度梯度下降算法课程代码随机梯度下降算法批量梯度下降（mini-batch）课程来源：链接其他觉得别人总结的比自己好，采用之的：链接以及BirandaのBlog！
Micoreal·2023-01-28 10:08

第五章 模型和训练 | 多智能体强化学习

第五章模型和训练1、多智能体强化学习为什么需要多智能体（multi-agent）学习梯度下降算法寻优方法类似从山顶放置小球向下滚，希望寻找最快最好的路径，到达最低的谷底。
阿岛格·2023-01-28 07:45

#吴恩达· 机器学习笔记（④ 多元梯度下降及正规方程）

DAY7多特征之前的视频是关于一个特征变量的（房屋面积对应房价）现在除了房屋面积还有诸如卧室数量、楼层数量等一系列的影响因素相较于传统的假设，现在的假设式如下：多元线性回归假设模型：多元梯度下降算法更新后的代码如下
人生苦短我愛Python·2023-01-27 14:11

python 机器学习之（影厅观影人数的预测）多参数线性回归的梯度下降算法

影响影厅观影人数的因素可能有很多种，本次提取三种（影厅的大小，电影口碑，影院排片）来预测影厅观影人数的多少importpandasaspd#导入pandas库importnumpyasnp#导入numpy库importmatplotlib.pyplotasplt#导入matplotlib库df=pd.read_csv('d:/3_film.csv')#打开文件df.insert(1,'one',1
瑟瑟发抖小菜鸟·2023-01-27 12:39

机器学习（五）logistic回归进行二分类以及多分类（Python代码）

1.1前言1.2目的1.3流程1.4Sigmoid函数1.4.1公式1.4.2图像1.5优缺点2.最优化方法2.1梯度上升算法2.1.1梯度公式2.1.2例子2.1.3迭代公式2.1.4训练步骤2.2梯度下降算法
yunggemmy·2023-01-26 14:19

梯度下降算法有哪些？有什么区别？【背景、原理、公式、代码】

一、梯度下降算法背景梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。
Emiliano Martínez·2023-01-26 13:41
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他