小批量梯度下降

Python 中的机器学习简介：多项式回归

本文是关于回归、梯度下降和MSE系列文章的第三篇。前面的文章介绍了简单线性回归、回归的正态方程和多元线性回归。二、多项式回归多项式回归用于最适合曲线拟合的复杂数据。它可以被视为多元线性回归的子集。
无水先生·2023-08-09 05:59

机器学习（15）——优化算法

文章目录前言1梯度下降算法1.1BGD1.2SGD1.3MBGD2基于动量的优化算法2.1基于动量的SGD2.2基于NAG的SGD3自适应优化算法3.1AdaGrad3.2RMSProp3.3Adam4
八岁爱玩耍·2023-08-08 18:41

task6

利用随机梯度下降更新参数时，每次参数更新都会导致网络中间每一层的输入的分布发生改变。越深的层，其输入分布会改变的越明显。
欧飞红·2023-08-08 17:26

深度学习--优化器篇(超保姆级+附代码包含常用各种优化器)

个人通俗理解(仅供参考)：为梯度下降法配置的一个的"领航员"，寻找模型最优解又要避免出现局部最优解，使之能快速高效的达到"目标"以下为使用chatgpt3.5的回答(仅供参考，还挺全乎，直接给我把本文要介绍的优化器优缺点都总结好了
Lian_Ge_Blog·2023-08-08 16:27

《动手学深度学习》优化算法学习&习题

优化算法梯度下降类小批量随机梯度下降，通过平均梯度来减小方差动量法基础泄露平均法：用来取代梯度的计算β\betaβ这个参数控制了取多久时间的平均值上述推理构成了”加速”梯度方法的基础，例如具有动量的梯度
银晗·2023-08-08 12:57

BinaryNet

GradientComputationandAccumulationthereal-valuedgradientsoftheweightsareaccumulatedinreal-valuedvariablesSGD随机梯度下降
王子冠·2023-08-08 04:05

4_回归算法（算法原理推导+实践）

文章目录1线性回归1.1定义1.2题目分析1.3误差项分析1.4目标函数推导1.5线性回归求解1.6最小二乘法的参数最优解2目标函数（loss/costfunction）3模型效果判断4机器学习调参5梯度下降算法
少云清·2023-08-07 21:52

6_回归算法 —欠拟合、过拟合原因及解决方法

正则化的线性回归—Ridge回归1.2.2带有L1正则化的线性回归—LASSO回归1.2.3Ridge（L2-norm）和LASSO（L1-norm）比较1.2.4ElasitcNet2欠拟合3用法（梯度下降
少云清·2023-08-07 21:21

7_分类算法—逻辑回归

参数求解1.4Logistic回归损失函数1.5LogisticRegression总结2Softmax回归（多分类问题）2.1Softmax算法原理2.2Softmax算法损失函数2.3Softmax算法梯度下降法求解
少云清·2023-08-07 21:20

【水文】基于 MNN 训练能力解方程

训练能力解方程简介许久没上，水篇文章，事由同学想由房贷月还款额推测年利率：月还款额=pow(年利率/12+1,期数)*(年利率/12)*贷款总额/(pow(年利率/12+1,期数)-1)这个方程直接求解感觉比较麻烦，考虑使用梯度下降法
夕阳叹·2023-08-07 19:33

每天五分钟机器学习:梯度下降算法和正规方程的比较

本文重点梯度下降算法和正规方程是两种常用的机器学习算法，用于求解线性回归问题。它们各自有一些优点和缺点，下面将分别对它们进行详细的讨论。
幻风_huanfeng·2023-08-07 08:40

d2l 线性回归的从零开始实现

文章目录线性回归的从零开始实现1.构造人造数据集2.data_iter每次读取一个小批量3.定义初始化模型参数4.定义模型5.定义损失函数6.定义优化算法7.训练过程线性回归的从零开始实现导入需要使用的包数据流水线
树和猫·2023-08-07 02:05

机器学习笔记之优化算法(十)梯度下降法铺垫：总体介绍

机器学习笔记之优化算法——梯度下降法铺垫：总体介绍引言回顾：线搜索方法线搜索方法的方向Pk\mathcalP_kPk线搜索方法的步长αk\alpha_kαk梯度下降方法整体介绍引言从本节开始，将介绍梯度下降法
静静的喝酒·2023-08-06 09:02

PyTorch搭建神经网络

PyTorch版本：1.12.1PyTorch官方文档PyTorch中文文档PyTorch中搭建并训练一个神经网络分为以下几步：定义神经网络定义损失函数以及优化器训练：反向传播、梯度下降下面以LeNet
header-files·2023-08-06 07:05

TensorFlow搭建神经网络

TensorFlow版本：2.13.0TensorFlow官方文档TensorFlow官方文档中文版TensorFlow中搭建并训练一个神经网络分为以下几步：定义神经网络配置损失函数以及优化器训练：反向传播、梯度下降下面以
header-files·2023-08-06 07:05

神经网络概述（四）

这些神经网络通常使用传统的机器学习方法进行训练和优化，例如梯度下降、反向传播等。然而，随着
水枂·2023-08-05 11:47

《PyTorch深度学习实践》

文章目录1.线性模型2.梯度下降算法3.反向传播3.1原理3.2TensorinPyTorch4.用PyTorch实现线性模型5.Logistic回归6.处理多维特征的输入7.加载数据集1.线性模型2.
释怀°Believe·2023-08-05 03:16

【深度学习_TensorFlow】激活函数

写在前面上篇文章我们了解到感知机使用的阶跃函数和符号函数，它们都是非连续，导数为0的函数：建议回顾上篇文章，本篇文章将介绍神经网络中的常见激活函数，这些函数都是平滑可导的，适合于梯度下降算法。
畅游星辰大海·2023-08-05 02:18

【深度学习_TensorFlow】梯度下降

写在前面一直不太理解梯度下降算法是什么意思，今天我们就解开它神秘的面纱写在中间线性回归方程如果要求出一条直线，我们只需知道直线上的两个不重合的点，就可以通过解方程组来求出直线但是，如果我们选取的这两个点不在直线上
畅游星辰大海·2023-08-05 02:46

5/1-3 BP神经网络的改进及MATLAB实现（下）

5/1-3BP神经网络的改进及MATLAB实现（下）文章目录5/1-3BP神经网络的改进及MATLAB实现（下）1.自适应梯度下降法（Adagrad）2.动量法（momentum）1.自适应梯度下降法（
机器学习成长之路·2023-08-04 10:48

每天五分钟机器学习：随着算法迭代次数动态调整学习率

好处当我们运行随机梯度下降时，算法会从某个点开始，然后曲折的逼近最小值，但是不会真正的收敛，而是一直在最小值附近徘徊。因此你最终得到的参数，实际上只是接近全局最小值，而不是真正的全局最小值。
幻风_huanfeng·2023-08-04 08:02

机器学习15 大规模机器学习

17大规模机器学习内容：17.1大型数据集学习17.2随机梯度下降法17.3小批量梯度下降17.4随机梯度下降收敛17.5在线学习17.6映射化简和数据并行17.1大型数据集学习如果我们有一个低方差的模型
黄桃百香果·2023-08-03 17:04

2019-01-29 随机梯度下降中学习速率α

对于随机梯度下降算法，为了检查算法是否收敛，沿用之前定义的cost函数。在算法扫描到样本(x(i),y(i))但在更新参数θ之前，使用这个样本算出这个样本对应的cost函数。
奈何qiao·2023-08-03 14:57

自然梯度

什么是自然梯度首先，我们必须理解标准梯度下降。假设我们有一个神经网络，由一些参数向量参数化。我们想要调整这个网络的参数，所以网络的输出在某种程度上发生了变化。
初七123·2023-08-03 03:48

【机器学习】Overfitting and Regularization

OverfittingandRegularization1.过拟合添加正则化2.具有正则化的损失函数2.1正则化线性回归的损失函数2.2正则化逻辑回归的损失函数3.具有正则化的梯度下降3.1使用正则化计算梯度
CS_木成河·2023-08-03 02:03

深度学习：使用全连接神经网络FCN实现MNIST手写数字识别

1引言本项目构建了一个全连接神经网络(FCN)，实现对MINST数据集手写数字的识别，通过本项目代码，从原理上理解手写数字识别的全过程，包括反向传播，梯度下降等。
智慧医疗探索者·2023-08-02 17:55

第2章 梯度下降法

第2章梯度下降法深度学习的核心任务就是通过样本数据训练一个函数模型，或者说找到一个最佳的函数表示或刻画这些样本数据。
hwdong·2023-08-02 10:27

深度学习-相关概念

是2014年提出的一种万金油式的优化器，使用起来非常方便，梯度下降速度快，但是容易在最优值附近震荡。竞赛中性能会略逊于SGD，毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。
jerwey·2023-08-02 08:37

关于模具外协加工的报告

我叫陈建伟，我主要负责塑件，灯具的生产工作，下面我把2018年当中，我们新模具在小批量生产当中出现的一些问题向大家汇报一下。
J8十80十陈建伟十浙江黄岩·2023-08-02 07:39

【机器学习】Gradient Descent for Logistic Regression

GradientDescentforLogisticRegression1.数据集（多变量）2.逻辑梯度下降3.梯度下降的实现及代码描述3.1计算梯度3.2梯度下降4.数据集（单变量）附录导入所需的库importcopy
CS_木成河·2023-08-01 21:45

【Python机器学习】实验04(1) 多分类(基于逻辑回归)实践

文章目录多分类以及机器学习实践如何对多个类别进行分类1.1数据的预处理1.2训练数据的准备1.3定义假设函数，代价函数，梯度下降算法（从实验3复制过来）1.4调用梯度下降算法来学习三个分类模型的参数1.5
Want595·2023-08-01 17:44

梯度下降算法

目录梯度下降法随机梯度下降法实验分析mini-batch梯度下降法importnumpyasnpimportmatplotlib.pyplotaspltw=1.0defforward(x):""":paramx
Q渡劫·2023-08-01 16:25

[动手学深度学习-PyTorch版]-3.14深度学习基础-正向传播、反向传播和计算图

3.14正向传播、反向传播和计算图前面几节里我们使用了小批量随机梯度下降的优化算法来训练模型。
蒸饺与白茶·2023-08-01 06:42

梯度下降算法

梯度下降算法可以由如下图示表示：在下列各个二元函数中，请用代码实现梯度下降算法，写出在数值实验中使用的学习率大小，选取的迭代初始点。并最终给出函数值随迭代过程的变化图和梯度的轨迹图。
yuzhangfeng·2023-07-31 17:29

机器学习-Gradient Descent

机器学习(GradientDescent)videopptblog梯度下降(GradientDescent)optimizationproblem:损失函数最小化假设本模型有两个参数1和2，随机取得初始值求解偏微分
Teroin·2023-07-31 13:54

学习经验分享【NO.17】YOLO训练时固定随机种子

深度学习网络模型中初始的权值参数通常都是初始化成随机数，而使用梯度下降法最终得到的局部最优解对于初始位置点的选择很敏感。
人工智能算法研究院·2023-07-31 08:39

Pytorch参数优化

但是模型的参数我们一般是无法看见的，所以我们必须学会对参数的更新，下面，我将介绍两种参数更新的方法下面以梯度下降法为例进行展示：手动遍历参数更新在PyTorch中，模型的参数是通过torch.nn.Parameter
Teroin·2023-07-31 07:38

计算机视觉（五）深度学习基础

文章目录深度学习基础卷积神经网络与传统神经网络区别深度学习与神经网络的区别目标函数选择合适的目标函数Softmax层改进的梯度下降梯度消失的直观解释激活函数学习步长SGD的问题Momentum动量NesterovMomentumAdagradRMSpropAdam
_企鹅_·2023-07-31 06:16

Can we learn better with hard samples

摘要在深度学习中，小批量训练通常用于优化网络参数。然而，传统的小批处理方法可能无法学习到数据中代表性不足的样本和复杂的模式，从而导致泛化的时间更长。
Sky_codes·2023-07-31 03:26

归一化有什么好处？

神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布
壹晴天·2023-07-30 21:34

【动手学深度学习v2】学习笔记03：线性回归、基础优化算法、线性回归实现

前文回顾：线性代数、矩阵计算、自动求导文章目录一、线性回归1.1线性模型1.2流程1.2.1损失函数1.2.2训练数据1.2.3参数学习1.2.4显式解1.3总结二、基础优化算法2.1梯度下降2.2小批量随机梯度下降
鱼儿听雨眠·2023-07-30 16:45

动手学深度学习v2笔记 —— 线性回归 + 基础优化算法

线性回归+基础优化算法目录:线性回归基础优化方法1.线性回归总结线性回归是对n维输入的加权，外加偏差使用平方损失来衡量预测值和真实值的差异线性回归有显示解线性回归可以看作是单层神经网络2.基础优化方法梯度下降小批量随机梯度下降
王二小、·2023-07-30 16:43

【机器学习】Multiple Variable Linear Regression

MultipleVariableLinearRegression1、问题描述1.1包含样例的X矩阵1.2参数向量w,b2、多变量的模型预测2.1逐元素进行预测2.2向量点积进行预测3、多变量线性回归模型计算损失4、多变量线性回归模型梯度下降
CS_木成河·2023-07-30 12:50

【机器学习】Gradient Descent

GradientDescentforLinearRegression1、梯度下降2、梯度下降算法的实现(1)计算梯度(2)梯度下降(3)梯度下降的cost与迭代次数(4)预测3、绘图4、学习率首先导入所需的库
CS_木成河·2023-07-30 12:19

最速梯度下降

梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。
无涯2016·2023-07-30 05:19

吴恩达机器学习笔记（3）

根据多个属性，如房子面积，房子楼层，房子年龄等估计房子的价格多变量线性回归中的变量多变量线性回归的假设此时有多个特征,i对应不同的特征值，如房子面积，楼层，年龄等，参数为一个n+1维向量多变量线性回归中的梯度下降
魏清宇·2023-07-30 01:52

动手学深度学习(三) 多层感知机

ImageName表达公式具体来说，给定一个小批量样本，其批量大小
致Great·2023-07-29 23:34

numpy学习线性回归, 并用matplotlib画动态图

线性回归线性回归准备梯度下降方式求正规矩阵方式求线性回归准备假设函数为一元一次函数h=Θ0+Θ1xh=\Theta_{0}+\Theta_{1}xh=Θ0+Θ1x代价函数J(Θ0,Θ1)=12m∑i=1m
胡建飞·2023-07-29 23:13

深度学习的优化算法

批量梯度下降法受电脑GPU限制，在训练网络时，通常不会将所有数据一起训练，为了加快学习速度，我们首先引入批量梯度下降法，但是会有震荡问题，如图1的的右图。
阿里山Paris·2023-07-29 19:09

梯度下降

之前提到用最小二乘法计算经验风险的最小值，实际上，当样本量特别多的时候，使用最小二乘法的效率并不高，大家转而使用梯度下降算法。
CV_lsc·2023-07-29 15:05
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他