矩阵乘法梯度下降

统计学习方法笔记二---感知机(Perceptron Learning Algorithm,PLA)

目标/目的：求出将训练数据进行线性划分的分类超平面，为此导入误分类的损失函数，利用梯度下降法对损失函数进行最小化，求的感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始
爱科研的徐博士·2023-12-25 23:13

神经网络和深度学习(吴恩达) 第二周课程提炼

本篇主要是第二周课程中讲到的：二分分类、Logistic回归、损失函数、梯度下降、向量化。
北冥丶有鱼·2023-12-25 19:24

神经网络和深度学习（四）—反向传播工作原理

20012100032学院：竹园三号书院【嵌牛导读】简要介绍反向传播算法【嵌牛鼻子】深度学习神经网络反向传播算法【嵌牛提问】如何将反向传播算法应用到神经网络反向传播算法工作原理在上一篇文章，我们看到了神经网络如何通过梯度下降算法学习
吴丞楚20012100032·2023-12-25 08:28

PyTorch官网demo解读——第一个神经网络（3）

上一篇：PyTorch官网demo解读——第一个神经网络（2）-CSDN博客上一篇文章我们讲解了第一个神经网络的模型，这一篇我们来聊聊梯度下降。
骑猪等风·2023-12-25 06:30

优化算法2D可视化

为什么叫随机梯度下降算法呢？这里的随机是指每次迭代过程中，样本都要被随机打乱，这个也很容易理解，打乱是有效减小样本之间造
Simon52314·2023-12-24 18:04

【23-24 秋学期】NNDL 作业12 优化算法2D可视化

1.简要介绍图中的优化算法，编程实现并2D可视化SGD：随机梯度下降，每次迭代采集1个样本（随机）。AdaGrad算法：一种梯度下降法，是对批量梯度下降法的改进，但并不是对动量法的改进。
今天也是元气满满的一天呢·2023-12-24 18:31

梯度下降算法在Python中的详细解析及示例代码

梯度下降算法是一种常用的优化算法，用于在机器学习和深度学习中最小化损失函数。它通过迭代的方式找到损失函数的局部最小值点。在本篇文章中，我们将详细解析梯度下降算法的原理，并提供Python示例代码。
TechGlide·2023-12-24 17:32

梯度下降求解逻辑回归

需要数据集可以私信我为了便于展示结果，省去繁琐的复制粘贴，采用notebook截屏的方式，带来不便还请谅解。
UlissesJr·2023-12-23 22:10

神经网络：深度学习基础

1.反向传播算法（BP）的概念及简单推导反向传播（Backpropagation，BP）算法是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见算法。
是Dream呀·2023-12-23 20:38

共轭梯度法Matlab的实现

最近最优化课一直在讲共轭梯度，雅克比，梯度下降啊，课上没听太懂，就课下花了点时间好好学一下，在此记录一下。这篇博客主要介绍了共轭梯度的matlab实现，代码可以运行看到效果。
RDSunday·2023-12-23 18:23

【机器学习】【线性回归】梯度下降

文章目录@[toc]数据集实际值估计值估计误差代价函数学习率参数更新`Python`实现线性拟合结果代价结果数据集(x(i),y(i)),i=1,2,⋯ ,m\left(x^{(i)},y^{(i)}\right),i=1,2,\cdots,m(x(i),y(i)),i=1,2,⋯,m实际值y(i)y^{(i)}y(i)估计值hθ(x(i))=θ0+θ1x(i)h_{\theta}{\left(x
丷从心·2023-12-23 16:43

机器学习笔记（二）使用paddlepaddle，再探波士顿房价预测

目标用paddlepaddle来重写之前那个手写的梯度下降方案，简化内容流程实际上就做了几个事：数据准备：将一个批次的数据先转换成nparray格式，再转换成Tensor格式前向计算：将一个批次的样本数据灌入网络中
Leventure_轩先生·2023-12-23 16:52

强化学习--DQN

某种意义上来说，神经网络就是一个函数，只不过不同于一般的数值函数，它的输入输出都是向量，并且拥有可以学习的参数，这些参数可以通过梯度下降的方式来优化，从而使得神经网络能够逼近任意函数。
无盐薯片·2023-12-23 13:33

机器学习笔记（一）从波士顿房价预测开始，梯度下降

从波士顿房价开始目标其实这一章节比较简单，主要是概念，首先在波士顿房价这个问题中，我们假设了一组线性关系，也就是如图所示我们假定结果房价和这些参数之间有线性关系，即:然后我们假定这个函数的损失函数为均方差，即：那么就是说，我们现在是已知y和x，来求使得这个损失函数Loss最小化的一个w和b的组合读取数据点击查看代码defload_data():#从文件导入数据datafile='./work/ho
Leventure_轩先生·2023-12-23 09:37

机器学习优化器（公式+代码）

随机梯度下降（StochasticGradientDescent，SGD）随机梯度下降（StochasticGradientDescent，SGD）是一种常用的优化算法，用于训练机器学习模型。
New___dream·2023-12-23 06:59

逻辑回归模型中特征是否需要归一化？

从反向过程来看：逻辑回归模型的参数优化一般采用了梯度下降法，如果不对特征进行归一化，可能会使得损失函数值得等高线呈椭球形，这样花费更多的迭代步数才能到达最优解。
不会念经的木鱼仔·2023-12-23 03:46

网络优化与正则化

引言网络优化高维变量的非凸优化神经网络优化的改善方法优化算法梯度下降法小批量梯度下降批量大小选择学习率调整AdaGrad算法RMSprop算法AdaDelta梯度修正估计动量法Nesterov加速梯度Adam
guanyue.space·2023-12-23 02:49

梯度下降（GD）

一、梯度下降算法概述1、介绍梯度下降法（gradientdescent），又名最速下降法（steepestdescent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量
王荣胜z·2023-12-22 23:53

第八章 使用matplotlib绘制高级图表

常见于山谷，山峰或梯度下降算法的场景。等高线图包含3个主要的信息，分别为坐标点的x值，y值及高度。
笔触狂放·2023-12-22 21:27

激活函数\梯度下降\损失函数

一个痛心疾首的发现：这些知识不管学多少遍还是会忘记……为了加深印象，再再再再看一遍并记录下来。一、激活函数激活函数是每一层神经网络之后用的非线性函数，因为神经网络本身是线型的，利用激活函数可以使之实现非线性。激活函数主要有四个:sigmoid,tanh,RELU,LeakyRELU.还有一位博主将softmax也加了进来。也有一定的道理，因为这五个小兄弟都是将一个维的向量映射为另一个维的向量。接下
阮恒·2023-12-22 18:49

可能是全网最详细的线性回归原理讲解！！！

用梯度下降慢慢逼近这个最小值点本文图片来源于可能是全网最详细的线性回归原理讲解！！！_哔哩哔哩_bilibili可以结合视频来学习，本文是一个图片教程，有错误欢迎大家指正，多多交流！
你若盛开，清风自来！·2023-12-22 15:56

损失函数中正则化中的平方项的作用！！

在损失函数中添加正则化项时，通常会使用平方项作为正则化项，原因主要有以下几点：平方项可以方便地进行梯度下降优化。在计算梯度时，平
小桥流水---人工智能·2023-12-22 09:42

Unity中Shader平移矩阵

2、在常量缓冲区进行申明3、在顶点着色器中，在进行其他坐标转化之前，对模型顶点本地空间下的坐标进行转化4、我们来看看效果方式二：使用矩阵乘法代替相加平移1、原理2、使用矩阵乘法代替相加平移的好处：3、实现
楠溪泽岸·2023-12-22 01:16

Unity中Shader缩放矩阵

文章目录前言一、直接相乘缩放1、在属性面板定义一个四维变量，用xyz分别控制在xyz轴上的缩放2、在常量缓存区申明该变量3、在顶点着色器对其进行相乘，来缩放变换4、我们来看看效果二、使用矩阵乘法代替直接相乘缩放的原理
楠溪泽岸·2023-12-22 01:16

100天搞定机器学习|day37 无公式理解反向传播算法之精髓

image100天搞定机器学习（Day1-34）image100天搞定机器学习|Day35深度学习之神经网络的结构image100天搞定机器学习|Day36深度学习之梯度下降算法本篇为100天搞定机器学习之第
统计学家·2023-12-22 00:57

支持向量机SVM介绍——基于机器学习_周志华

首先从生物学神经元出发，引出了它的数学抽象模型–MP神经元以及由两层神经元组成的感知机模型，并基于梯度下降的方法描述了感知机模型的权值调整规则。
Pandy Bright·2023-12-21 22:47

LA@线性代数学习总结@主要对象和问题@思想方法

文章目录线性代数研究对象主要问题联系核心概念核心定理核心操作和运算基础高级小结性质和推导方法问题转换为线性方程组求解问题验证和推导性质定理线性代数研究对象线性代数的研究对象主要是行列式和矩阵(向量)矩阵这种对象可以做的操作和运算很多,特别是方阵,它们的计算量天然就有较大的特点,例如:伴随矩阵的计算,矩阵乘法
xuchaoxin1375·2023-12-21 21:11

机器学习--线性回归

目录监督学习算法线性回归损失函数梯度下降目标函数更新参数批量梯度下降随机梯度下降小批量梯度下降法数据预处理特征标准化正弦函数特征多项式特征的函数数据预处理步骤线性回归代码实现初始化步骤实现梯度下降优化模块损失与预测模块完整代码单变量线性回归实例加载数据并划分数据集训练线性回归模型得到损失函数图像测试阶段多特征回归实例非线性回归实例监督学习算法监督学习算法是一种通过学习输入数据和相应的标签之间的关系
llovew.·2023-12-21 12:45

神经网络：优化器和全连接层

SGD（随机梯度下降）随机梯度下降的优化算法在科研和工业界是很常用的。很多理论和工程问题都能转化成对目标函数进行最小化的数学问题。
是Dream呀·2023-12-21 11:08

Pytorch：backward()函数详解

在深度学习中，我们通常使用梯度下降算法来更新模型参数，使得模型能够逐步逼近最优解。在梯度下降算法中，我们需要计算损失函数关于模型参数的梯度，以便确定参数更新的方向和大小。
北方骑马的萝卜·2023-12-21 08:52

numpy矩阵常用操作函数

#矩阵转置matrix.Tmatrix.T.shape#矩阵加法matrixA+matrixB#矩阵减法matrixA-matrixB#矩阵乘法np.dot(matrixA,matrixB)#生成单位
JSU_曾是此间年少·2023-12-21 07:54

机器学习之逻辑回归，一文掌握逻辑回归算法知识文集

欢迎点赞✍评论⭐收藏文章目录人工智能(逻辑回归算法)一、逻辑回归算法知识01.梯度下降法（GradientDescent）1.1什么是梯度下降法？1.2梯度下降法的具体步骤和算法公式？
普修罗双战士·2023-12-21 07:48

梯度下降法

一、梯度下降法的基本概念梯度下降法是一种常用的优化算法，用于求解最小化目标函数的问题。在机器学习和深度学习中，梯度下降法被广泛应用于求解模型参数的优化问题，例如线性回归、逻辑回归、神经网络等。
调钟师·2023-12-21 01:32

大模型的魔法

momentum是梯度下降法中一种常用的加速技术。对于一
YingJingh·2023-12-21 01:29

【Matlab算法】随机梯度下降法 (Stochastic Gradient Descent，SGD) （附MATLAB完整代码）

随机梯度下降法前言正文代码实现可运行代码结果前言随机梯度下降法(StochasticGradientDescent，SGD)是一种梯度下降法的变种，用于优化损失函数并更新模型参数。
Albert_Lsk·2023-12-20 21:02

大数据机器学习：从理论到实战，探索学习率的调整策略

大数据机器学习：从理论到实战，探索学习率的调整策略全文目录大数据机器学习：从理论到实战，探索学习率的调整策略一、引言二、学习率基础定义与解释学习率与梯度下降学习率对模型性能的影响三、学习率调整策略常量学习率时间衰减自适应学习率
星川皆无恙·2023-12-20 18:43

MNIST手写数字识别——simple model Y = XW + b

文章目录数据处理MINIST手写数字数据集简单介绍一下数据集将数据集转化为csv文件简单的手写数字识别模型加载数据集定义模型和超参数前向传播sigmoid激活函数softmax函数交叉熵损失函数反向传播梯度下降法链式法则
涵涵不是憨憨~·2023-12-20 18:30

【matlab】Matlab矩阵计算和示例基础

介绍创建矩阵矩阵运算3.1加法和减法3.2乘法3.3转置3.4逆矩阵常用函数4.1矩阵乘法4.2元素级运算4.3矩阵求和示例5.1
小吴同学GOGOGO·2023-12-20 15:01

归一化和标准化(Z-Score)

在处理数据过程中，通常会有不同规格的数据，比如年龄的取值范围是0-130，收入的取值范围是0-100000等等，如果不进行归一化或标准化处理，梯度下降每次走过的相对长度就不一样，就导致某个参数很快就找到了最优解
ShawnWeasley·2023-12-20 11:15

python算法 之 快速排序（Quick Sort）

常数时间复杂度哈希表查找O(logn)对数时间复杂度二分查找O(n)线性时间复杂度遍历数组O(nlogn)线性对数时间复杂度快速排序O(n^2)平方时间复杂度冒泡排序、插入排序O(n^3)立方时间复杂度矩阵乘法
风华浪浪·2023-12-20 07:34

线性回归——lasso回归和岭回归（ridge regression）

References线性回归很简单，用线性函数拟合数据，用meansquareerror(mse)计算损失（cost），然后用梯度下降法找到一组使mse最小的权重。
weixin_30853329·2023-12-20 05:14

线性回归、lasso回归和岭回归（ridge regression）

线性回归很简单，用线性函数拟合数据，用均方差meansquareerror(mse)计算损失（cost），然后用梯度下降法找到一组使mse最小的权重。
呆小呆_·2023-12-20 05:43

湖南科技大学计算智能课设（二）以人事招聘为例的误差反向传播算法

其建立在梯度下降
枍飏·2023-12-20 03:52

pytorch文本分类（三）模型框架（DNN&textCNN）

原任务链接目录pytorch文本分类（三）模型框架（DNN&textCNN）1.背景知识深度学习2.DNN2.1从感知器到神经网络2.2DNN的基本结构2.2.1前向传播算法激活函数2.2.2反向传播算法损失函数梯度下降优化器
大地之灯·2023-12-20 00:59

OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING

LSTM内部的更新非常类似于梯度下降的更新，因此利用LSTM的结构训练一个meta-learner模型，用于学习另一个神
果园林·2023-12-19 23:04

大数据机器学习-梯度下降：从技术到实战的全面指南

大数据机器学习-梯度下降：从技术到实战的全面指南文章目录大数据机器学习-梯度下降：从技术到实战的全面指南一、简介什么是梯度下降？为什么梯度下降重要？
星川皆无恙·2023-12-19 18:30

基于Levenberg-Marquardt算法改进的BP神经网络-公式推导及应用

它结合了梯度下降和高斯-牛顿方法的特点，旨在提高收敛速度和稳定性。下面是基于Levenberg-Marquardt算法改进的反向传播（BP）神经网络的详细推导过程。
轩Scott·2023-12-19 05:39

ReLU（Rectified Linear Unit）和Sigmoid激活函数

ReLU在许多深度学习模型中被广泛使用，因为它在梯度下降中的计算上相对简单，且有效防止了梯度消失问题。Sigmoid函数将输入映射到（0，1）之间的范围，常用于二分类问题。
LeapMay·2023-12-18 17:36

纯C语言矩阵乘法的Strassen算法，包含非2次幂的情况

根据《算法导论》中的strassen算法实现缺憾：没有像算法导论中描述那样采用下标分解矩阵，仍然是一个一个复制元素#include#include//strassen矩阵乘法typedefstructmatrix
菜树人·2023-12-18 13:18

Mini-Batch梯度下降

Mini-batch梯度下降是梯度下降法的一种改进版本，它通过每次迭代使用数据集的一个小批量（mini-batch）样本来更新模型参数，从而在训练过程中更加高效。
星宇星静·2023-12-18 12:21
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他