矩阵乘法梯度下降

机器学习：正则化（Python）

regularization_linear_regression.pyimportnumpyasnpimportmatplotlib.pyplotaspltclassRegularizationLinearRegression:"""线性回归+正则化，梯度下降法
捕捉一只Diu·2024-01-30 07:56

线性代数2.2矩阵运算

矩阵运算矩阵加法矩阵元素对应相加，显然只有同型矩阵才能相加矩阵减法矩阵元素对应相减，显然只有同型矩阵才能相减加法减法满足的运算率矩阵数乘矩阵所有元素均有公因子，所有公因子朝外提一次行列式提公因子：一行提一次所有元素均有外提n次矩阵乘法与行列式乘法规则一致
被遗忘在角落的死小孩·2024-01-29 13:18

[机器学习]简单线性回归——梯度下降法

一.梯度下降法概念2.代码实现#0.引入依赖importnumpyasnpimportmatplotlib.pyplotasplt#1.导入数据（data.csv）points=np.genfromtxt
不知迷踪·2024-01-29 12:07

PINN物理信息网络 | 全局自适应物理信息神经网络SA-PINN

在之前的方法中，独立开发的极小极大加权方案[16]与SA-PINNs最为相近，因为它也通过梯度下降来更新权重；然而，这些权重仍然适用于整个损失组件。
算法如诗·2024-01-29 11:17

1.23神经网络框架（sig函数），逆向参数调整法（梯度下降法，链式法则（理解，及处理多层神经网络的方式））

框架输入层隐藏层存在一个阈值，如果低于某一阈值就不激活；高于了就激活输出层逆向参数调整方法初始阶段，随机设置权重值w1,w2依据训练集两个数学方法（梯度下降、链式法则）调参借助两个数学方法当导数为负时，
CQU_JIAKE·2024-01-29 11:15

【数据分析】numpy基础第三天

前言本文只会讲解最常用的加、减、乘、除，点乘（或叫矩阵乘法）、还有广播机制。本文代码链接提取码：1024第1部分：基础数学计算使用NumPy进行基本的数学运算是十分直观和简单的。
扣柚·2024-01-29 10:30

【吴恩达-神经网络与深度学习】第3周：浅层神经网络

激活函数的导数神经网络的梯度下降法（选修）直观理解反向传播随机初始化神经网络概览右上角方括号[]里面的数字表示神经网络的层数可以把许多sigmoid单元堆叠起来形成一个神经网络：第
倏然希然_·2024-01-29 08:48

机器学习：梯度下降法

LinearRegression_GD.pyimportnumpyasnpimportmatplotlib.pyplotaspltclassLinearRegression_GradDesc:"""线性回归，梯度下降法求解模型系数
捕捉一只Diu·2024-01-29 05:17

tensorflow

importtensorflowastf#创建两个常量op:m1,m2m1=tf.constant([[1,2,3],[2,3,4]])m2=tf.constant([[3,5],[2,3],[4,5]])print(m1,m2)#创建矩阵乘法
护国寺小学生·2024-01-29 02:04

有趣的数学 了解TensorFlow的自动微分的实现

假设您定义了一个函数，并且需要计算它的偏导数和，通常用于执行梯度下降（或某些其他优化算法）。可用的主要选择是手动微分、有限差分近似、正向模式自动微分和反向模式自动微分。
坐望云起·2024-01-28 22:21

梯度下降方法中的学习率(learning rate), 衰减因子(decay) 冲量(momentum)

https://www.jianshu.com/p/58b3fe300ecb2.https://www.jianshu.com/p/d8222a84613c学习率学习率lr(learningrate),梯度下降算法中迭代步长
17420·2024-01-28 21:04

scheduler：pytorch训练过程中自动调整learning rate

optim.Adam(net.parameters(),lr=1e-3,betas=(0.9,0.99))在使用PyTorch训练神经网络时，可能需要根据情况调整学习率（learningrate）这个在梯度下降中的重要参数
robin_ze·2024-01-28 21:32

学习速率 learning rate

学习速率的选取策略运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率ααα：如果学习速率太小，则会使收敛过慢。
羊肉串串魅力无穷·2024-01-28 21:31

矩阵的乘法

有两个矩阵：A和B（矩阵实际上就是二维数组）A矩阵和B矩阵可以做乘法运算必须满足A矩阵的列的数量等于B矩阵的行的数量运算规则：A的每一行中的数字对应乘以B的每一列的数字把结果相加起来矩阵乘法的结果为行与列的关系为
强国豪，林中霖·2024-01-28 19:50

算法模型之回归模型(岭回归Ridge)

线性回归：1.假设模型线性模型和线性关系是不同的，线性关系一定是线性模型，而线性模型不一定是线性关系2.优化算法正规方程正规方程可以比作成一个天才，只需要一次就可以求出各种权重和偏置梯度下降梯度下降算法可以比作一个勤奋努力的普通人
rookie-rookie-lu·2024-01-28 17:26

AI数学基础23——Adam=Momentum+RMSprop

动量梯度下降法详细展示了如何优化神经网络的训练速度，尽可能减少抖动，以最快速度找到代价函数的最小值。
LabVIEW_Python·2024-01-28 13:37

最优化方法之梯度下降法和牛顿法

最常见的最优化方法有梯度下降法、牛顿法。最优化方法：最优化方法，即寻找函数极值点的数值方法。
thatway1989·2024-01-28 12:00

[笔记]深度学习入门 基于Python的理论与实现(六)

,这个过程叫最优化_(optimization_),但是由于神经网络的参数空间复杂,所以很难求最优解.前几章,我们使用参数的梯度,沿梯度的反向更新参数,重复多次,从而逐渐靠近最优参数,这个过程称为随机梯度下降
飞鸟malred·2024-01-28 10:02

深度学习｜6.1 小批量梯度下降

把大数据集分成多批数据，每批数据分别计算他们的损失（可以并发处理，从而节省运行时间），最后将其取平均，作为整体的结果，然后参与到梯度下降的环节中去。
晓源Galois·2024-01-28 09:51

【MAC】Multi-Level Monte Carlo Actor-Critic阅读笔记

提出的背景：现有的强化学习方法在后端使用的是stochasticgradientdescent（随机梯度下降），基
酸酸甜甜我最爱·2024-01-27 21:41

线性代数与微积分的小学生水平含义

图by于建国（YJiango）矩阵乘法的本质是什么？-YJango的回答-知乎https://www.zhihu.com/question/21351965/answer/516385585
6102·2024-01-27 18:46

边缘计算卸载算法--CD梯度下降

梯度下降卸载算法背景：我实现该算法是在边缘计算单个工作流任务环境中，下面可以看到此背景下的java代码实现。此处假设我们的工作流任务中只有3个任务节点（构成一个有向无环图），下面基于此假设分析算法。
achu19·2024-01-27 17:18

深度学习 Day 4.2 Logistic Regression——Discriminative Model

目录1.FunctionSet设定公式2.GoodnessofaFunction损失函数3.Findthebestfunction梯度下降4.为何判断logisticregression模型的好坏，用交叉熵而不是
闻.铃·2024-01-27 14:22

深度学习之反向传播

为什么需要使用反向传播对于简单的模型我们可以用解析式求出它的损失函数的梯度，例如，其损失函数的梯度就是，我们可以通过我们的数学知识很容易就得到其损失函数的梯度，继而进行使用梯度下降算法是参数（权重）更新
丘小羽·2024-01-27 14:50

Java实现矩阵乘法

1、当矩阵A的列数（column）等于矩阵B的行数（row）时，A与B可以相乘。2、矩阵C的行数等于矩阵A的行数，C的列数等于B的列数。3、乘积C的第m行第n列的元素等于矩阵A的第m行的元素与矩阵B的第n列对应元素乘积之和。privatestaticint[][]A,B,C;publicstaticvoidmain(String[]args){Scannersc=newScanner(System
Spell a·2024-01-27 12:35

大规模机器学习(Large Scale Machine Learning)

以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和，如果我们的学习算法需要有20次迭代，这便已经是非常大的计算代价。
清☆茶·2024-01-27 10:41

AI算力碎片化：矩阵乘法的启示

尽管AI的发展取得了巨大进步，但编译器LLVM之父ChrisLattner认为，AI技术应用并不深入，远远没有发挥出已有机器学习研究的所有潜力。而AI系统和工具的单一化和碎片化正是造成这一问题的根源。为了让AI发挥其真正的潜力，计算碎片化是需要解决的重点问题之一，目标是让AI软件开发人员能够无缝地充分利用现有硬件和下一代创新硬件。但解决这一问题并不容易，硬件、模型和数据的多样性使得当前市场上的现有
OneFlow深度学习框架·2024-01-27 10:07

矩阵乘法的分布式计算架构

1.背景介绍矩阵乘法是线性代数的基本运算，在许多计算机算法和应用中都有着重要的作用。
OpenChat·2024-01-27 10:34

MIT_线性代数笔记：线性代数常用计算公式

目录1.矩阵的加法和数乘2.矩阵的乘法3.转置Transposes相关运算1.矩阵的加法和数乘2.矩阵的乘法1)标准方法（行乘以列）矩阵乘法的标准计算方法是通过矩阵A第i行的行向量和矩阵B第j列的列向量点积得到
浊酒南街·2024-01-27 08:54

RUST笔记：candle使用基础

candle-矩阵乘法示例cargonewmyappcdmyappcargoadd--githttps://github.com/huggingface/candle.gitcandle-corecargobuild
FakeOccupational·2024-01-26 23:22

学习笔记-李沐动手学深度学习（二）（08-09、线性回归、优化算法、梯度下降、Softmax回归、损失函数、图片分类）

总结以_结尾的方法，好像是原位替换（即原地修改，就地修改变量）如fill_()感恩的心：（沐神的直播环境）08-线性回归+基础优化算法引言（如何在美国买房）根据现在行情预测房价线性回归（简化模型）、线性模型、神经网络b为偏差扩展到一般化线性模型每个箭头代表一个权重当层单层神经网络原因：不看输出层，将权重层和input放一起带权重的层只有一层【书中】衡量预估质量1/2是为了求导时把2消去线性回归（求
kgbkqLjm·2024-01-26 17:59

机器学习的精髓-梯度下降算法

目1.梯度下降算法2.梯度下降求解3.总结1.梯度下降算法梯度下降算法是一种优化算法，用于最小化函数的数值方法。它通过沿着函数梯度的反方向来更新参数，以逐步减小函数值。
wyw0000·2024-01-26 11:13

【01】深度学习——数学基础 | 线性代数 | 微积分 |概率

深度学习1.线性代数1.1标量(scalar)1.2向量(Vector)1.2.1模长和范数1.2.2单位向量1.2.3向量的内积1.2.4向量的外积1.3矩阵(Matrix)1.3.1矩阵转置1.3.2矩阵乘法
花落指尖❀·2024-01-26 10:53

Strassen矩阵乘法

Strassen矩阵乘法Strassen采用了类似于在大整数乘法中用过的分治技术，将计算2个n阶矩阵乘积所需的计算时间由O（n^3)改进到O（n^log7）=0（n^2.81）。
amant 柒少·2024-01-25 21:40

《速通机器学习》- 经典分类模型

由于平台稿件格式问题，公式格式不能正确写上；如若读写困难可后台私信我要完整电子版）5.1支持向量机5.1.1支持向量机的基本原理通过前面的学习我们知道，逻辑回归其实就是在平面上通过画直线进行二分类，其学习过程就是通过梯度下降法在训练数据中寻找分类线
北大博士后AI卢菁·2024-01-25 19:16

CUDA学习笔记9——CUDA 共享内存 / Shared Memory

不利用共享内存的矩阵乘法不利用共享内存的矩阵乘法的直接实现。每个线程读取A的一行和B的一列，并计算C的相应元素，如图。
阿卡蒂奥·2024-01-25 19:54

BP神经网络需要像深度学习一次次的迭代训练吗?

BP神经网络（误差反传网络）实质上是把一组样本输入/输出问题转化为一个非线性优化问题，并通过负梯度下降算法，利用迭代运算求解权值问题的一种学习方法。其训练过程包括正向传播和反向传播两个阶段。
小桥流水---人工智能·2024-01-25 17:24

【易混区分】 tensor张量 Numpy张量的各种矩阵乘法、点积的函数对比 (dot, multiply,*,@matmul)

文章目录1矩阵运算基本概念1.1点积1.2矩阵乘法2dot()3multiply（）和*4matmul和@1矩阵运算基本概念1.1点积又称为数量积、标量积（scalarproduct）或者内积（innerproduct
Qodicat·2024-01-25 13:16

数据结构与算法教程，数据结构C语言版教程！（第五部分、数组和广义表详解）五

九、行逻辑链接的顺序表实现矩阵乘法（附带C语言完整代码）矩阵相乘的前提条件是：乘号前的矩阵的列数要和乘号后的矩阵的
别致的SmallSix·2024-01-25 10:43

TensorFlow基础——常用函数（四）

函数training()通过梯度下降法为最小化损失函数增加了相关的优化操作，在训练过程中，先实例
weixin_30492601·2024-01-25 08:22

机器学习与Tensorflow（3）—— 机器学习及MNIST数据集分类优化

一、二次代价函数1.形式：其中，C为代价函数，X表示样本，Y表示实际值，a表示输出值，n为样本总数2.利用梯度下降法调整权值参数大小，推导过程如下图所示：根据结果可得，权重w和偏置b的梯度跟激活函数的梯度成正比
WUWEILINCX123890·2024-01-25 08:19

Tensorflow 中的损失函数 —— loss 专题汇总

一、处理回归问题1.tf.losses.mean_squared_error：均方根误差（MSE）——回归问题中最常用的损失函数优点是便于梯度下降，误差大时下降快，误差小时下降慢，有利于函数收敛。
WitsMakeMen·2024-01-25 08:47

利用梯度下降实现线性拟合

作业要求本作业题要求使用线性拟合，利用梯度下降法，求解参数使得预测和真实值之间的均方误差（MSE）误差最小。
Metaphysicist.·2024-01-24 23:31

机器学习实验2——线性回归求解加州房价问题

文章目录实验内容数据预处理代码缺失值处理特征探索相关性分析文本数据标签编码数值型数据标准化划分数据集线性回归闭合形式参数求解原理梯度下降参数求解原理代码运行结果总结实验内容基于CaliforniaHousingPrices
在半岛铁盒里·2024-01-24 16:26

【小白学机器学习4】从求f(x)的误差和函数E(θ)的导函数，到最速下降法，然后到随机梯度下降法

目录1从求f(x)的误差和函数E(θ)的导函数，开始通过参数θ去找E(θ)的最小值，从而确定最好的拟合曲线函数f(x)1.1从f(x)对y的回归模拟开始1.2从比较不同的f(x)的E(θ)，引出的问题1.3f(x)的误差和E(θ)函数，可以变成通用的函数形式，从而E(θ)只需要关注其参数θ0,θ1...的不同，而找到其最小值1.4调整参数θ0，θ1...，试图找到f(x)的误差和函数E(θ)的最小
奔跑的犀牛先生·2024-01-24 13:43

pytorch（三）反向传播

文章目录反向传播tensor的广播机制反向传播前馈过程的目的是为了计算损失loss反向传播的目的是为了更新权重w，这里权重的更新是使用随机梯度下降来更新的。
@@老胡·2024-01-24 06:26

Optional Lab: Feature scaling and Learning Rate (Multi-variable)

GoalsInthislabyouwill:利用先前lab中的多维特征例程在具有多维特征的数据集上运行梯度下降探索学习率learningratealpha对梯度下降的影响通过使用z-score归一化的特征放缩来提高梯度下降的性能
gravity_w·2024-01-24 04:10

机器学习期末复习总结笔记（李航统计学习方法）

文章目录模型复杂度高---过拟合分类与回归有监督、无监督、半监督正则化生成模型和判别模型感知机KNN朴素贝叶斯决策树SVMAdaboost聚类风险PCA深度学习范数计算梯度下降与随机梯度下降SGD线性回归逻辑回归最大熵模型适用性讨论模型复杂度高
在半岛铁盒里·2024-01-24 01:01

【PyTorch】6.Learn about the optimization loop 了解优化循环

训练模型是一个迭代过程；在每次迭代中，模型都会对输出进行猜测，计算其猜测中的误差（损失），收集相对于其参数的导数的误差（如我们在上一节中看到的），并使用梯度下降优化这些参数。有关此过程的
冰雪storm·2024-01-23 10:44

线性代数的学习和整理23：用EXCEL和python 计算向量/矩阵的：内积/点积，外积/叉积

向量的标量乘法1.2.3常见的向量乘法及结果1.2.4向量的其他乘法及结果1.2.5向量的模长（长度）模长的计算公式1.2.6距离2向量的各种乘法2.1向量的标量乘法（即：向量乘1个常数）2.2通用的向量/矩阵乘法
奔跑的犀牛先生·2024-01-23 09:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他