梯度

回归算法

线性回归模型的MSE成本函数image标准线性方程的闭式解:imageimageimage梯度下降算法梯度下降是一种非常通用的优化算法，能够为大范围的问题找到最优解。梯
White_Li·2023-10-20 09:41

Unity ShaderGraph卡通水面效果案例

UnityShaderGraph卡通水面效果案例前言最终效果俯视图制作过程生成一张水波图加强水波效果生成移动的梯度噪声图使顶点按照梯度噪声图产生位移暴露参数前言好好学习，天天向上。
SlowFeather·2023-10-20 09:25

Unity之ShaderGraph如何模拟水波实现顶点波动

GradientNoise：根据输入UV生成梯度或Perlin噪声。生成的噪声的大小由输入Scale控制。就性能成本而言，梯度噪声节点的计算强度可能比采样纹理贴图稍高。
PassionY·2023-10-20 09:52

神经网络反向传播算法

反向传播算法本质上是梯度下降法。人工神经网络的参数多，梯度计算比较复杂。在人工神经网络模型提出几十年后才有研究者提出了反向传播算法来解决深层参数的训练问题。本文将详细讲解该算法的原理及实现。
360技术·2023-10-20 07:48

神经网络反向传播时梯度简易求法

神经网络反向传播时梯度简易求法5相信每一个刚刚入门神经网络（现在叫深度学习）的同学都一定在反向传播的梯度推导那里被折磨了半天。
qiling0102·2023-10-20 07:48

人工神经网络反向传播,神经网络的前向传播

什么是反向传播算法反向传播算法适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。
「已注销」·2023-10-20 07:18

神经网络反向传播时的梯度到底怎么求？

相信每一个刚刚入门神经网络（现在叫深度学习）的同学都一定在反向传播的梯度推导那里被折磨了半天。
Magic_Anthony·2023-10-20 07:47

神经网络中的反向传播：综合指南

在神经网络中，反向传播是计算损失函数相对于网络中每个权重的梯度的过程。然后使用该梯度在与梯度相反的方向上更新权重，从而最小化损失函数。
无水先生·2023-10-20 07:45

OpenCV——HOG特征检测

基本概念方向梯度直方图（HistogramofOrientedGradient,HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。
DDsoup·2023-10-20 05:59

机器学习实践入门（一）：神经网络入门

仅供自学记录使用这里写目录标题逻辑回归二分类问题思路一：构建超平面分类思路二：估计样本的分布成本函数的优化逻辑回归算法流程感知机感知机成本函数感知机算法流程神经网络神经元的解释多层神经网络前向传播神经元前向传播的向量形式反向传播梯度下降权重求导输出层权重求导推广
橘の月半喵·2023-10-20 04:12

ResNet 残差网络、残差块

在深度学习中，为了增强模型的学习能力，网络的层数会不断的加深，于此同时，也伴随着一些比较棘手的问题，主要包括：①模型复杂度上升，网络训练困难②出现梯度消失/梯度爆炸问题③网络退化，即增加层数并不能提升精度为了解决网络退化的问题
我来了！！！·2023-10-20 04:16

OpenCV17-图像形态学操作

OpenCV17-图像形态学操作1.形态学操作1.1腐蚀1.2膨胀2.形态学应用2.1开运算2.2闭运算2.3形态学梯度2.4顶帽运算2.5黑帽运算2.6击中击不中变换2.7形态学应用示例1.形态学操作
shlyyy·2023-10-20 03:25

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2

突然一下升高是因为从右到左碰到陡峭的地方梯度一下变大了，所以弹回去了。原作者在训练时加上了小技巧——clipping：设置一个峰值，若超过则等于该峰值。
QwQllly·2023-10-20 03:33

2020-09-27 权重初始化

因为如果网络中的每个神经元都计算出同样的输出，然后它们就会在反向传播中计算出同样的梯度，从而进行同样的参数更新。换句话说，如果权重被初始化为同样的值，神经元之间就失去了不对称性的源头。
滴答大·2023-10-20 01:52

轻松入门机器学习-线性回归实战

下面将从stasmodels包的最小二乘法、skleran的最小二乘法、批量梯度下降法、随机梯度下降法和小批量随机梯度下降法等方式实现线性回归。
小文的数据之旅·2023-10-20 00:30

36 机器学习（四）：异常值检测|线性回归|逻辑回归|聚类算法|集成学习

文章目录异常值检测箱线图z-score保存模型与使用模型回归的性能评估线性回归正规方程的线性回归梯度下降的线性回归原理介绍L1和L2正则化的介绍api介绍------LinearRegressionapi
Micoreal·2023-10-19 23:43

吴恩达深度学习--m个样本的梯度下降

我们关心得J（w,b）是一个平均函数，这个损失函数L。a^i是训练样本的预测值以上是对于单个例子的逻辑回归。我们可以初始化J=0，dw1dw2db都为0回顾我们正在做的细节，dw1、dw2、db作为累加器
862180935588·2023-10-19 22:46

梯度下降法

1.设置初始W,计算F(W)2.计算梯度▽F(W)*下降方向:dir=(-▽F(W))3.调用linsesrarch得到下降后的Wnew和F(Wnew)4.如果F(Wnew)-F(W)较小，达到max_lter
incover·2023-10-19 22:42

梯度下降算法（Gradient Descent）

GD梯度下降法的含义是通过当前点的梯度（偏导数）的反方向寻找到新的迭代点，并从当前点移动到新的迭代点继续寻找新的迭代点，直到找到最优解，梯度下降的目的，就是为了最小化损失函数。
怎么全是重名·2023-10-19 21:56

《动手学深度学习》TensorFlow2.0版本

目录简介阅读指南1.深度学习简介2.预备知识2.1环境配置2.2数据操作2.3自动求梯度2.4查阅文档3.深度学习基础3.1线性回归3.2线
Mr_不想起床·2023-10-19 17:35

《动手学深度学习 Pytorch版》 9.1 门控循环单元（GRU）

如果没有这样的机制，我们将不得不给这个观测值指定一个非常大的梯度，因为它会影响所有后续的观测值。一些词元没有相关的观测值。例如，在对网页内容
AncilunKiang·2023-10-19 17:26

deep learning日常小Bug汇总

1.在做吴恩达深度学习课第一课第三周作业时，发现梯度不变，后来找到原因是因为1和1.0。。
AI算法札记·2023-10-19 10:29

一些经典的神经网络（第17天）

.经典神经网络LeNetLeNet是早期成功的神经网络；先使用卷积层来学习图片空间信息然后使用全连接层来转到到类别空间【通过在卷积层后加入激活函数，可以引入非线性、增加模型的表达能力、增强稀疏性和解决梯度消失等问题
你不困我困·2023-10-19 09:58

专业成长||学习活动观视角下初中英语听说课教学设计

当然，落实英语学习活动观，必须设计有梯度的教学任务，创设真实的语境，在真实的交际中实现听说整合，发展学生语言的综合运用能力。以
蒲公英_0477·2023-10-19 03:01

机器学习算法学习一：线性回归

知识点：线性回归概念梯度下降算法l批量梯度下降算法l随机梯度下降算法l算法收敛判断方法1.1线性回归在统计学中，线性回归(LinearRegression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析
Mojoooo·2023-10-19 03:44

从头开始机器学习：线性回归

一、说明本篇实现线性回归的先决知识是：基本线性代数，微积分（偏导数）、梯度和、Python（NumPy）；从线性方程入手。
无水先生·2023-10-19 03:12

CS224D 课程学习笔记 L03

Lecture3.MoreWordVectorsLecture3这节课首先复习了上节课学到的word2vec模型，以及使用梯度下降和SGD优化参数，然后介绍了词向量的内部评测和外部评测，参数对于类比评测任务的影响
蜡笔大龙猫·2023-10-19 00:23

Harris图像角点检测

基于灰度图像的角点检测又可分为基于梯度、基于模板和基于模板梯度组合3类方法，其中基于模板的方法主要考虑像素领域点的灰度变化，即图像亮度的变化，将与邻点亮度对比足够大的点定义为角点。
weixin_44119674·2023-10-18 20:27

华为ICT——第一章-神经网络基础 私人笔记

最小值（最小化）梯度下降：增长的最快反向传播：更新参数：均方差损失函数：（主要用于回归问题）交叉熵损失函数：（主要用于分类问题）梯度下降法：小批量梯度下降Mbgd（一
希斯奎·2023-10-18 18:17

理解雅可比矩阵和海森矩阵

以此类推，多维空间中的一个点的二阶导数就表示该点梯度下降的快慢。以二维图像为例，一阶导数是图像灰度变化即灰度梯度，二阶导数就是灰度梯度变化程度。    
南苏月·2023-10-18 15:16

深度学习优化算法（numpy实现）

,x^N}#输入NY={y^1,y^2,...,y^N}#标签NW=init_op().run()compute_loss(X,W,Y)#loss计算函数compute_grads(grads,W)#梯度计算函数
Andd_u·2023-10-18 14:42

第九章 牛顿法

9.1引言在确定搜索方向时，最速下降法只利用了一阶导数（梯度）。这并不是最高效的。因此引入牛顿法，它同时使用一阶和二阶导数来确定搜索方向。
Xuang123·2023-10-18 11:38

[Python中常用的回归模型算法大全2：从线性回归到XGBoost]

文章目录概要多输出K近邻回归集成算法回归梯度提升决策树回归随机森林回归概要回归分析在数据科学领域扮演着关键角色，用于预测数值型目标变量。
落叶霜霜·2023-10-18 10:13

Epoch、批量大小、迭代次数

梯度下降它是机器学习中使用的迭代优化算法，用于找到最佳结果（曲线的最小值）。坡度是指斜坡的倾斜度或倾斜度梯度下降有一个称为学习率的参数。
挪威的深林·2023-10-18 08:26

机器学习聚类算法——BIRCH算法、DBSCAN算法、OPTICS算法

极端随机森林算法机器学习集成学习——Adaboost分离器算法机器学习之SVM分类器介绍——核函数、SVM分类器的使用机器学习集成学习——GBDT（GradientBoostingDecisionTree梯度提升决策树
张小鱼༒·2023-10-18 08:29

联邦学习+梯度+梯度剪枝

联邦学习需要参与者在每一次的本地训练后，上传所更新的模型参数并与其他参与者共享，而参数更新中仍有可能包含所有者的敏感信息解决方案：加密方法（安全多方计算、同态加密）通过将明文编码为密文的方式，只允许特定人员解码，为数据隐私保护提供了有效手段，但这往往需要极大的计算开销，较难应用于实际的联邦学习场景中数据扰动（差分隐私）通过将明文编码为密文的方式，只允许特定人员解码，为数据隐私保护提供了有效手段，但
白兔1205·2023-10-18 08:25

13_线性回归分析、线性模型、损失函数、最小二乘法之梯度下降、回归性能评估、sklearn回归评估API、线性回归正规方程，梯度下降API、梯度下降 和 正规方程对比

1.线性回归1.1线性模型试图学得一个通过属性的线性组合来进行预测的函数：1.2定义定义：线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合。一元线性回归：涉及到的变量只有一个。多元线性回归：涉及到的变量两个或两个以上。要注意的是：预测结果与真实值是有一定的误差的。单变量：多变量：1.3损失函数(误差大小)如何去求模型当中的W，使得损
涂作权的博客·2023-10-18 08:38

计算机视觉基础-形态学滤波

Task07OpenCV框架实现形态学滤波一、前言二、形态学概述三、基本形态学操作3.1腐蚀3.2膨胀四、高级形态学操作4.1开闭运算4.2形态学梯度4.3黑帽顶帽五、基于OpenCV的C++代码实现一
CleMints·2023-10-18 07:38

没有不足的资源，只有没优化的代码

同一系列的芯片，厂商通常会推出各种梯度的RAM和ROM配置，以满足不同的应用需求。对于同一种封装，RAM和ROM容量越大价格越高。
中移OneOS·2023-10-18 04:29

六.网络参数初始化

神经网络模型一般依靠随机梯度下降法进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛效果实际上又很大程度取决于网络参数最开始的初始化。
愿风去了·2023-10-18 00:16

角度单位deg、grad、turn、rad

度：deg（全称：degress）一个圆有360度90deg=100grad=0.25turn≈1.570796326794897rad即：1turn=360deg=400grad（2）grad属性：梯度
柠檬不萌只是酸i·2023-10-18 00:33

这应该是关于回归模型最全的总结了（附原理+代码）

保序回归、多项式回归、多输出回归、多输出K近邻回归、决策树回归、多输出决策树回归、AdaBoost回归、梯度提升决策树回归、人工神经网络、随机森林回归、多输出随机森林回归、XGBoost回归。
Python数据开发·2023-10-18 00:29

《动手学深度学习 Pytorch版》 8.7 通过时间反向传播

8.7.1循环神经网络的梯度分析本节主要探讨梯度相关问题，因此对模型及其表达式进行了简化，进行如下表示：ht=f(xt,ht−1,wh)ot=g(ht,wo)\begin{align}h_t&=f(x_t
AncilunKiang·2023-10-17 23:14

每天五分钟机器学习：在大数据集情况下算法训练出现的计算量问题

大数据的问题当训练线性回归模型的时候或者逻辑回归模型的时候，梯度下降的规则是这样的：如果m的数量级是一个亿的时候，那么我们在计算上面这一项
幻风_huanfeng·2023-10-17 22:30

基于梯度优化的BP神经网络（分类应用） - 附代码

基于梯度优化的BP神经网络（分类应用）-附代码文章目录基于梯度优化的BP神经网络（分类应用）-附代码1.鸢尾花iris数据介绍2.数据集整理3.梯度优化BP神经网络3.1BP神经网络参数设置3.2梯度算法应用
智能算法研学社（Jack旭）·2023-10-17 21:18

attention中为啥multi-head输出结果进行concat，得到x，x还要乘上一个WO矩阵？

，其实这里WO就是参数，我们是把提取的特征再乘以一个WO，然后得到的结果输出，然后与GT进行比较，算loss，然后反向梯度更新参数，这里的参数就包含WO，WO的存在就是为了更好的提取x特征，这样x乘以WO
写代码_不错哦·2023-10-17 12:22

从头开始机器学习：逻辑回归

一、说明本篇实现线性回归的先决知识是：基本线性代数，微积分（偏导数）、梯度和、Python（NumPy）；从线性方程入手，逐渐理解线性回归预测问题。
无水先生·2023-10-17 11:15

Logistic回归和Softmax回归引入$L_2$正则化后的梯度下降过程

Logistic回归和Softmax回归引入L2正则化后的梯度下降过程Logistic回归引入L2L_2L2正则化后的梯度下降过程Softmax回归引入L2L_2L2正则化后的梯度下降过程Logistic
早安不安·2023-10-17 11:04

python 梯度提升树_机器学习：梯度提升算法｜python与r语言代码实现

梯度提升算法10.1GBMGBM(梯度提升机)是一种在处理大量数据以进行高预测的预测时使用的Boosting算法。
weixin_39521520·2023-10-17 10:50

LLM-微调-全参数微调：Full-Param Fine-tuning（100% parameters）

fine-tuning的过程就是用训练好的参数（从已训练好的模型中获得）初始化自己的网络，然后用自己的数据接着训练，参数的调整方法与fromscratch训练过程一样（梯度下降）。
u013250861·2023-10-17 03:16
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他