梯度第12页

深度学习面试题

（2）梯度消失、梯度爆炸梯度消失：这本质上是由于激活函数的选择导致的，最简单的sigmoid函数为例，在函数的两端梯度求导结果非常小

AI信仰者·2024-01-14 17:35

DDPG算法

其本质为深度网络+确定策略梯度(DeterministicPolicyGradient,DPG)，之所以叫确定策略梯度，是因为与之前的动作网络不同，其动作网络输出的是一个确定的动作而不是动作概率。

LENG_Lingliang·2024-01-14 16:06

AIGC实战——WGAN(Wasserstein GAN)

AIGC实战——WGAN0.前言1.WGAN-GP1.1Wasserstein损失1.2Lipschitz约束1.3强制Lipschitz约束1.4梯度惩罚损失1.5训练WGAN-GP2.GAN与WGAN-GP

盼小辉丶·2024-01-14 13:45

“有目的地阅读”单元教学点滴思考

本单元对“有目的地阅读”进行了有层次、有梯度的安排。《竹节人》通过学习提示，安排了三个不同的学习任务，引导学生体会阅读同一篇文章，目的不同，关注的内容、采用的阅读方法也会不同。

菡萏123·2024-01-14 13:38

03 - Data Processing 数据操作

然而，tensor提供GPU计算和自动求梯度等更多功能，这些使tensor更加适合深度学习。

洛八斗·2024-01-14 12:42

相比于rnn, lstm有什么优势

相对于常规的循环神经网络（RNN），长短期记忆网络（LSTM）具有以下优势：处理长期依赖性：LSTM通过引入记忆单元和门控机制来解决传统RNN中的梯度消失和梯度爆炸问题。

爱打网球的小哥哥一枚吖·2024-01-14 09:35

机器学习——向量化

对应的C++的向量化例子：线性回归算法梯度下降的更新规则的向量化梯度下降确定θ参数时，需要同时对所有的θ进行更新，θ的方程如上图所示，一般编程时可能需要写for循环，对所有的θ进行处理，如果是向量化的形式

BioLearner·2024-01-14 09:40

李沐《动手学深度学习》预备知识线性代数与微积分

动手学深度学习》预备知识张量操作与数据处理文章目录系列文章目录一、线性代数（一）标量、向量、矩阵、张量（二）张量运算的基本性质（三）降维（四）点积（五）矩阵向量积、矩阵乘法（六）范数二、微积分（导数、偏导数、梯度

丁希希哇·2024-01-14 07:52

浅谈统编小学语文教科书普通单元中语文要素的梯度落实

今天聆听了教研室关于统编教材普通单元的讲解内容，本次以五年级下册第二单元古典名著为例。我特意找来了五下的语文书研读了一番，先看看单元语文要求，1.初步学习阅读古典名著的方法；2.学习写读后感。本单元有四篇课文，两篇精读课文和两篇略读课文，《草船借箭》、《景阳冈》、《猴王出世》、《红楼春趣》。第一节课老师从课后练习题中提炼学习目标，整节课根据两个学习目标依次推进学习进程，1.能通过描写人物言行的关键

王老师和她的孩子们·2024-01-14 07:45

李沐《动手学深度学习》线性神经网络线性回归

系列文章李沐《动手学深度学习》预备知识张量操作及数据处理李沐《动手学深度学习》预备知识线性代数及微积分目录系列文章一、线性回归（一）线性回归的基本元素（二）随机梯度下降（三）矢量化加速（实例化说明）（四

丁希希哇·2024-01-14 06:01

深度学习基础教程

目录预备知识基础知识（1）PyTorch基础知识（2）线性回归模型（3）逻辑回归模型（4）全连接神经网络预备知识requires_grad：用于指示是否需要计算相应张量的梯度。

睡不醒的毛毛虫·2024-01-14 02:12

深度学习笔记（三）——NN网络基础概念（神经元模型，梯度下降，反向传播，张量处理）

文中程序以Tensorflow-2.6.0为例部分概念包含笔者个人理解，如有遗漏或错误，欢迎评论或私信指正。截图部分引用自北京大学机器学习公开课人工智能算法的主流分类首先明白一个概念，广义上的人工智能算法并不是只有MachineLearning或DeepLearning，而是一个相对的，能够使用计算机模拟人类智能在一定场景下自动实现一些功能。所以系统控制论中的很多最优控制算法同样可以称之为智能算法

絮沫·2024-01-14 00:39

权值初始化

一、梯度消失与爆炸在神经网络中，梯度消失和梯度爆炸是训练过程中常见的问题。梯度消失指的是在反向传播过程中，梯度逐渐变小，导致较远处的层对参数的更新影响较小甚至无法更新。

-恰饭第一名-·2024-01-13 23:11

Halcon滤波器sobel_amp算子

前者用于计算边缘的梯度，后者除了能表示梯度外，还能表示边缘的方向，本文主要介绍sobel_amp算子。下面以一个简单的例子说明

electrical1024·2024-01-13 21:26

自然语言处理持续更新

RNN为什么会梯度消失？RNN为什么会梯度爆炸？RNN中为什么要采用tanh而不是ReLu作为激活函数？RNN和CNN对比，RNN对文本的时间序列的优点。

搬砖成就梦想·2024-01-13 21:35

Hog与形状匹配并肩而行

想到了hog，即梯度直方图，我们为了方便，只是用了梯度角度直方图，梯度幅值直方图没有使用，我们先看一下相互验证的效果：我们匹配结果是7度，针对学习模板，学习的梯度角度是多少呢？

工业机器视觉设计和实现·2024-01-13 20:07

UCB Data100：数据科学的原理和技巧：第十三章到第十五章

十三、梯度下降原文：GradientDescent译者：飞龙协议：CCBY-NC-SA4.0学习成果优化复杂模型识别直接微积分或几何论证无法帮助解决损失函数的情况应用梯度下降进行数值优化到目前为止，我们已经非常熟悉选择模型和相应损失函数的过程

绝不原创的飞龙·2024-01-13 20:26

贝叶斯优化的基本流程

1我们可以对()求导、令其一阶导数为0来求解其最小值函数()可微，且微分方程可以直接被求解2我们可以通过梯度下降等优化方法迭代出()的最小值函数()可微，且函数本身为凸函数3我们将全域的带入()计算出所有可能的结果

今天也要加油丫·2024-01-13 13:39

C++实现LeNet-5卷积神经网络

搞了好久好久，公式推导+网络设计就推了20多页草稿纸花了近10天程序进1k行，各种debug要人命，只能不断的单元测试+梯度检验因为C++只有加减乘除，所以对这个网络模型不能有一丝丝的模糊，每一步都要理解的很透彻挺考验能力的

一只狗20000402·2024-01-13 10:16

科研绘图（二）气泡图

颜色可能代表另一个分类变量或是另一个连续变量的梯度，这里颜色的深浅对应于颜色条（ColorBar）上的值。importmatplotlib.pyplotaspltimportnumpyasnp#Ge

BZD数模社·2024-01-13 09:07

初始化网络的权重和偏置的方法有哪些？

一个好的初始化方法可以帮助加速梯度下降的收敛速度，减少训练时间，甚至有助于避免训练过程中的问题，比如梯度消失或梯度爆炸。

CA&AI-drugdesign·2024-01-13 06:46

深度卷积神经网络

Relu相比于sigmoid梯度确实更大，Maxpooling使用的是最大值，因此输出的值比较大，梯度就比较大，训练就更加容易。输入是224*224，

sendmeasong_ying·2024-01-13 06:42

Halcon边缘检测的一般流程

对输入图像使用边缘滤波器是采集后的一个关键步骤，为了获取图像的边缘部分，在读取了输入图像之后，可以使用边缘滤波器获取边缘的梯度和方向。

electrical1024·2024-01-13 02:21

残差网络学习

参考B站同济子豪兄的Resnet讲解网络退化，不是梯度消失（根本没有开始学习），梯度爆炸，过拟合。

満湫·2024-01-12 23:18

逻辑回归（ROC、AUC、KS）-python实现-内含训练数据-测试数据

一、逻辑回归理论：关注代码上线HypothesisFunction（假设函数）：1.0/(1+exp(-inX))CostFunction（代价函数）：通过梯度下降法，求最小值。

HiBJTiger·2024-01-12 22:02

最小二乘法，极大似然估计，交叉熵

这个最小值找到了，就是相当于神经网络中和人脑中判断猫的模型最相近的那个结果了缺点：用这个作为损失函数非常麻烦，不适合梯度下降。

你若盛开，清风自来！·2024-01-12 21:38

Transformer学习（一）

文章目录transformer介绍为什么处理长序列时会出现梯度消失和梯度爆炸的问题transformer为什么可以用在图像处理上？

struggle_success·2024-01-12 21:07

【强化学习的数学原理-赵世钰】课程笔记（六）随机近似与随机梯度下降

.说明性实例（llustrativeexamples）3.收敛性分析（Convergenceanalysis）4.在平均值估计中的应用（Applicationtomeanestimation）四.随机梯度下降

leaf_leaves_leaf·2024-01-12 21:00

Transformer中的layer norm(包含代码解释)

在transformer中存在add&norm操作，add操作很简单，就是把注意力矩阵和原来的矩阵相加，也就是残差链接，可以有效减少梯度消失。

牛像话·2024-01-12 19:01

深入理解循环神经网络（RNN）及其变体

目录前言1RNN实现顺序记忆1.1RNN的序列处理能力1.2梯度问题：RNN的局限性1.3应对梯度问题的策略2RNN变体：解决梯度问题2.1GRU（门控循环单元）2.2LSTM（长短期记忆网络）2.3变体优势

cooldream2009·2024-01-12 18:23

【深度学习】优化器介绍

文章目录前言一、梯度下降法（GradientDescent）二、动量优化器（Momentum）三、自适应学习率优化器前言深度学习优化器的主要作用是通过调整模型的参数，使模型在训练数据上能够更好地拟合目标函数

行走的学习机器·2024-01-12 15:32

【Python机器学习】决策树集成——梯度提升回归树

理论知识：梯度提升回归树通过合并多个决策树来构建一个更为强大的模型。虽然名字里有“回归”，但这个模型既能用于回归，也能用于分类。

zhangbin_237·2024-01-12 14:27

易 AI - 机器学习计算机视觉基础

原文：http://makeoptim.com/deep-learning/yiai-cv计算机视觉表达黑白图灰度图彩色图操作卷积均值滤波归一化统一量纲加速模型训练梯度下降GPU浮点运算小结参考链接上一篇讲解了机器学习数据集的概念以及如何收集图片数据集

CatchZeng·2024-01-12 09:41

【pytorch】使用pytorch构建线性回归模型-了解计算图和自动梯度

使用pytorch构建线性回归模型线性方程的一般形式衡量线性损失的一般形式-均方误差pytorch中计算图的作用和优势在PyTorch中，计算图（ComputationalGraph）是一种用于表示神经网络运算的数据结构。每个节点代表一个操作，例如加法、乘法或激活函数，而边则代表这些操作之间的数据流动。计算图的主要优点是可以自动进行微分计算。当你在计算图上调用.backward()方法时，PyTo

精英的英·2024-01-12 08:49

06- OpenCV：图像亮度与对比度、绘制形状与文字

园、椭圆等基本几何形状3、随机生成与绘制文本4、代码演示一、调整图像亮度与对比度1、理论图像变换可以看作如下：（1）像素变换–点操作（2）邻域操作–区域（作用：图像的卷积，图像的整体特征的提取，图像的梯度

Ivy_belief·2024-01-12 06:45

【特征工程】17种将离散特征转化为数字特征的方法

作者|SamueleMazzanti编译|VK来源|TowardsDataScience“你知道哪种梯度提升算法？”“Xgboost，LightGBM，Catboost，HistGradient。”

风度78·2024-01-12 06:34

大语言模型面试问题

求和的意思就是残差层求和，原本的等式为y=H(x)转化为y=x+H(x)，这样做的目的是防止网络层数的加深而造成的梯度消失，无法对前面网络的权重进行有效调整，导致神经网络模型退化（这种退化不是由过拟合造成的

抓个马尾女孩·2024-01-12 05:23

【论文笔记】End-to-End Diffusion Latent Optimization Improves Classifier Guidance

AbstractClassifierguidance为图像生成带来了控制，但是需要训练新的噪声感知模型(noise-awaremodels)来获得准确的梯度，或使用最终生成的一步去噪近似，这会导致梯度错位

xhyu61·2024-01-12 02:08

深度学习课程实验二深层神经网络搭建及优化

初始化6、总结三种不同类型的初始化正则化1、导入所需要的库2、使用非正则化模型3、对模型进行L2正则化（包括正向和反向传播）4、对模型进行dropout正则化（包括正向和反向传播）5、总结三种模型的结果梯度检验

叶绿体不忘呼吸·2024-01-12 00:32

XGBoost（eXtreme Gradient Boosting）

什么是机器学习XGBoost（eXtremeGradientBoosting）是一种梯度提升树算法，它在梯度提升框架的基础上引入了一些创新性的特性，以提高模型性能和训练速度。

草明·2024-01-11 23:56

matlab的BP神经网络例子程序

1.BP神经网络的设计实例例1.采用动量梯度下降算法训练BP网络。

bluesky140·2024-01-11 20:30

基于贝叶斯优化算法的深度学习LSTM模型时间序列多步预测Matlab程序代码

现在最流行的深度学习模型当属长短期记忆（LSTM）了，它属于卷积神经网络（CNN）的一种改进，具有很多优点，可以避免模型发生梯度消失和梯度爆炸，而且具有长短期记忆的功能。

胡伟成·2024-01-11 19:53

【深度学习】动手学深度学习(PyTorch版)李沐 2.4.3 梯度【公式推导】

2.4.3.梯度我们可以连接一个多元函数对其所有变量的偏导数，以得到该函数的梯度（gradient）向量。

ninding·2024-01-11 15:43

【PyTorch入门系列】5.Autograd 自动微分

torch.autograd`自动微分与`torch.autograd`Tensors,FunctionsandComputationalgraph张量、函数和计算图笔记ComputingGradients计算梯度

冰雪storm·2024-01-11 15:36

【Machine Learning】Optimization

本笔记基于清华大学《机器学习》的课程讲义梯度下降相关部分，基本为笔者在考试前一两天所作的CheatSheet。内容较多，并不详细，主要作为复习和记忆的资料。

YiPeng_Deng·2024-01-11 15:30

涛思数据获评北京市“专精特新”中小企业

近日，北京市经济和信息化局按照工业和信息化部《优质中小企业梯度培育管理暂行办法》（工信部企业〔2022〕63号）、《北京市优质中小企业梯度管理实施细则》要求，组织开展了2023年第三季度专精

涛思数据（TDengine）·2024-01-11 15:17

策略梯度算法

第九章策略梯度算法9.1简介本书之前介绍的Q-learning、DQN及DQN改进算法都是基于价值(value-based)的方法，其中Q-learning是处理有限状态的算法，而DQN可以用来解决连续状态的问题

oceancoco·2024-01-11 08:56

Gradient Descent补充

1、AdaGrad在梯度下降法中，学习率的选择和调整是非常重要的，有时直接决定了训练的质量和收敛的速度。上图展示了学习率过大或过小会产生的问题。

单调不减·2024-01-11 06:15

Deep Learning常见问题（一）

答：sigmoid在正无穷和负无穷导数非常小，此时学习速度非常慢（梯度消失），用relu可以加快学习速度。虽然relu在负半段导数为0，但在数据集足够大的情况下，一般可以让值落在正半段。

小弦弦喵喵喵·2024-01-11 04:08

推荐频道

梯度

相关滤波