Relu

深度学习 常考简答题--[HBU]期末复习

8.解释死亡ReLu问题，如何解决？9.解释步长、零填充、感受野10.LSTM与GRU的区
洛杉矶县牛肉板面·2024-01-12 00:22

神经网络中的激活函数sigmoid tanh ReLU softmax函数

神经网络中的激活函数sigmoidtanhReLUsoftmax函数人工神经元简称神经元，是构成神经网络的基本单元，其中主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。一个生物神经元通常具有多个树突和一个轴突。树突用来接收信息，轴突用来发送信息。当神经元所获得的输入信号的积累超过某个阈值的时候，他就处于兴奋状态，产生电脉冲。轴突尾端有许多末梢可以给其他神经元的树突产生链接（突触），并
oceancoco·2024-01-11 08:56

Deep Learning常见问题（一）

1.为什么要用relu代替sigmoid？答：sigmoid在正无穷和负无穷导数非常小，此时学习速度非常慢（梯度消失），用relu可以加快学习速度。
小弦弦喵喵喵·2024-01-11 04:08

AlexNet论文精读

使用了大的深的卷积神经网络进行图像分类；采用了两块GPU进行分布式训练；采用了Relu进行训练加速；采用局部归一化提高模型泛化能力；重叠池化，充分利用信息，提高精度；dropout减少神经元之间的依赖性
warren@伟_·2024-01-11 02:02

模型参数访问

某一层的参数net=nn.Sequential(nn.Linear(4,8),nn.ReLU(),nn.Linear(8,1))X=torch.rand(size=(2,4))print(n
Kevin_D98·2024-01-10 07:59

【YOLO系列】 YOLOv4之Mish函数

一、简述一个新的stateoftheart的激活函数，ReLU的继任者。
江湖小张·2024-01-09 17:57

ReLu函数中inplace参数的理解

ReLu函数中inplace参数的理解x=torch.nn.functional.relu(v(x),inplace=True)inplace=True是指原地进行操作，操作完成后覆盖原来的变量。
爱科研的瞌睡虫·2024-01-09 00:57

Efficient Classification of Very Large Images with Tiny Objects（CVPR2022）

文章目录基本参数设置ColonCancer10折交叉验证（不带对比学习N=10）10折交叉验证（带对比学习N=10）N=5N=50λ=1.0λ=0采用Tanh而非Relu基本参数设置dataset：coloncancerTenCrossValidation
怎么全是重名·2024-01-08 18:21

李宏毅机器学习第一周_初识机器学习

机器学习基本概念1、MachineLearning≈LookingforFunction2、认识一些专有名词二、预测YouTube某天的浏览量一、利用Linearmodel二、定义更复杂的函数表达式三、ReLU
Nyctophiliaa·2024-01-08 14:04

经典论文之（一）——Alexnet

Alexnet简介背景数据集体系结构RectifiedLinearUnitnonlinearity（ReLU）在多个GPU上训练总体架构减少过拟合dataaugmentation数据扩充dropout丢弃法参考简介
维斯德尔·2024-01-08 12:40

PyTorch的核心模块介绍

常用函数：torch.add（加法操作）torch.relu（激活函数）torch.equ
MechMaster·2024-01-08 07:39

第二、三周周报12.17.2022-12.25.2022

模型有了一定的了解目录图片爬虫：acjsonseleniumNLP语音辨识TOKEN获取声学特征一些数据集尺度语音辨识常见模型seq2seqHMMRNN输入输出张量shape激活函数：RNN：tanh函数IRNN：RELU
weixin_51054833·2024-01-08 06:10

实现pytorch版的mobileNetV1

1.网络结构和基本组件2.搭建组件（1）普通的卷积组件：CBL=Conv2d+BN+ReLU6;（2）深度可分离卷积：DwCBL=Convdw+Convdp；Convdw+Convdp={Conv2d(
Mr.Q·2024-01-07 11:05

训练神经网络(上)激活函数

本文介绍几种激活函数,只作为个人笔记.观看视频为cs231n文章目录前言一、Sigmoid函数二、tanh函数三、ReLU函数四、LeakyReLU函数五、ELU函数六.在实际应用中寻找激活函数的做法总结前言激活函数是用来加入非线性因素的
笔写落去·2024-01-07 07:47

《动手学深度学习》学习笔记 第5章 深度学习计算

有大篇幅的描述性的文字，内容很多，笔记只保留主要内容，同时也是对之前知识的查漏补缺5.深度学习计算5.1层和块  图5.1.1:多个层被组合成块，形成更大的模型  下面的代码生成一个网络：具有256个单元和ReLU
北方骑马的萝卜·2024-01-07 03:13

Obtect Detection，物体检测10年的发展，物体检测历史最佳网络

改进之处:相对于传统方法，AlexNet通过ReLU激活函数、Dropout和数据增强提高了性能和泛化能力。特别之处:引入了深层网络和GPU加速计算
机器学习杨卓越·2024-01-06 12:31

深度学习-非线性激活函数

常见的激活函数有sigmoid，tanh，ReLU等目录1.sigmoid2.tanh3.Relu4.LeakyReLU5.随机纠正线性单元（RReLU）6.ELU7.PRelu8.SELU1.sigmoidSigmoid
ymy_ymy22·2024-01-06 06:03

深度学习笔记

激活函数激活函数可以让神经网引入非线性性质，去除线性相关特征映射，是网络捕获数据中的不同特征；relu=max（0，x）输出为0到正无穷sigmod输出为0-1形状为srelu输出为-1-1以0为中心，
warren@伟_·2024-01-06 06:24

【激活函数】GELU 激活函数

1、介绍GELU(GaussianErrorLinearUnits)是一种基于高斯误差函数的激活函数，相较于ReLU等激活函数，GELU更加平滑，有助于提高训练过程的收敛速度和性能。
daphne odera�·2024-01-05 15:28

【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数（2024最新整理）

常见的激活函数有Sigmoid、Tanh、ReLU、LeakyReLU和ELU等。1.Sigmoid激活函数Sigmoid是一种常见的非线性激活函数，输入实数值并将其压缩到(0,1)范围内。
daphne odera�·2024-01-05 15:55

自然语言处理

RNN中为什么要采用tanh而不是ReLu作为激活函数？RNN和CNN对比，RNN对文本的时间序列的优点。LSTMLSTM基本原理LSTM怎么能解决梯度消失问题？LSTM用来解决RNN的什么问题？
搬砖成就梦想·2024-01-05 12:08

51、全连接 - 特征的全局融合

Resnet50中的核心算法，除了卷积、池化、bn、relu之外，在最后一层还有一个全连接。下图是Resnet50网络结构结尾的部分，最后一层Gemm(通用矩阵乘法）实现的就是全连接操作。
董董灿是个攻城狮·2024-01-05 05:16

Pytorch与激活函数——Sigmoid函数, ReLU函数, Tanh函数

Pytorch与激活函数Sigmoid函数ReLU函数Tanh函数本章内容提示：了解常用的激活函数，利用激活函数，建立简单的三层神经网络模型。
Sophia&Anna·2024-01-04 20:36

PyTorch, 16个超强转换函数总结 ! !

文章目录前言十六个转换函数具体介绍view()t()permute()unsqueeze()squeeze()transpose()cat()stack()chunk()flip()relu()dropout
JOYCE_Leo16·2024-01-04 10:47

NNDL学期知识点总结 [HBU]

目录零碎考点第4章全连接神经网络/前馈神经网络4.1神经元4.1.1Sigmoid型函数4.1.2ReLu函数4.3前馈神经网络4.4反向传播算法卷积神经网络5.3参数学习5.4几种典型的卷积神经网络5.4.1LeNet
洛杉矶县牛肉板面·2024-01-04 07:24

YOLOv8改进 更换轻量化模型MobileNetV3

这个操作单元通过使用非线性激活函数，如ReLU6，并且在残差连接中使用线性投影，来提高网络的特征表示能
学yolo的小白·2024-01-04 04:57

50、实战 - 利用 conv + bn + relu + add 写一个残差结构

其中，relu的实现和add的实现很简单。relu算法的实现用python来写就一行：defComputeReluLayer(img):res=np.maxim
董董灿是个攻城狮·2024-01-04 00:45

Pointnet++改进：更换不同的激活函数，打造更优性能

2.本篇文章对Pointnet++进行激活函数的改进，助力解决RELU激活函数缺陷。3.专栏持续更新，紧随最新的研究内容。
AICurator·2024-01-02 21:20

深度学习｜3.6 激活函数 3.7 为什么需要非线性激活函数

激活函数主要有sigmoid函数、tanh函数、relu函数和leakyrelu函数tanh函数相比sigmoid函数是具有优势的，因为tanh函数使得输出值的平均值为0，而sigmoid函数使得输出值的平均值为
晓源Galois·2024-01-02 16:37

【机器学习】卷积神经网络----GoogLeNet网络（pytorch）

1.定义基本卷积模块BasicConv2d类是一个基本的卷积块，包含一个卷积层、批归一化层和ReLU激活函数。该类用于构建Inception模块中的各分支。
十年一梦实验室·2024-01-02 05:31

第三章 神经网络

3.2激活函数3.2.1sigmoid函数3.2.2阶跃函数的实现3.2.3阶跃函数的图形3.2.4sigmoid函数的实现3.2.5sigmoid函数和阶跃函数的对比3.2.6非线性函数（♥）3.2.7ReLU
追寻远方的人·2024-01-01 07:20

NNDL 实验五 前馈神经网络（2）自动梯度计算 & 优化问题

4.4优化问题4.4.1参数初始化4.4.2梯度消失问题4.4.2.1模型构建4.4.2.2使用Sigmoid型函数进行训练4.4.2.3使用ReLU函数进行模型训练4.4.3死亡ReLU问题4.4.3.1
喝无糖雪碧·2024-01-01 07:19

46、激活函数 - Relu 激活

本节介绍一个在神经网络中非常常见的激活函数-Relu激活函数。
董董灿是个攻城狮·2024-01-01 06:05

【吴恩达deeplearning】第一门课 - 第一周 - 深度学习引言（笔记+习题）

在图上每一个画的小圆圈都可以是ReLU的一部分，或者其它非线性的函数。基于房屋面积和卧室数量，可以估算家庭人口；基于
卷卷0v0·2024-01-01 02:15

调参

首先是数据增强，因为正常情况下，数据量往往不够，因此需要通过裁剪2数据预处理，pca，normalization，whiten3初始化权重Xavier和偏置constant4激活函数sigmoid，tanh，relu5
writ·2023-12-31 15:29

[23-24 秋学期] NNDL 作业4 前馈神经网络 HBU

3.)激活函数Sigmoid改变为Relu，观察、总结并陈述。4.)损失函数MSE用PyTorch自带函数t
洛杉矶县牛肉板面·2023-12-31 06:23

神经网络分类与回归任务

激活函数：用于引入非线性性，常见的包括ReLU、Sigmoid、Tanh等。分类任务输出层一般使用Softmax，回归任务可以使用线性激活函数。
不做梵高417·2023-12-30 10:04

霹雳吧啦Wz《pytorch图像分类》-p2AlexNet网络

《pytorch图像分类》p2AlexNet网络基础及代码一、零碎知识点1.过拟合2.使用dropout后的正向传播3.正则化regularization4.代码中所用的知识点二、总体架构分析1.ReLU
失舵之舟-·2023-12-30 05:33

pytorch机器学习各种激活函数总结（不完整学习更新中~）

pytorch各种激活函数总结0.思维导图预览1.ReLU函数2.Sigmoid函数3.Softmax函数4.Tanh函数5.
失舵之舟-·2023-12-30 05:57

量化原理入门——Folding BN RELU

本文介绍量化中如何将BatchNorm和ReLU合并到Conv中。FoldingBatchNormBatchNorm是google提出的一种加速神经网络训练的技术，在很多网络中基本是标配。
thetffs·2023-12-29 20:33

[DL]深度学习_AlexNet

AlexNet网络详解目录一、AlexNet1、详细介绍2、网络框架二、网络详解1、首次使用ReLu激活函数2、模型基本结构与双GPU实现3、局部响应归一化(LRN)4、重叠池化(OverlappingPooling
IAz-·2023-12-29 06:58

深度学习核心技术与实践之深度学习基础篇

人体各种神经元本身的构成很相似（2）早期的大脑损伤，其功能可能是以其他部位的神经元来代替实现的（3）神经元具有稀疏激活性，尽管大脑具有高达五百万亿个神经元，但真正同时被激活的仅有1%~4%神经元模型（1）ReLu
__如果·2023-12-29 01:39

掌握激活函数（一）：深度学习的成功之源

文章目录引言基本概念常用激活函数举例Sigmoid激活函数公式Sigmoid函数的数学特性示例基于NumPy和PyTorch实现Sigmoid函数将Sigmoid函数应用于二分类任务Sigmoid激活函数的局限性举例ReLU
高斯小哥·2023-12-28 22:05

详解Keras3.0 Layer API: Activation functions(激活函数)

1、常用激活函数ReLU：ReLU函数是一种常见的激活函数，其计算公式为f(x)=max(0,x)。当输入值小于0时，输出值为0；当输入值大于等于0时，输出值等于输入值。
缘起性空、·2023-12-26 12:28

43、实战 - 手写一个 batch norm 算法

在resnet50这个神经网络中，总共有conv,bn,relu,pooling,fc(全连接）,softmax这几个经典算法。
董董灿是个攻城狮·2023-12-24 23:21

全方位掌握卷积神经网络：理解原理 & 优化实践应用

计算机视觉CV的发展检测任务分类与检索超分辨率重构医学任务无人驾驶整体网络架构卷积层和激活函数（ReLU）的组合是网络的核心组成部分激活函数(ReLU）引入非线性，增强网络的表达能力。
数据与后端架构提升之路·2023-12-23 19:37

深度学习损失函数（含公式和代码）

importtensorflowastf#构建神经网络模型model=tf.keras.Sequential([  tf.keras.layers.Dense(64,activation='relu')
New___dream·2023-12-23 06:28

激活函数\梯度下降\损失函数

激活函数主要有四个:sigmoid,tanh,RELU,LeakyRELU.还有一位博主将softmax也加了进来。也有一定的道理，因为这五个小兄弟都是将一个维的向量映射为另一个维的向量。接下
阮恒·2023-12-22 18:49

梯度消失和梯度爆炸_循环神经网络：BPTT算法、梯度消失、梯度爆炸

符号定义和解释首先说明这里的推导采用的符号如下图所示：其中：是第t个时刻的输入是第t个时刻隐藏层的状态是第t个时刻的输出，比如如果我们想要预测下一个词是什么，那么可以认为计算方式为，其中的函数f代表一个非线性函数，比如tanh或者ReLU
weixin_39673601·2023-12-22 15:01

AlexNet

ReLU：将激活函数从LeNet的Sigmoid改成了ReLU，ReLU相对于Sigmoid的梯度更大。MaxPooling：
奉系坤阀·2023-12-22 03:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他