ReLU

pytorch学习7-序列模型搭建

Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU
Magic171·2023-12-06 07:19

pytorch学习1-数据加载以及Tensorboard可视化工具

Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU
Magic171·2023-12-06 07:49

pytorch学习2-Transforms主要方法使用

Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU
Magic171·2023-12-06 07:49

pytorch学习3-torchvisin和Dataloader的使用

Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU
Magic171·2023-12-06 07:49

pytorch学习6-非线性变换（ReLU和sigmoid）

Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU
Magic171·2023-12-06 07:45

【深度学习笔记】07 多层感知机

07多层感知机多层感知机在网络中加入隐藏层从线性到非线性激活函数ReLU函数sigmoid函数tanh函数多层感知机的从零开始实现初始化模型参数激活函数模型损失函数训练多层感知机的简洁实现模型多层感知机在网络中加入隐藏层我们可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制
LiuXiaoli0720·2023-12-06 00:49

Activation funcions--Swish Mish

Swishf(x)=x·sigmoid(x)GoogleBrainTeam提出GoogleBrainTeam表示Swish的效果比ReLU好self-gating:其中gating其实就是公式里的sigmoid
江江江江枫渔火·2023-12-05 04:35

21、Resnet50 中包含哪些算法？

总共卷积算法、激活算法（relu）、最大池化算法、加法（主要是为了实现残差结构）、全局平均池化、全连接和softmax算法这几种算法。
董董灿是个攻城狮·2023-12-04 15:40

nn.relu和F.rulu的区别

先来看看nn.ReLU的源码，可以看到其实在forward中nn.relu是调用了F.relu函数的：classReLU(Module):r"""Appliestherectifiedlinearunitfunctionelement-wise
不是吧这都有重名·2023-12-04 05:07

CV baseline概览|AlexNet：ImageNet Classification with Deep Convolutional Neural Networks基于深度卷积神经网络的图像分类

文章目录CVbaseline重要性CNN发展历程演化路径AlexNet概览AlexNet全文翻译摘要1引言2数据集3网络结构3.1ReLU非线性激活函数3.2在多GPU上训练3.3局部响应标准化LRN3.4
源代码•宸·2023-12-04 01:26

神经网络的基本骨架--nn.Module的使用

__init__()self.conv1=nn.Conv2d(1,20,5)self.conv2=nn.Conv2d(20,20,5)defforward(self,x):x=F.relu(self.conv1
CODING_LEO·2023-12-03 12:02

多层感知机

relu函数importtorchfromd2limporttorchasd2lx=torch.arange(-8.0,8.0,0.1,requires_grad=True)y=torch.relu(x
CODING_LEO·2023-12-03 12:01

每天五分钟计算机视觉：AlexNet网络的结构特点

2、Alex使用了ReLu激活函数，使得模型收敛得更快，解决了sigmoid激活函数所存在的梯度弥散的问题。3、Alex使用了dropout层，这可以有效地防止过拟合的问题。4
幻风_huanfeng·2023-12-03 06:51

19、什么是 Resnet50 神经网络

在这一节实战中，我们构建了一个简单的识别数字的神经网络，这个网络结构之所以简单，一是因为层数少，二是因为结构是顺序的，没有其他分支结构，表示起来大概就像是：conv->relu->conv->relu-
董董灿是个攻城狮·2023-12-02 17:26

激活函数——Relu,Swish

形式如下:relu公式-----steppedsigmoid-------softplusfunction-------Relfunction其中--------sigmoid下面解释上述公式中的softplus
乔大叶_803e·2023-12-02 14:51

深度学习——激活函数汇总

深度学习——激活函数汇总一、ReLU一、ReLU参考资料：https://zhuanlan.zhihu.com/p/428448728
William.csj·2023-12-01 20:03

深度学习基础概念

激活函数（ActivationFunction）：学习常见的激活函数，如Sigmoid、ReLU等，以及它们在神经网络中的作用。
yuer629·2023-11-29 00:01

深度学习激活函数总结（sigmoid，tanh，ReLU，Leaky ReLU，EReLU，PReLU，Softmax，Swish，Maxout，Softplus）

摘要本文总结了深度学习领域最常见的10中激活函数（sigmoid、Tanh、ReLU、LeakyReLU、ELU、PReLU、Softmax、Swith、Maxout、Softplus）及其优缺点。
雪的期许·2023-11-29 00:30

EfficientViT:高分辨率密集预测的多尺度线性注意

EfficientViT:Multi-ScaleLinearAttentionforHigh-ResolutionDensePrediction1、介绍2、方法2.1多尺度线性注意模块2.1.1启用全局接收域与ReLU
毕竟是shy哥·2023-11-28 22:49

不同激活函数与对应的初始化方法

1.ReLu.当使用ReLu激活函数时，需要使用正态分布的初始化方法，给参数加一点噪声，来打破完全对称并且避免0梯度。有时还需要给偏置附上一些小的非0值来避免deadneuron，比如0.1。
zZ_efa3·2023-11-28 19:11

自己动手实现一个深度学习算法——八、深度学习

•激活函数是ReLU。•全连接层的后面使用Drop
千里之行起于足下·2023-11-28 19:13

总结一下sigmoid函数

在二分类0，1任务中，经过卷积、正则化、激活函数ReLU等操作之后，假如生成了一个(B,1,1,1)的张量,每个值在（无穷小，无穷大）之间，经过sigmoid函
weixin_44194001·2023-11-28 00:48

计算机视觉面试题-03

1、简单介绍一下sigmoid，relu，softplus，tanh，RBF及其应用场景这里简单介绍几个激活函数及其应用场景：Sigmoid函数（Logistic函数）：公式：sigma(x)=11+e
普通研究者·2023-11-27 20:26

00- 深度学习之TensorFlow (综述2)

知识要点tf.keras.layers.Dense(32,activation="relu")#全连接层，输出最后一维维度为32，激活函数为relu，输出形状为(None,32,32).三TensorFlow
处女座_三月·2023-11-26 12:12

机器学习之激活函数

激活函数目录激活函数一、为什么需要激活函数二、常见的激活函数1.Sigmoid2、tanh3、ReLU4、LeakyReLU5、ELU6、Maxout三、如何选择合适的激活函数一、为什么需要激活函数神经网络单个神经元的基本结构由线性输出
刘不饱·2023-11-26 09:00

深度学习问题2 超参数、激活函数、batch-size

3.sigmod-logistic函数的优缺点4.logistic和tanh函数的对比和优缺点5.relu的优缺点6.batch_size的概念和值的选择？1.什么是超参数？
小葵向前冲·2023-11-26 09:00

TensorFlow学习记录：激活函数

神经网络中常用的激活函数有Sigmoid、Tanh和Relu等。1.Sigmoid函数Sigmoid函数的数学公式为f(x)=11+e−xf(x)=\tfrac{1}{1+e^{-x}}f(x)=
Barcelooooooooona·2023-11-25 18:46

神经网络之激活函数面面观

日常coding中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等等。不过好像忘了问自己一(n)件事：为什么需要激活函数？激活函数都有哪些？都长什么样？有哪些优缺点？
mydear_11000·2023-11-25 16:54

BP神经网络下MNIST字体识别

1.BP神经网络神经网络又称多层感知机，主要包括前馈和反向传播算法，对不同的任务，构建包含不同单元数的隐含层，融合合适的激活函数（Sigmoid、softmax、tanh，ReLu等）。
Silence_Dong·2023-11-25 06:03

深度学习常见激活函数：ReLU，sigmoid，Tanh，softmax，Leaky ReLU，PReLU，ELU整理集合，应用场景选择

文章目录1、ReLU函数（隐藏层中是一个常用的默认选择）1.1优点1.2缺点2、sigmoid函数2.1优点2.2缺点3、Tanh函数3.1优点3.2缺点4、softmax函数（多分类任务最后一层都会使用
JJxiao24·2023-11-24 02:04

TensorRT6

参考https://arleyzhang.github.io/articles/7f4b25ce/主要通过合并层和降低精度实现加速以inception结构为例,将conv,bias,relu串行融合成一个
D_Major·2023-11-23 14:11

13、深度学习之神经网络

只不过，每一个神经元换成了一个个算法，比如卷积算法，而突触对于神经元的激活则换成了激活函数，比如Relu激活函数。上图是我用Netron打
董董灿是个攻城狮·2023-11-22 19:42

deeplearning AI 笔记-1.1

image神经网络方面的一个巨大突破是从sigmoid函数转换到一个ReLU函数，
安于此生__·2023-11-22 17:39

（动手学习深度学习）第4章多层感知机

是最早的模型之一它的求解算法等价于使用批量大小为1的梯度下降它不能拟合XOR函数，导致了第一次AI寒冬4.1.2多层感知机总结多层感知机使用隐藏层和激活函数来得到非线性模型常用激活函数是Sigmoid，Tanh，ReLu
深度学习炼丹师-CXD·2023-11-22 03:14

动手学习pytorch之【感知机】——基础神经网络代码实现

ReLU线性修正函数是最受欢迎的激活函数（RELU(x)=max(x,0))。
皇皇零岁·2023-11-22 03:42

【机器学习】035_多层感知机Part.3_简洁实现多层感知机

importtorchfromtorchimportnnfromd2limporttorchasd2l#Flatten()函数将28x28的区域平铺为一维向量#Linear()函数定义一个全连接神经网络层（密集层），将784个输入转换为256个隐藏单元#ReLU
Cyan.__·2023-11-22 02:38

对XGboost和CNN的理解

52849091CNN:https://blog.csdn.net/woaijssss/article/details/79535052输入层:去均值、归一化、PCA/SVD降维等卷积层:权值共享激活层:首先ReLU
Chloris_·2023-11-21 18:07

机器学习初探：（八）神经网络 - 1

（八）神经网络-1图片出处文章目录（八）神经网络-1神经网络（Neuralnetworks）神经元模型逻辑回归vs感知机多层网络多层网络的表示多层前馈神经网络几种激活函数Sigmoid函数tanh函数ReLU
黑洞拿铁·2023-11-21 00:40

激活函数σ、tanh、relu、Leakyrelu、LR_BP反向传播推导

激活函数1-SIgmoid1-1sigmoid导数2-tanh2-1tanh函数导数3-ReLU4-LeakyReLu5-LR公式推导Sigmoid、tanh、ReLU、LeakyReLu1-SIgmoidsigmoid
Elvis_hui·2023-11-20 10:12

A FUNCTION SPACE VIEW OF BOUNDED NORM INFINITE WIDTH RELU NETS: THE MULTIVARIATE CAS

满足wT^TTx=b的点x的红线定义了f(x)上积分的区域，其中w决定直线方向，b决定直线离原点的距离。红色曲线表示对f(x)=δ(x-(-1,-1))的拉东变换的支撑集，绿色曲线表示对f(x)=δ(x-(1,0))，蓝色曲线表示对f(x)=δ(x-(0,1))。如果一个函数f是此类δ函数的叠加，那么R{f}是(b)中曲线的和；这通常被称为“正弦图”。R∗{φ}^*\{\varphi\}∗{φ}(
宇来风满楼·2023-11-19 08:37

人工智能-深度学习之残差网络（ResNet）

每个卷积层后接一个批量规范化层和ReLU激活函数。然后我们通过跨层数据
白云如幻·2023-11-16 06:41

自己动手实现一个深度学习算法——六、与学习相关的技巧

1.参数的更新1）SGD2）Momentum3）AdaGrad4）Adam5）最优化方法的比较6）基于MNIST数据集的更新方法的比较2.权重的初始值1）权重初始值不能为02）隐藏层的激活值的分布3）ReLU
千里之行起于足下·2023-11-16 06:14

聊聊神经网络结构以及计算量和内存使用

目录1.前言2.torchsummary3.torchstat3.1Conv层计算FLOPs和MAC3.2ReLU计算FLOPs和MAC3.3MaxPool计算FLOPs和MAC3.4fc计算FLOPs
Henry_zhangs·2023-11-13 17:40

深度学习——ReLU激活函数的用法和作用

一、ReLU激活函数的介绍ReLU函数的定义如下：对于输入x，如果x大于等于0，则输出为x本身；如果x小于0，则输出为0。可以表示为ReLU(x)=max(0,x)。
o涂鸦小巷的菇凉o·2023-11-12 15:25

自己动手实现一个深度学习算法——五、误差反向传播法

）局部计算4）计算图解题优点2.链式法则1）计算图的反向传播2)什么是链式法则3）链式法则和计算图3.反向传播1）加法节点的反向传播2）乘法的反向传播3）苹果的例子4）简单实现4.激活函数层的实现1)ReLU
千里之行起于足下·2023-11-11 07:14

将Keras模型导出为SavedModel模型

self):"""构建多输入模型"""input_x=Input(shape=(self.feature_dim,),name='inputs')hidden=Dense(256,activation='relu
丫头片子不懂事·2023-11-11 06:10

【PyTorch实战演练】AlexNet网络模型构建并使用Cifar10数据集进行批量训练（附代码）

目录0.前言1.Cifar10数据集2.AlexNet网络模型2.1AlexNet的网络结构2.2激活函数ReLu2.3Dropout方法2.4数据增强3.使用GPU加速进行批量训练4.网络模型构建5.
使者大牙·2023-11-11 02:42

深度学习原理23——激活函数

激活函数类型2.1softmax（一般只用于最后一层进行分类,准确说应该叫分类函数了）2.2Sigmoid2.3tanh函数（thehyperbolictangentfunction，双曲正切函数）：2.4ReLU1
晓码bigdata·2023-11-11 01:48

深度学习——激活函数(Sigmoid/ReLU/Softplus/Swish/Maxout)

激活函数的作用激活函数对于深度学习来说非常的重要，我们假设现在有n个神经元x1,…,xnx_1,\dots,x_nx1,…,xn，其参数为w1,…,wnw_1,\dots,w_nw1,…,wn，偏置为b。z=∑i=1nwixi+bz=\sum_{i=1}^{n}w_ix_i+bz=i=1∑nwixi+ba=f(z)a=f(z)a=f(z)其中f为激活函数。我们可以发现如果没有激活函数的话，那么神经
weixin_43216017·2023-11-11 01:16

机器学习——激活函数sigmoid、tanh、ReLU和softmax

激活函数，就是使得神经网络具有的拟合非线性函数的能力，使得其具有强大的表达能力！关于激活函数，首先要搞清楚的问题是，激活函数是什么，有什么用？不用激活函数可不可以？答案是不可以。一、激活函数1.1什么是激活函数：在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。具体来说，神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值
也许明天_Martina·2023-11-11 01:13
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他