ReLU激活函数

d2l_第五章学习_Multilayer Perceptrons多层感知机

但是现实中很多的关系并不仅仅是简单的线性关系，这个时候就需要引入非线性关系，而非线性关系由以下两个部分组成：HiddenLayer隐藏层和ActivicationFunction激活函数。
樱木之·2023-06-22 22:27

深度学习神经网络中隐藏层的作用

线性模型只能处理线性可分的问题，而隐藏层可以引入非线性函数（如激活函数），从而使得神经网络能够逼近任意非线性函数。特征提取和表示学习：隐藏层可以将输入
稻壳特筑·2023-06-22 21:02

激活函数总结

简介因为神经网络是线性组合,激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中.好用的激活函数具有可求且方便求导,单调平滑.下面简单介绍一下常用的激活函数
hiyoung·2023-06-22 15:33

用计算图理解和计算BP神经网络的梯度

本文所讲的也是计算图的一个应用场景：计算神经网络的梯度，包括计算激活函数和典型神经结构（也叫卷积核）的梯度：1、用计算图分解和解决激活函数的导数的计算2、用计算图分解和解决神经网络在反向传播路径上梯度的计算
科技与文明·2023-06-22 11:33

神经网络：激活函数

在计算机视觉中，激活函数是神经网络中的一种非线性函数，用于引入非线性变换和非线性特性到网络中。
Make_magic·2023-06-22 09:35

卷积神经网络--全连接层

我们讲到激活函数（ActivationFunction）,假设我们经过一个Relu之后的输出如下Relu:然后开始到达全连接层以上图为例，我们仔细看上图全连接层的结构，全连接层中的每一层是由许多神经元组成的
拉普拉斯的小妖·2023-06-22 07:43

神经网络全连接层

如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”（下面会讲到这个分布式特征）映射到样本标记空间的作用。
#free-fly·2023-06-22 07:13

神经网络：全连接层

它通过将输入数据与权重矩阵进行线性组合，并通过激活函数引入非线性变换，从而提取高层次的抽象特征。
Make_magic·2023-06-22 07:38

深入解析神经网络（Neural Networks）工作原理

目录1.神经网络的基本组成部分2.神经元和激活函数3.前向传播4.反向传播5.神经网络的层次结构6.神经网络的应用7.使用Python和TensorFlow库实现简单神经网络神经网络（NeuralNetworks
旧言.·2023-06-22 06:14

深度学习进阶篇[8]：对抗神经网络GAN基本概念简介、纳什均衡、生成器判别器、解码编码器详解以及GAN应用场景

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-22 00:13

Softmax 函数和它的误解

[导读]Softmax是个大家都熟悉的激活函数，然而，很多人只知道它的表达式，它在网络中的位置，而对一些具体的原因和细节却回答不上来。这篇文章给了相应的介绍。
数据派THU·2023-06-22 00:07

深度学习中的gelu激活函数详解

论文：gaussianerrorlinearunits(一)、什么是激活函数？
.我心永恒_·2023-06-21 21:05

GELU激活函数

GELU是一种常见的激活函数，全称为“GaussianErrorLinearUnit”,作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。
ZATuTu丶·2023-06-21 21:04

GELU激活函数介绍和笔记

GELU是一种常见的激活函数，全称为“GaussianErrorLinearUnit”,作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。这里做个笔记，以便自己查找。
夜晓岚渺渺·2023-06-21 21:04

深度学习进阶篇[9]：对抗生成网络GANs综述、代表变体模型、训练策略、GAN在计算机视觉应用和常见数据集介绍，以及前沿问题解决

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-21 04:44

第四章.误差反向传播法—ReLU/Sigmoid/Affine/Softmax-with-Loss层的实现

第四章.误差反向传播法4.2ReLU/Sigmoid/Affine/Softmax-with-Loss层的实现1.ReLU层1).公式2).导数：3).计算图：4).实现：classReLU:def__
归途^ω^·2023-06-20 20:36

深度学习--常见激活函数的实现

常见激活函数简介激活函数的初衷激活函数必须是非线性函数常见的激活函数与实现Step跃阶函数公式优点缺点应用场景代码实现效果图Sigmoid函数与代码实现公式Sigmoid函数优点Sigmoid函数缺点代码实现效果图
码上有前·2023-06-20 13:55

神经网络中的损失函数

在《神经网络中常见的激活函数》一文中对激活函数进行了回顾，下图是激活函数的一个子集——而在神经网络领域中的另一类重要的函数就是损失函数，那么，什么是损失函数呢？
半吊子全栈工匠·2023-06-20 08:58

YOLOv3

2、LeakyRelu作为激活函数，斜率是0.1。
Mr_Stark的小提莫·2023-06-19 19:32

牛客网算法八股刷题系列(二)卷积函数、随机梯度下降、ReLU

牛客网算法八股刷题系列——卷积函数、随机梯度下降、ReLU题目描述正确答案：B\mathcalBB题目解析题目描述本节并不过多针对题目中的非线性，而更多关注随机梯度下降、卷积运算自身以及卷积运算与全连接运算在动机上的差异性
静静的喝酒·2023-06-19 18:54

理解神经网络的数学原理（三）激活函数的作用

概述理解激活函数的作用能更好的解释神经网络的运行逻辑，在以前的章节中只简单概述了激活函数的作用，但是其实结论是比较草率的，这篇文章希望能谨慎的证明这些结论。
_pinnacle_·2023-06-19 12:08

一文详解Softmax的性质与Self-Attention初步解析

概述最近研究超平面排列(HyperplaneArrangement)问题的时候，发现ReLU有其缺陷，即举例来说，ReLU无法使用单一的超平面将分离的所有数据，完整的输出，即只会输出半个空间映射的数据，
_pinnacle_·2023-06-19 12:06

【人工智能】— 神经网络、前向传播、反向传播、梯度下降、局部最小值、多层前馈网络、缓解过拟合的策略

前向传播是指将输入数据从输入层开始经过一系列的权重矩阵和激活函数的计算后，最终得到输出结果的过程。在前向传播中，神经网络会将每一层的输出作为下一层的输入，直到输出层得到最终的结果。
之墨_·2023-06-19 06:23

【人工智能】— 神经网络、M-P 神经元模型、激活函数、神经网络结构、学习网络参数、代价定义、总代价

【人工智能】—神经网络神经网络的历史NeuralNetworkIntroM-P神经元模型激活函数(Activationfunction)神经网络结构举例训练神经网络学习网络参数代价定义均方误差交叉熵（CrossEntropy
之墨_·2023-06-19 06:48

华为又开始放大招了？CV新架构：VanillaNet: the Power of Minimalism in Deep Learning 论文阅读笔记

论文阅读笔记一、Abstract二、引言三、单个Vanilla的神经结构四、训练VanillaNet4.1深度训练策略4.2SeriesInformedActivationFunction五、实验5.1消融实验激活函数中
乄洛尘·2023-06-19 02:27

【深度学习入门：基于Python的理论与实现】

文章目录感知机神经网络从感知机到神经网络神经网络的例子复习感知机激活函数登场激活函数sigmoid函数阶跃函数的实现sigmoid函数的实现sigmoid函数和阶跃函数的比较ReLU函数3层神经网络的实现符号确认代码实现输出层的设计恒等函数和
CaraYQ·2023-06-18 18:09

【深度学习】tensorflow 卷积神经网络 实现手写数字识别

激活函数：tf.nn.relu(features,name=None)features:卷积后加上偏置的结果return:结果卷积层：tf.nn.conv2d(input,filter,strides=
♚人间海·2023-06-18 18:35

记录：自回归 模型在记忆 全随机序列 的潜变量 统计量爆炸现象

在24层模型+softplus4注意力激活函数的测试中，从统计量1800降低到100以内。2023/5/26更新原优化器是Lion，学习率1e-4。
ONE_SIX_MIX·2023-06-18 06:48

Python深度学习（卷积神经网络简介）--学习笔记（九）

fromkerasimportlayersfromkerasimportmodelsmodel=models.Sequential()model.add(layers.Conv2D(32,(3,3),activation='relu
呆萌的小透明·2023-06-18 02:53

深度学习基础入门篇[8]：：计算机视觉与卷积神经网络、卷积模型CNN综述、池化讲解、CNN参数计算

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-18 02:52

深度学习应用篇-计算机视觉-语义分割综述[5]：FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-17 23:36

浅层神经网络

目录1、神经网络表示2、计算神经网络的输出3、多个样本的向量化4、激活函数5、激活函数的导数6、神经网络的梯度下降法1、神经网络表示输入层：有输入特征1、2、3隐藏层：四个结点，表示你无法在训练集中看到他们
Q渡劫·2023-06-17 21:18

深度学习基础入门篇-序列模型[11]：循环神经网络 RNN、长短时记忆网络LSTM、门控循环单元GRU原理和应用详解

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-17 10:37

【深度学习】2-1 神经网络 - 激活函数

激活函数将输入信号的总和转换为输出信号，一般称为激活函数（activationfunction）。激活函数作用在于决定如何来激活输入信号的总和。
loyd3·2023-06-17 08:25

tf.layers.dense

dense全连接层，相当于添加一个层tf.layers.dense(inputs,#输入此网络的数据units,#输出维度大小，改变inputs的最后一维activation=None,#激活函数use_bias
嘻嘻口_口·2023-06-17 06:22

深度学习应用篇-计算机视觉-图像分类[3]：ResNeXt、Res2Net、Swin Transformer、Vision Transformer等模型结构、实现、模型特点详细介绍

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-17 02:35

吴恩达471机器学习入门课程2第2周——手写数字识别（0到9）

手写数字识别的神经网络0-91、导包2、ReLU激活函数3-Softmax函数4-神经网络4.1问题陈述4.2数据集4.2.1可视化数据4.3模型表示批次和周期损失(cost)4.4预测使用神经网络来识别手写数字
贰拾肆画生·2023-06-16 20:35

logits 与 pre-logits

pre-logits就是一个全连接层+tanh激活函数。举个例子importtorchimporttorch.nnasnnclassNet(nn.
Enzo 想砸电脑·2023-06-16 20:31

深度学习基础入门篇[10]：序列模型-词表示{One-Hot编码、Word Embedding、Word2Vec、词向量的一些有趣应用}

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 17:58

深度学习应用篇-计算机视觉-图像分类[2]：LeNet、AlexNet、VGG、GoogleNet、DarkNet模型结构、实现、模型特点详细介绍

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 15:13

深度学习进阶篇-预训练模型[3]：XLNet、BERT、GPT,ELMO的区别优缺点，模型框架、一些Trick、Transformer Encoder等原理详细讲解

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 13:57

人工智能领域：面试常见问题超全（深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习）

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 11:33

深度学习应用篇-元学习[16]：基于模型的元学习-Learning to Learn优化策略、Meta-Learner LSTM

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 11:32

深度学习应用篇-元学习[15]：基于度量的元学习：SNAIL、RN、PN、MN

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 11:01

深度学习实践篇[17]：模型压缩技术、模型蒸馏算法：Patient-KD、DistilBERT、DynaBERT、TinyBERT

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 11:31

轻量化网络之MobileNet V2

中间的扩展层则利用轻量级的深度卷积来提取特征引入非线性，而且，为了维持网络的表示能力作者去除了较窄层的非线性激活函数。
残剑天下论·2023-06-16 10:35

从代码里看到美？

h=relu(x)作为传递函数，它把负数统统变成0。当x为负数时，返回0，当x为正数时，返回该数。书本中的代码定义如下：defrelu(x):return(x>0)*xr
快乐冻鱼·2023-06-16 03:07

pytorch的学习与总结(第二次组会)

pytorch的学习与总结一、pytorch的基础学习1.1dataset与dataloader1.2可视化工具(tensorboard)、数据转换工具(transforms)1.3卷积、池化、线性层、激活函数
码manba·2023-06-16 01:33

Python神经网络编程学习笔记

逻辑函数)多层神经元演示只有两层，每层两个神经元的神经网络的工作矩阵大法(点乘)使用矩阵乘法的三层神经网络示例反向传播误差多个输出节点反向传播误差使用矩阵乘法进行反向传播误差更新权重梯度下降法误差函数激活函数
源代码•宸·2023-06-15 18:39

深入理解多层感知机（MLP）：原理与代码解析

文章目录1.MLP的原理1.1结构1.2激活函数1.3前向传播1.4反向传播算法2.MLP分类任务应用3.参考文献：多层感知机（MLP）是一种经典的神经网络模型，由多个神经元层组成。
旧言.·2023-06-15 09:37
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他