激活函数gelus

记录：自回归 模型在记忆 全随机序列 的潜变量 统计量爆炸现象

在24层模型+softplus4注意力激活函数的测试中，从统计量1800降低到100以内。2023/5/26更新原优化器是Lion，学习率1e-4。
ONE_SIX_MIX·2023-06-18 06:48

深度学习基础入门篇[8]：：计算机视觉与卷积神经网络、卷积模型CNN综述、池化讲解、CNN参数计算

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-18 02:52

深度学习应用篇-计算机视觉-语义分割综述[5]：FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-17 23:36

浅层神经网络

目录1、神经网络表示2、计算神经网络的输出3、多个样本的向量化4、激活函数5、激活函数的导数6、神经网络的梯度下降法1、神经网络表示输入层：有输入特征1、2、3隐藏层：四个结点，表示你无法在训练集中看到他们
Q渡劫·2023-06-17 21:18

深度学习基础入门篇-序列模型[11]：循环神经网络 RNN、长短时记忆网络LSTM、门控循环单元GRU原理和应用详解

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-17 10:37

【深度学习】2-1 神经网络 - 激活函数

激活函数将输入信号的总和转换为输出信号，一般称为激活函数（activationfunction）。激活函数作用在于决定如何来激活输入信号的总和。
loyd3·2023-06-17 08:25

tf.layers.dense

dense全连接层，相当于添加一个层tf.layers.dense(inputs,#输入此网络的数据units,#输出维度大小，改变inputs的最后一维activation=None,#激活函数use_bias
嘻嘻口_口·2023-06-17 06:22

深度学习应用篇-计算机视觉-图像分类[3]：ResNeXt、Res2Net、Swin Transformer、Vision Transformer等模型结构、实现、模型特点详细介绍

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-17 02:35

吴恩达471机器学习入门课程2第2周——手写数字识别（0到9）

手写数字识别的神经网络0-91、导包2、ReLU激活函数3-Softmax函数4-神经网络4.1问题陈述4.2数据集4.2.1可视化数据4.3模型表示批次和周期损失(cost)4.4预测使用神经网络来识别手写数字
贰拾肆画生·2023-06-16 20:35

logits 与 pre-logits

pre-logits就是一个全连接层+tanh激活函数。举个例子importtorchimporttorch.nnasnnclassNet(nn.
Enzo 想砸电脑·2023-06-16 20:31

深度学习基础入门篇[10]：序列模型-词表示{One-Hot编码、Word Embedding、Word2Vec、词向量的一些有趣应用}

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 17:58

深度学习应用篇-计算机视觉-图像分类[2]：LeNet、AlexNet、VGG、GoogleNet、DarkNet模型结构、实现、模型特点详细介绍

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 15:13

深度学习进阶篇-预训练模型[3]：XLNet、BERT、GPT,ELMO的区别优缺点，模型框架、一些Trick、Transformer Encoder等原理详细讲解

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 13:57

人工智能领域：面试常见问题超全（深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习）

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 11:33

深度学习应用篇-元学习[16]：基于模型的元学习-Learning to Learn优化策略、Meta-Learner LSTM

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 11:32

深度学习应用篇-元学习[15]：基于度量的元学习：SNAIL、RN、PN、MN

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 11:01

深度学习实践篇[17]：模型压缩技术、模型蒸馏算法：Patient-KD、DistilBERT、DynaBERT、TinyBERT

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-16 11:31

轻量化网络之MobileNet V2

中间的扩展层则利用轻量级的深度卷积来提取特征引入非线性，而且，为了维持网络的表示能力作者去除了较窄层的非线性激活函数。
残剑天下论·2023-06-16 10:35

pytorch的学习与总结(第二次组会)

pytorch的学习与总结一、pytorch的基础学习1.1dataset与dataloader1.2可视化工具(tensorboard)、数据转换工具(transforms)1.3卷积、池化、线性层、激活函数
码manba·2023-06-16 01:33

Python神经网络编程学习笔记

逻辑函数)多层神经元演示只有两层，每层两个神经元的神经网络的工作矩阵大法(点乘)使用矩阵乘法的三层神经网络示例反向传播误差多个输出节点反向传播误差使用矩阵乘法进行反向传播误差更新权重梯度下降法误差函数激活函数
源代码•宸·2023-06-15 18:39

深入理解多层感知机（MLP）：原理与代码解析

文章目录1.MLP的原理1.1结构1.2激活函数1.3前向传播1.4反向传播算法2.MLP分类任务应用3.参考文献：多层感知机（MLP）是一种经典的神经网络模型，由多个神经元层组成。
旧言.·2023-06-15 09:37

深度学习入门——神经网络

每个神经元接收来自上一层神经元的输入，并根据权重和激活函数对输入进行加权处理，然后将输出传递给下一层神经元。
fly2022.·2023-06-15 00:09

python 画激活函数（8种）

直接看代码#importpandasaspd#fromscipyimportstatsimportmathimportmatplotlib.pyplotaspltimportnumpyasnpx=np.linspace(-10,10)#####绘制sigmoid图像fig=plt.figure(figsize=(10,5))y_sigmoid=1/(1+np.exp(-x))ax=fig.add_
石头儿啊·2023-06-14 17:20

深度学习应用篇-元学习[13]：元学习概念、学习期、工作原理、模型分类等

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-14 12:26

深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-14 12:22

pytorch深度学习框架—torch.nn模块（二）

pytorch深度学习框架—torch.nn模块（二）激活函数pytorch中提供了十几种激活函数，常见的激活函数通常为S形激活函数（Sigmoid）双曲正切激活函数(Tanh)和线性修正单元（ReLu
程序小旭·2023-06-14 06:57

PyTorch from scratch

Pytorch实战8Dataloader与Dataset9图像预处理transforms10模型创建与nn.Module11模型容器与AlexNet构建12网络层--卷积层13网络层---池化、线性、激活函数层
crunch114·2023-06-14 05:58

CNN按钮报告

该架构如下图所示：每个卷积层使用卷积核和一个sigmoid激活函数。这些层将输入映射到多个二维特征输出，通常同时增加通道的数量。第一卷积层有6个输出通道，而第二个卷积层有16个输出通道。
skpl_w·2023-06-14 02:44

【机器学习】名词整理

1.2epoch1.3iteration1.4learningrate/学习率1.5loss/损失函数1.6梯度下降法1.7优化器1.8kernel/内核1.9filter/滤波器1.10padding/填充二、激活函数
半斤烧白_liquor·2023-06-14 02:14

什么是感知机——图文并茂，由浅入深

什么是感知机——图文并茂，由浅入深文章目录什么是感知机——图文并茂，由浅入深引言感知机的引入宝宝版青年版老夫聊发少年狂版激活函数感知机的应用与门或门感知机与深度学习感知机与神经网络感知机和深度学习什么关系呢
四臂西瓜·2023-06-13 16:49

深度学习应用篇-推荐系统[12]：经典模型-DeepFM模型、DSSM模型召回排序策略以及和其他模型对比

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-13 14:51

深度学习应用篇-推荐系统[11]：推荐系统的组成、场景转化指标（pv点击率,uv点击率,曝光点击率）、用户数据指标等评价指标详解

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-13 14:20

Yolov5 utils/activations.py解析

与激活函数实现相关代码对于激活函数得重新实现，防止在有些模型中无法直接调用nn自带函数#Activationfunctionsimporttorchimporttorch.nnasnnimporttorch.nn.functionalasF
鲨鱼狂飙·2023-06-13 11:22

感知器梯度下降python实现

代码如下：defh(m,n):#求和return(w1*m+w2*n+z)#激活函数，改变它，可以训练出自适应的权重和偏置deff(sum):return1ifsum>0else-1#不要设为0，0周围分正负
wazsd1·2023-06-13 10:44

机器学习-11 BP神经网络

BP神经网络神经网络介绍前馈神经网络BP神经网络BP神经网络的核心思想误差反向传播算法BP网络结构反馈神经网络自组织神经网络神经网络相关概念激活函数Sigmoid函数tanh双曲正切函数ReLU函数LeakyRuLU
so.far_away·2023-06-13 04:12

pytorch深度学习框架—torch.nn模块（一）

包括了卷积层，池化层，激活函数层，循环层，全连接层。卷积层pytorch中针对使用场景的不同，有一维卷积，二维卷积，三维卷积和转置卷积等。都可以从torch.nn模块中进行调用。
程序小旭·2023-06-13 02:14

卷积神经网络（CNN）原理与应用

在本文中，我将介绍CNN的基本原理，包括卷积、池化、非线性激活函数等，并提供使用PyTorch实现CNN的代码示例。
PyTechShare·2023-06-13 01:31

从头开始编写BP，不使用MATLAB工具箱，纯手写matlab代码，以BP分类为例

编程时，激活函数选择Sigmoid函数，还是以经典的红酒数据为例，废话不多说，接下来直接上代码！
今天吃饺子·2023-06-13 00:42

深度学习笔记(续)——数值稳定性、模型初始化与激活函数

深度学习笔记[续]——数值稳定性、模型初始化与激活函数引言回顾：没有激活函数参与，输入输出分布的变化情况Xavier\text{Xavier}Xavier方法存在激活函数的情况假设激活函数是线性函数激活函数的底层逻辑总结引言继续上一节介绍激活函数在神经网络前馈
静静的喝酒·2023-06-12 19:34

深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-12 14:18

深度学习应用篇-自然语言处理-命名实体识别[9]：BiLSTM+CRF实现命名实体识别、实体、关系、属性抽取实战项目合集（含智能标注）【上篇】

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-12 14:47

深度学习应用篇-自然语言处理-命名实体识别[9]：BiLSTM+CRF实现命名实体识别、实体、关系、属性抽取实战项目合集（含智能标注）【下篇】

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-12 14:15

ReLU的线性与非线性

为什么relu这种“看似线性”（分段线性）的激活函数所形成的网络，居然能够增加非线性的表达能力。1、首先什么是线性的网络，如果把线性网络看成一个大的矩阵M。
zhanderson·2023-06-12 12:01

pytorch学习总结之模型网格结构搭建

模型网格结构搭建模型网格结构搭建nn.module类nn.Sequential类其有三种实现方法nn.Conv2d()nn.BatchNorm2d()nn.Dropout2d激活函数LeakyReLu模型网格结构搭建
一只没有情感的机器猪·2023-06-12 10:46

【神经网络chapter2】理论基础

反向传播（backpropagation）带权输入第l层第j个神经元的错误量（误差）BP4的结果是从低激活量神经元输出的权重会学习缓慢（目前还不知道解决办法）激活函数感知机==》sigmoid==》ReLU1
小透明苞谷·2023-06-12 10:12

权重初始化方法

随机初始化深度模型中一般都能用，但有缺陷：随机数生成其实也是在均值为0、方差为1的高斯分布中采样，当神经网络的层数增多，激活函数（tanh）的输出值越接近0，会导致梯度非常接近0，然后梯度消失pre-train
卖女孩的潇火柴·2023-06-12 08:11

深度学习应用篇-计算机视觉-视频分类[8]：时间偏移模块（TSM）、TimeSformer无卷积视频分类方法、注意力机制

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-12 04:05

深度学习应用篇-计算机视觉-OCR光学字符识别[7]：OCR综述、常用CRNN识别方法、DBNet、CTPN检测方法等、评估指标、应用场景

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-12 04:33

深度学习（Pytorch）：Softmax回归

Softmax回归引入了softmax激活函数来将输出转换为合理的概率分布。与线性回归不同的是，Softmax回归的输出单元从⼀个变成了多个，因此Softmax回归的输入为向量。
冲鸭嘟嘟可·2023-06-11 16:47

YOLOv5白皮书-第Y6周：模型改进

目录一、改进网络结构设计1改进的注意力机制2多尺度特征融合3改进的激活函数二数据增强和数据平衡1数据增强2数据平衡3注意事项三、模型融合策略1投票策略2加权平均策略3特征融合策略4其他模型融合策略本文为
派大星先生c·2023-06-11 13:03
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他