激活函数gelus

Improving Deep Neural Network学习笔记

1超参数在学习率、梯度下降的循环次数（iteration）、隐藏层数目（L）、隐藏层神经元个数、激活函数、momentum、batchsi
佳雨初林·2024-01-21 17:42

语音分离论文：Conv-TasNet：Surpassing Ideal Time–Frequency Magnitude Masking for Speech Separation

Conv-TasNet:SurpassingIdealTime–FrequencyMagnitudeMaskingforSpeechSeparation目录Conv-TasNet模型深度可分离卷积Cov-TasNet中激活函数参考文献
maplesea7·2024-01-21 13:29

李沐深度学习-激活函数/多层感知机文档

multilayerperceptron(MLP)：多层感知机(多层神经网络)(hiddenlayer)隐藏层：介于输入层和输出层之间的网络层输入层不涉及计算，如果一个神将网络由三层组成，则多层感知机层数为2多层感知机中隐藏层和输出层都是全连接隐藏层的输出(也叫隐藏层变量或隐藏变量)隐藏层单元个数≠隐藏层变量个数将隐藏层的输出作为输出层的输入，联立后得到的式子依然从形式上等价于一个单层神经网络原因
大小猫吃猫饼干·2024-01-21 07:54

李沐《动手学深度学习》多层感知机 模型概念和代码实现

动手学深度学习》预备知识线性代数及微积分李沐《动手学深度学习》线性神经网络线性回归李沐《动手学深度学习》线性神经网络softmax回归目录系列文章一、多层感知机（一）隐藏层（提出原因、方式、多层感知机）（二）激活函数
丁希希哇·2024-01-21 04:46

ReLU函数

ReLU函数，全称为修正线性单元（RectifiedLinearUnit），是深度学习中常用的激活函数。
jiang_changsheng·2024-01-20 15:42

Pytorch 与 Tensorflow对比学习 第3周：进阶主题 Day 15-16: 卷积神经网络（CNN）

激活函数：理解了ReLU（RectifiedLinearUnit）作为激活函数在CNN中的广泛应用，用于增加非线性
M.D·2024-01-20 06:56

Pytorch学习第二周--Day 12-13: 构建你的第一个神经网络

选择合适的激活函数，如ReLU。定义损失函数和优化器，例如使用交叉熵损失和
M.D·2024-01-20 06:16

Pytorch第2周：深度学习基础 - Day 8-9: 神经网络基础

激活函数：引入非线性因素，使网络能够学习复杂的模式，如ReLU、Sigmoid、Tanh等。使用PyTorch的nn模块：
M.D·2024-01-20 06:16

（二）深度学习入门：神经网络的前向传播

目录前言一、神经网络的基本结构二、激活函数三、神经网络输出层的设计前言上一篇我们解决了感知机模型的基本定义和应用，本次我们在感知机的基础上探讨感知机构成神经网络的一些细节，了解神经网络前向传播的过程，重点理解激活函数存在的意义
油炸大聪明·2024-01-19 17:33

大模型关键技术：上下文学习、思维链、RLHF、参数微调、并行训练、旋转位置编码、模型加速、大模型注意力机制优化、永久记忆、LangChain、知识图谱、多模态

大模型关键技术大模型综述上下文学习思维链CoT奖励建模参数微调并行训练模型加速永久记忆：大模型遗忘LangChain知识图谱多模态大模型系统优化AI绘图幻觉问题从GPT1-GPT4拆解GPTs对比主流大模型技术点旋转位置编码层归一化激活函数注意力机制优化大模型综述你知道嘛
Debroon·2024-01-19 14:14

神经网络激活函数--Sigmoid、Tanh、Relu、Softmax

本文主要总结了Sigmoid、Tanh、Relu、Softmax四种函数；给出了函数的形式，优缺点和图像。sigmoid和Tanh函数的导数简单，但是可能出现梯度弥散。ReLU函数仅保留正元素，有良好的特性。Softmax一般是用于分类最后一层的归一化。目录1.Sigmoid函数2.Tanh函数3.Relu函数4.Softmax函数四种函数的图像：1.Sigmoid函数形式：特点：Sigmoid函
远离科研，保命要紧·2024-01-19 08:27

深度学习笔试题（一）

一、单选题（1-20题）1、这些图中的哪一个表示sigmoid激活函数？
beyond谚语·2024-01-19 07:50

机器学习之常用激活函数

它的主体结构如下：激活函数常用类型有：线性激活函数、符号激活函数、Sigmoid激活函数、tanh激活函数、高斯激活函数、ReLU、GeLU等线性激活函数：f(x)=kx+cf(x)=kx+cf(x)=
WEL测试·2024-01-18 11:08

FCN全卷积网络Fully Convolutional Networks

如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层和卷积层可实现相互转换。参数冗余。
踩坑第某人·2024-01-18 10:24

【深度学习入门】深度学习基础概念与原理

（2）神经网络基本结构2、激活函数的作用和选择（1）什么是激活函数？（2）激活函数的作用与选择3、损失函数的定义和选择（1）什么是损失函数（2）损失函数的选择4、
代码骑士·2024-01-18 07:38

深度学习入门基于Python的理论与实现（第3章 神经网络）

“朴素感知机”是指单层网络，指的是激活函数使用了阶跃函数的模型。“多层感知机”是指神经网络，即使用sigmoid函数等平滑的激活函数的多层网络。
无思不晓·2024-01-17 12:16

深度学习 基本概念

定义一个深度学习模型，通常需要解决3个问题：1）激活函数，也就是先对于输入神经元的激活值。一般的有log
不存在的里皮·2024-01-16 22:38

【Python】Sigmoid和Hard Sigmoid激活函数对比总结及示例

Sigmoid和HardSigmoid是两种常用的激活函数，它们在神经网络中起到非线性变换的作用。
木彳·2024-01-16 06:01

吴恩达深度学习学习笔记-7建立神经网络

例如，有多少层网络每层含有多少个隐藏单元学习率各层采用哪些激活函数…这些决策无法一次决定好，通常在项目启动时，我们会先有一个初步想法，然后编码，并尝试运行这些代码，再根据结果完善自己的想法，改变策略。
猪猪2000·2024-01-16 02:03

吴恩达深度学习--神经网络的优化(1)

激活函数的选择等等。实际上很难第一次就确定好这些参数，大致过程是：先确定初始参数，构建神经网络模型，然后通过代码实现该模型，之后进行试验确定模型的性能。
Kangrant·2024-01-16 02:30

sigmoid函数求导、求极值（史上最详细）

在机器学习、深度学习中，激活函数有时会使用到Sigmoid函数。
TFATS·2024-01-15 17:26

感知器学习算法和Adaline规则

为了解决感知器的线性可分问题，在20世纪80年代多层感知器（MLP）被引入，通过在感知器之间增加多个层次和非线性激活函数，这为神经
Algorithm_Engineer_·2024-01-15 16:08

深度学习笔记（六）——网络优化（2）：参数更新优化器SGD、SGDM、AdaGrad、RMSProp、Adam

并且了解了激活函数和损失函数在神经网络中发挥的重要用途，其中，激活函数优化了神经元的输出能力，损失函数优化了反向传播时参数更新的趋势。我们知道在简单的反
絮沫·2024-01-15 10:49

机器学习 | 卷积神经网络

实验工作还需要对激活函数的选择、
rookiexiong·2024-01-15 08:23

PyTorch中的nn.LeakyReLU()、nn.Module和nn.ModuleList

一.nn.LeakyReLU()函数  在PyTorch中，nn.LeakyReLU()是一个激活函数，用于引入非线性性到神经网络中。
NLP工程化·2024-01-15 07:59

感知机（二分类模型）

σ(x)为激活函数，每个激活层都要有一个激活函数，但是激活函数不能是线性函数。2.感知机训练：如果预测值错误，对权重和偏移量进行更新后重新执行，直到所有数据分类正确才结束训练。
姓蔡小朋友·2024-01-15 07:49

大数据深度学习ResNet深度残差网络详解：网络结构解读与PyTorch实现教程

激活函数初始化方法网络深度如何解决梯度消失问题三、残差块（ResidualBlocks）基础残差块的核心思想结构组成残差块
星川皆无恙·2024-01-15 06:14

自然语言处理学习笔记（通俗白话）

4，最小二乘法的一点见解5，卷积网络发展激活函数卷积神经网络：空洞卷积RNNLSTM（长的_短期记忆网络）考点总结：1，TransformerTransformer经典模型：简单理解编码器(Encoding
小威程序员·2024-01-14 22:13

[学习笔记]刘知远团队大模型技术与交叉应用L2-Neural Network Basics

由参数w、b以及激活函数f来构成。单层神经网络多个单个神经元组成单层神经网络。矩阵表示多层
N刻后告诉你·2024-01-14 21:47

PyTorch项目源码学习（3）——Module类初步学习

一般来说，计算图上所有的子图都可以是Module的子类，包括卷积，激活函数，损失函数节点以及相邻节点组成的集合等等，注意这里的关键词是“节点”，Module族类在计算图中主要起到搭建结构的作用，而不涉及运算逻辑的具体实现
_int_me·2024-01-14 20:10

深度学习面试题

（2）梯度消失、梯度爆炸梯度消失：这本质上是由于激活函数的选择导致的，最简单的sigmoid函数为例，在函数的两端梯度求导结果非常小
AI信仰者·2024-01-14 17:35

大数据深度学习卷积神经网络CNN：CNN结构、训练与优化一文全解

卷积神经网络概述二、卷积神经网络层介绍2.1卷积操作卷积核与特征映射卷积核大小多通道卷积步长与填充步长填充空洞卷积（DilatedConvolution）分组卷积（GroupedConvolution）2.2激活函数
星川皆无恙·2024-01-14 13:55

神经网络的三个特征，和卷积和最大池化有什么联系

神经网络的三个特征是层次结构、权重共享和非线性激活函数。层次结构：神经网络由多个层组成，包括输入层、隐藏层和输出层。
爱打网球的小哥哥一枚吖·2024-01-14 09:34

全连接网络

可表述为：其中，非线性函数f是激活函数，加入激活函数，使得模型可以处理非线性问题，常用激活函数包括sigmoid函数；tanh函数和relu函数。（tanh函
Miss_Bueno·2024-01-14 09:36

第五章 神经网络

理想中的激活函数是图5.2(a)所示的阶跃函数，它将输入值映射为
lammmya·2024-01-14 05:12

神经网络——ReLU和线性层

目录ReLU线性层实践部分ReLUReLU（RectifiedLinearUnit）是一种激活函数，称为非线性激活，常用于卷积神经网络（CNN）中的隐藏层，能够很好地提取数据的非线性特征。
睡不醒的毛毛虫·2024-01-14 02:44

深度学习笔记（五）——网络优化（1）：学习率自调整、激活函数、损失函数、正则化

文中程序以Tensorflow-2.6.0为例部分概念包含笔者个人理解，如有遗漏或错误，欢迎评论或私信指正。截图和程序部分引用自北京大学机器学习公开课通过学习已经掌握了主要的基础函数之后具备了搭建一个网络并使其正常运行的能力，那下一步我们还需要进一步对网络中的重要节点进行优化并加深认知。首先我们知道NN（自然神经）网络算法能够相比传统建模类算法发挥更好效果的原因是网络对复杂非线性函数的拟合效果更好
絮沫·2024-01-14 00:34

池化、线性、激活函数层

一、池化层池化运算是深度学习中常用的一种操作，它可以对输入的特征图进行降采样，从而减少特征图的尺寸和参数数量。池化运算的主要目的是通过“收集”和“总结”输入特征图的信息来提取出主要特征，并且减少对细节的敏感性。在池化运算中，通常有两种常见的操作：最大池化和平均池化。最大池化（MaxPooling）是指在池化窗口内选择最大值作为输出的操作。它可以帮助提取输入特征图中的最显著特征，同时减少了特征图的尺
-恰饭第一名-·2024-01-13 23:46

权值初始化

这通常发生在深层网络中，特别是使用某些激活函数（如sigmoid函数）时。当梯度消失发生时，较浅层的权重更新较大，而较深层的权重更新较小，使得深层网络的训练变得困难。
-恰饭第一名-·2024-01-13 23:11

自然语言处理持续更新

RNN中为什么要采用tanh而不是ReLu作为激活函数？RNN和CNN对比，RNN对文本的时间序列的优点。LSTMLSTM基本原理LSTM怎么能解决梯度消失问题？LSTM用来解决RNN的什么问题？
搬砖成就梦想·2024-01-13 21:35

基于遗传算法改进BP神经网络的承载力预测，基于ga-bp的破坏模式预测

目录BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数遗传算法原理遗传算法主要参数遗传算法流程图完整代码包含数据下载链接：基于遗传算法改进
神经网络机器学习智能算法画图绘图·2024-01-13 20:43

深度学习入门之2--神经网络

目录1神经网络初解2激活函数及实现2.1初识激活函数2.1激活函数类型及实现2.1.1阶跃函数及实现2.1.2sigmoid函数及实现2.1.3Relu函数及实现2.1.4恒等函数和softmax函数及实现
梦灯·2024-01-13 13:06

用通俗易懂的方式讲解：一文讲透主流大语言模型的技术原理细节

大家好，今天的文章分享三个方面的内容：1、比较LLaMA、ChatGLM、Falcon等大语言模型的细节：tokenizer、位置编码、LayerNormalization、激活函数等。
机器学习社区·2024-01-13 02:47

感知机、多层感知机、激活函数sigmoid

激活函数sigmoid激活函数Tanh激活函数为什
你若盛开，清风自来！·2024-01-12 21:07

BP神经网络（公式推导+举例应用）

文章目录引言M-P神经元模型激活函数多层前馈神经网络误差逆传播算法缓解过拟合化结论实验分析引言人工神经网络（ArtificialNeuralNetworks，ANNs）作为一种模拟生物神经系统的计算模型
Nie同学·2024-01-12 14:00

一文带你深度了解ReLU激活函数！

花了29980买的从入门到精通课程，分享给大家在神经网络中，激活函数负责将来自节点的加权输入转换为该输入的节点或输出的激活。ReLU是一个分段线性函数，如果输入为正，它将直接输出，否则，它将输出为零。
狂徒_张三·2024-01-12 13:18

【pytorch】使用pytorch构建线性回归模型-了解计算图和自动梯度

每个节点代表一个操作，例如加法、乘法或激活函数，而边则代表这些操作之间的数据流动。计算图的主要优点是可以自动进行微分计算。当你在计算图上调用.backward()方法时，PyTo
精英的英·2024-01-12 08:49

机器学习激活函数

激活函数激活函数是人工神经网络中的一个重要组成部分。它们用于向神经网络中添加非线性因素，使得网络能够解决复杂问题，如图像识别、语言处理等。
Persistence is gold·2024-01-12 06:54

【22-23 春学期】AI作业5-深度学习基础

人工智能、机器学习、深度学习之间的关系神经网络与深度学习的关系“深度学习”和“传统浅层学习”的区别和联系神经元、人工神经元MP模型单层感知机SLP异或问题XOR多层感知机MLP前馈神经网络FNN激活函数
HBU_David·2024-01-12 00:23

深度学习 常考简答题--[HBU]期末复习

目录1.为什么要引用非线性激活函数？2.什么是超参数？如何优化超参数？3.线性回归通常使用平方损失函数，能否使用交叉熵损失函数？4.平方损失函数为何不适用于解决分类问题？
洛杉矶县牛肉板面·2024-01-12 00:22
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他