Tanh激活函数

循环神经网络解决文本分类问题

卷积网络的输入只有输入数据X，而循环神经网络除了输入数据X之外，每一步的输出会作为下一步的输入，如此循环，并且每一次采用相同的激活函数和参数。
Vic·Tory·2023-09-19 18:29

计算机竞赛 深度学习 python opencv 火焰检测识别

文章目录0前言1基于YOLO的火焰检测与识别2课题背景3卷积神经网络3.1卷积层3.2池化层3.3激活函数：3.4全连接层3.5使用tensorflow中keras模块实现卷积神经网络4YOLOV54.1
Mr.D学长·2023-09-19 17:49

计算机竞赛 深度学习 python opencv 实现人脸年龄性别识别

文章目录0前言1项目课题介绍2关键技术2.1卷积神经网络2.2卷积层2.3池化层2.4激活函数：2.5全连接层3使用tensorflow中keras模块实现卷积神经网络4Keras介绍4.1Keras深度学习模型
Mr.D学长·2023-09-19 17:48

激活函数总结（三十八）：激活函数补充(PDELU、CosLU)

激活函数总结（三十八）：激活函数补充1引言2激活函数2.1PDELU激活函数2.2CosLU激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU
sjx_alo·2023-09-19 16:54

激活函数总结（三十七）：激活函数补充(PAU、DELU)

激活函数总结（三十七）：激活函数补充1引言2激活函数2.1Padé激活函数2.2DELU激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU
sjx_alo·2023-09-19 16:53

激活函数总结（三十六）：激活函数补充(ARiA、m-arcsinh)

激活函数总结（三十六）：激活函数补充1引言2激活函数2.1ARiA激活函数2.2modifiedarcsinh激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh
sjx_alo·2023-09-19 16:23

激活函数总结（三十五）：激活函数补充(KAF、Siren)

激活函数总结（三十五）：激活函数补充1引言2激活函数2.1KAF激活函数2.2Siren激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU
sjx_alo·2023-09-19 16:53

重构Transformer神经网络：优化的自注意力机制和前馈神经网络

而且，该模型还引入了非线性激活函数以增强模型的表现力。实验表
东方佑·2023-09-19 12:49

【PyTorch 攻略 （3/7）】线性组件、激活函数

神经网络中发生的计算包括应用激活函数。如果一个神经元被激活，那么这意味着输入很重要。有不同种类的激活函数。选择使用哪个激活函
无水先生·2023-09-19 11:32

激活函数之ReLU, GeLU, SwiGLU

GeLU：huggingface实现的bert里的标配激活函数。SwiGLU：目前很多大模型里的标配激活函数，如Google的PaLM，Meta的LLaMA等。
#苦行僧·2023-09-19 08:24

计算机竞赛 深度学习 python opencv 动物识别与检测

文章目录0前言1深度学习实现动物识别与检测2卷积神经网络2.1卷积层2.2池化层2.3激活函数2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络3YOLOV53.1网络架构图3.2
Mr.D学长·2023-09-19 06:15

YOLOv5算法改进（18）— 更换激活函数（SiLU、ReLU、ELU、Hardswish、Mish、Softplus等）

激活函数在神经网络中起到引入非线性因素的作用。如果不使用激活函数，神经网络的每一层都只会做线性变换，多层输入叠加后仍然是线性变换。然而，线性模型的表达能力通常不够，因此激活函数的作用就显现出来了。
小哥谈·2023-09-19 02:47

计算机视觉与深度学习-经典网络解析-ResNet-[北邮鲁鹏]

这里写目录标题ResNet参考产生背景贡献残差模块残差结构批归一化ReLU激活函数的初始化方法网络结构为什么残差网络性能好？
古董a·2023-09-19 01:26

《动手学深度学习 Pytorch版》 6.6 卷积神经网络

模型结构如下流程图（每个卷积块由一个卷积层、一个sigmoid激活函数和平均汇聚层组成）：全连接层(10)↑\uparrow↑全连接层(84)↑\uparrow↑全连接层(12
AncilunKiang·2023-09-18 03:07

4-3 nn.functional和nn.Module

利用这些张量的API我们可以构建出神经网络相关的组件(如激活函数，模型层，损失函数)。其实：Pytorch和神经网络相关的功能组件大多都封装在**torch.nn**模块下。
hxh207·2023-09-17 23:43

神经网络权重不更新与初始化

代码主要代码如下（activations.activator是用来返回激活函数的函数指针的）importactivationsimportnumpyasnpimportpandasaspdclassNeuro
ForeverHaibara·2023-09-17 21:50

PyTorch深度学习（二）【反向传播、用pytorch实现线性回归】

反向传播弄一个简单点的，两层的神经网络:加入激活函数：（不加激活函数的神经网络就是一个线性回归模型）用到的损失函数：pytorch里面的数据存储：tensor，它可以存标量、向量、矩阵、高维度数据等。
每天都是被迫学习·2023-09-17 06:17

BP神经网络的详细原理，基于BP神经网络的图像跟踪，基于BP神经网络的细胞跟踪，基于BP神经网络的视频跟踪

目标背影BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数代码链接：基于BP神经网络的细胞自动跟踪，基于BP神经网络的图像跟踪（
神经网络机器学习智能算法画图绘图·2023-09-17 04:45

神经网络 02(激活函数)

一、激活函数在神经元中引入了激活函数，它的本质是向神经网络中引入非线性因素的，通过激活函数，神经网络就可以拟合各种曲线。
Darren_pty·2023-09-15 18:20

4月17日 每日打卡

其实只是code用了卷积输出1channel来表示全连接层，只要再加个激活函数就好，但是就是一直没想明白，以后代码困住了，想25分钟，要停下来，起码休息十分钟，运动运动，再回去看这个问题！今
来多喜·2023-09-15 08:17

深度学习-全连接神经网络-训练过程-权值初始化- [北邮鲁鹏]

Xavier在使用Tanh时的表现好Xavier在使用ReLU时的表现不好HE初始化（MSRA）权值初始化总结思想通过调整权值的分布使得输出与输入具有相同的分布避免全零初始化全零初始化：网络中不同的神经元有相同的输出
古董a·2023-09-15 07:59

深度学习中softmax激活函数的用法

在深度学习中，“softmax”是一种常用的激活函数，它主要用于多类别分类任务中的输出层。
小宋加油啊·2023-09-14 12:05

激活函数介绍

ReLU对比Sigmoid主要变化：1.单侧抑制2.相对宽阔的兴奋边界3.稀疏激活性(1)sigmoid函数（曲线很像“S”型）公式：image曲线：image也叫Logistic函数，用于隐层神经元输出取值范围为(0,1)它可以将一个实数映射到(0,1)的区间，可以用来做二分类。（它不像SVM直接给出一个分类的结果，LogisticRegression给出的是这个样本属于正类或者负类的可能性是多
想飞的大兔子·2023-09-13 21:26

《动手学深度学习 Pytorch版》 4.1 多层感知机

以下展示常见的激活函数。
AncilunKiang·2023-09-13 07:55

日撸代码300行：第72天（固定激活函数的BP神经网络）

代码来自闵老师”日撸Java三百行（71-80天）：日撸Java三百行（71-80天，BP神经网络）_闵帆的博客-CSDN博客扩展抽象类GeneralAnn，必须要实现对应的类内的抽象方法。核心代码就是正向和方向传播两个方法的实现。Mobp：momentumcoefficient（动量系数）.SGD通常来说下降速度比较快，但却容易造成另一个问题，就是更新过程不稳定，容易出现震荡。加入“惯性”的影响
WangX-西石油·2023-09-13 02:01

回归与聚类算法系列⑤：逻辑回归

目录1、介绍2、原理输入激活函数3、损失及其优化损失函数优化4、API5、案例：乳腺癌肿瘤预测数据集代码作者介绍：双非本科大三网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅长web应用开发
逐梦苍穹·2023-09-13 00:11

基于粒子群算法改进小波神经网络的时间序列预测，基于pso-ann的回归分析

目标背影BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数小波神经网络（以小波基为传递函数的BP神经网络）代码链接：粒子群优化小波神经网络时间序列预测
神经网络机器学习智能算法画图绘图·2023-09-12 16:46

基于小波神经网络的中药材价格预测，基于ANN的小波神经网络中药材价格预测

目标背影BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数小波神经网络（以小波基为传递函数的BP神经网络）代码链接：基于小波神经网络的中药材价格预测
神经网络机器学习智能算法画图绘图·2023-09-12 16:46

基于小波神经网络的多分类预测，基于ANN的分类预测

目标背影BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数小波神经网络（以小波基为传递函数的BP神经网络）代码链接：基于小波神经网络的多分类代码
神经网络机器学习智能算法画图绘图·2023-09-12 16:15

Batch normalization和Layer normalization

从而可以使用更大的学习率，从而加速模型的收敛速度，换言之，使用神经网络模型都会使用到激活函数，激活函数都存在饱和区，为了避免梯度消失，一般将数据输入到激活函数之前，对数据分布进行纠正，使得其位于非饱和区域
Mariooooooooooo·2023-09-12 16:51

三种激活函数(Relu,Sigmoid,tanh)与多层感知机

文章目录ReluSigmoid函数tanh函数多层感知机小结ReluReLU（rectifiedlinearunit）函数提供了一个很简单的非线性变换。
phac123·2023-09-12 10:33

PReLU激活函数

PReLU激活PReLU(ParametricRectifiedLinearUnit),顾名思义：带参数的ReLU对ReLU来说，x>0，时f(y)=x,而x0时，f(y)=x(i),x<0时,f(y)=a(i)x(i)i为不同的通道如果ai=0，那么PReLU退化为ReLU；如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为LeakyReLU(LReLU)。ReLU相比，LReL
perfect Yang·2023-09-11 21:56

逻辑回归与神经网络的区别

一般用于二分类网络，线性可分的情况，激活函数为Sigmoid，logisticregression的一个优点是logisticcostfunction是一个凸函数，可以求得全局最小
zhnidj·2023-09-10 17:20

激活函数绘图代码

1.ELUimporttorchimporttorch.nnasnnx=torch.randn(100,10)#torch.nn.SELU(inplace=False)func=nn.ELU()y=func(x)print(x[0])print(y[0])#tensor([-0.6763,0.6669,-2.0544,-1.8889,-0.3581,0.0884,-1.3734,0.9181,0.
cocapop·2023-09-10 13:04

SA和SSA

深度学习卷积神经网络重要结构之通道注意力和空间注意力模块SA(SpatialAttention)模块首先对输入信息分别进行Maxpool、Avgpool操作，并按通道维度拼接池化结果，再进行1x1Conv卷积，最后经过Sigmoid激活函数得到输出
cocapop·2023-09-10 13:34

深度学习 | 关于RNN你必须知道的20个知识点

3.RNN常用的激活函数有哪些?RNN常用的激活函数是tanh和ReLU。t
往日无痕·2023-09-10 07:52

day7-批量归一化和残差网络

BN层：全连接层的BN位置：仿射变换和激活函数之间pytorch：nn.BatchNorm1d卷积层的BN位置：卷积计算和激活函数之间pytorch：nn.BatchNorm2d步骤：image.png
wamgz·2023-09-10 03:23

点云从入门到精通技术详解100篇-三维点云数据的补全

目录前言深度学习基础2.1卷积神经网络2.1.1卷积层2.1.2池化层2.1.3激活函数
格图素书·2023-09-09 13:26

基于小波神经网络的信道关闭时间预测，基于ANN的信道OFF时间预测

目标背影BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数小波神经网络（以小波基为传递函数的BP神经网络）代码链接：基于小波神经网络的信道
神经网络机器学习智能算法画图绘图·2023-09-09 01:32

基于小波神经网络的空气质量预测，基于小波神经网络的PM2.5预测，基于ANN的PM2.5预测

目标背影BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数小波神经网络（以小波基为传递函数的BP神经网络）代码链接：基于小波神经网络的
神经网络机器学习智能算法画图绘图·2023-09-09 01:01

基于小波神经网络的经济性分析，基于小波神经网络工程能耗分析，基于小波神经网络的PPD预测，小波神经网络详细原理

目标背影BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数小波神经网络（以小波基为传递函数的BP神经网络）代码链接：基于小波神经网络的经济性分析
神经网络机器学习智能算法画图绘图·2023-09-09 01:01

基于小波神经网络的客流量预测，基于小波神经网络的短时客流量预测，基于ANN的客流量预测

目标背影BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数小波神经网络（以小波基为传递函数的BP神经网络）代码链接：基于小波神经网络的短时客流量预测
神经网络机器学习智能算法画图绘图·2023-09-09 01:30

机器学习

sigmoidfunction，stepfunction模拟神经元，神经网络sigmoid优缺点：优点，激活函数，1输出范围有限不容易发散，缓和，2输出范围是0-1，可用于做输出层当作概率。
chen_sheng·2023-09-08 10:11

机器学习算法----原理总结

目录一、线性回归1、正向拟合函数：2、如何衡量损失：3、优化策略：二、逻辑回归1正向拟合函数1.1线性函数生成1.2Sigmoid激活函数2、如何衡量损失3、优化策略三、决策树引言1.ID3算法1.1前向输出
温旧酒一壶~·2023-09-08 05:29

前向网络，两层MLP，可以作为未归一化的Key-Value记忆结构

前向传播结构传统的两层神经网络可以被写为FF(x)=W2σ(W1x+b1)+b2FF(x)=W_2\sigma(W_1x+b_1)+b_2FF(x)=W2σ(W1x+b1)+b2，σ\sigmaσ是非线性激活函数
Deno_V·2023-09-07 21:57

深度学习笔记

激活函数(阶跃函数)如图所示：2.小demo实现在这里我们用感知机的思想，来
jjjhut·2023-09-07 09:44

激活函数总结（二十六）：激活函数补充(Probit、Smish)

激活函数总结（二十六）：激活函数补充1引言2激活函数2.1Probit激活函数2.2Smish激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid、Tanh、ReLU、LeakyReLU
sjx_alo·2023-09-07 09:59

激活函数总结（二十七）：激活函数补充(Multiquadratic、InvMultiquadratic)

激活函数总结（二十七）：激活函数补充1引言2激活函数2.1Multiquadratic激活函数2.2InvMultiquadratic激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(
sjx_alo·2023-09-07 09:59

激活函数总结（二十九）：激活函数补充(CoLU、ShiftedSoftPlus)

激活函数总结（二十九）：激活函数补充1引言2激活函数2.1CollapsingLinearUnit(CoLU)激活函数2.2ShiftedSoftPlus激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数
sjx_alo·2023-09-07 09:59

激活函数总结（二十八）：激活函数补充(PSmish、ESwish)

激活函数总结（二十八）：激活函数补充1引言2激活函数2.1ParametricSmish(PSmish)激活函数2.2ESwish激活函数3.总结1引言在前面的文章中已经介绍了介绍了一系列激活函数(Sigmoid
sjx_alo·2023-09-07 09:27
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他