激活函数gelus

Batch Normalization和Layer Normalization的区别是什么？

Normalization的核心思想是，把数据送入模型进行训练前，把不同量纲的特征数据归一化到同一的，无量纲的尺度范围，统一尺度范围后，让数据落在激活函数这种非线性函数的线性区域，有利于模型训练收敛。
LabVIEW_Python·2023-09-26 23:47

【卷积神经网络：Inception模型】

Inception模型的组成主要由不同卷积核大小的卷积层拼接而成，其中一种带维度缩减的Inception模型可以减少参数量，引入更多非线性，提高泛化能力，其核心思想是引入1卷积核大小为1*1的卷积层并经过ReLU激活函数提高了模型的泛化能力
知识推荐号·2023-09-26 18:40

深度学习基础概念理解

如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。
盛世芳华·2023-09-26 14:39

机器学习（19）---神经网络详解

神经网络一、神经网络概述1.1神经元模型1.2激活函数二、感知机2.1概述2.2实现逻辑运算2.3多层感知机三、神经网络3.1工作原理3.2前向传播3.3Tensorflow实战演示3.3.1导入数据集查看
冒冒菜菜·2023-09-26 10:16

打开深度学习的锁：（2）单隐藏层的神经网络

打开深度学习的锁导言PS：神经网络的训练过程一、数据集和包的说明1.1准备文件1.2需要导入的包二、构建神经网络的架构三、初始化函数四、激活函数4.1tanh（双曲正切函数）函数五，前向传播六、损失函数七
Jiashun Hao·2023-09-26 04:51

Pytorch之AlexNet花朵分类

CSDN首发、需要转载请联系博主如果文章对你有帮助、欢迎关注、点赞、收藏(一键三连)和订阅专栏哦目录一、AlexNet1.卷积模块2.全连接模块3.AlexNet创新点1.更深的神经网络结构2.ReLU激活函数的使用
风间琉璃•·2023-09-25 21:06

Python深度学习入门 - - 人工神经网络学习笔记

文章目录前言一、神经网络原理1、输入层2、全连接层3、激活函数4、损失函数5、前向传播6、反向传播二、Python实战神经网络1.权重初始化技巧2.梯度问题技巧3.模型泛化技巧总结前言如果说机器学习是人工智能的皇冠
szu_ljm·2023-09-25 20:55

机器学习—非零中心化、非零中心化会带来的问题

众所周知，激活函数最好具有关于零点对称的特性，不关于零点对称会导致收敛变慢。这种说法看到几次了，但对于背后的原因却一直比较模糊，今天就来捋一捋。
做程序员的第一天·2023-09-25 10:35

深度学习的初始化(暂时)

另外一点，不同的激活函数，使用的初始化方法也不一样。fan_in代表输入节点数，fan_out代表输出的节点数，fan_ave=(fan_in+fan_out)/2初始化激活函数方差Glorot
歌者文明·2023-09-25 05:39

梯度爆炸问题和梯度消失问题的一种解释和相应的解决方案

1.梯度消失是指随着神经网路的层数增加，前向传播过程种梯度渐渐缩减为0，较低的连接层的参数已经无法再更新了；梯度爆炸是指梯度越来越大，逼近饱和，各层需要更新较大的权值，这可能是因为激活函数和初始化方法配合有问题
歌者文明·2023-09-25 05:39

深度学习自学笔记五：浅层神经网络（二）

目录一、激活函数二、激活函数的导数三、神经网络的梯度下降四、反向传播五、随机初始化一、激活函数神经网络中常用的激活函数有以下几种：1.Sigmoid函数（Logistic函数）：Sigmoid函数将输入值映射到
ironmao·2023-09-25 02:16

深度学习自学笔记六：深层神经网络

每个隐藏层接收前一层的输出，并使用非线性激活函数对
ironmao·2023-09-25 02:16

PyTorch深度学习（六）【循环神经网络-基础】

（h1=linear(h0,x1)）RNN计算过程：输入先做线性变换，循环神经网络常用的激活函数是tanh（±1区间）。
每天都是被迫学习·2023-09-25 00:55

全连接层tf.keras.layers.Dense()介绍

函数原型tf.keras.layers.Dense(units,#正整数，输出空间的维数activation=None,#激活函数，不指定则没有use_bias=True,#布尔值，是否使用偏移向量kernel_initializer
K同学啊·2023-09-24 10:00

Pytorch袖珍手册之九

的深度学习网络结构自主式开发前面章节我们主要通过pytorch提供的类，函数和各种库进行模型设计及训练，在本章节中我们将通过几个代码片断来向大家展示pytorch的灵活之处，即用户可以基于pytorch的一些基础函数构建自己的新模型，激活函数
深思海数_willschang·2023-09-23 23:15

深度学习自学笔记二：逻辑回归和梯度下降法

它基于线性回归模型，并使用了sigmoid函数作为激活函数。假设我们有一个二分类问题，其中输入特征为x，对应的样本标签为y（0或1）。逻辑回归的目标是根据输入特征x预测样本标签y的概率。
ironmao·2023-09-23 21:54

吴恩达深度学习笔记-搭建多层神经网络

神经网络的结构可以有很多层，结构是输入层>隐藏层>隐藏层>>>输出层，在每一层中，首先计算的是矩阵相乘[linear_forward]，然后再计算激活函数[linear_activation_forward
一技破万法·2023-09-23 13:40

超参数、验证集和K-折交叉验证

超参数参数：网络模型在训练过程中不断学习自动调节的变量，比如网络的权重和偏差；超参数：控制模型、算法的参数，是架构层面的参数，一般不是通过算法学习出来的，比如学习率、迭代次数、激活函数和层数等。
我是任玉琢·2023-09-23 11:31

20-4-4论文阅读：Conditional time series forecasting with convolutional neural networks

拟议的网络包含堆叠的卷积堆栈，使它们可以在预测时访问广泛的历史记录，ReLU激活函数和条件是通过将多个卷积滤波器并行应用于单独的时间序列来执行的，从而可以快速处理数据和利用多元时间序列之间的相关结构。
AllTimeStudy·2023-09-23 05:53

机器学习笔记11—机器学习/深度学习之激活函数及python代码实现

ML/DL之激活函数1、概述2、激活函数性质3、常用的激活函数3.1Sigmoid函数(Logistic函数）3.2Tanh函数3.3ReLU函数3.4LeakyReLU函数3.5PReLU函数3.6ELU
珞沫·2023-09-23 05:07

softmax激活函数_深度学习中的激活函数，从softmax到sparsemax数学证明

softmax激活函数Theobjectiveofthispostisthree-fold.Thefirstpartdiscussesthemotivationbehindsparsemaxanditsrelationtosoftmax
weixin_26704853·2023-09-23 05:05

目标检测中的激活函数

激活函数是神经网络模型重要的组成部分，本文从激活函数的数学原理出发，详解了十种激活函数的优缺点。
YSUSE15w·2023-09-23 05:04

深度学习中的激活函数

激活函数（ActivationFunction）是一种添加到人工神经网络中的函数，旨在帮助网络结构学习数据中内在的复杂模式或规律。
teresa_lin·2023-09-23 05:33

深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点

深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点转自：数据派THU激活函数是神经网络模型重要的组成部分，本文作者SukanyaBag从激活函数的数学原理出发，详解了十种激活函数的优缺点。
山科智能信息处理实验室·2023-09-23 05:03

深度学习中的激活函数 – 完整概述

1.什么是激活函数？生物神经网络启发了人工神经网络的发展。然而，人工神经网络甚至不能近似代表大脑的工作方式。
TD程序员·2023-09-23 05:01

【深度学习】LeNet网络架构

其中，每个卷积层都包含了一个卷积操作和一个非线性激活函数，用于提取输入图像的特征。池化层则用于缩小特征图
高 朗·2023-09-23 03:09

现代卷积网络实战系列3：PyTorch从零构建AlexNet训练MNIST数据集

1、AlexNetAlexNet提出了一下5点改进：使用了Dropout，防止过拟合使用Relu作为激活函数，极大提高了特征提取效果使用MaxPooling池化进行特征降维，极大提高了特征提取效果首次使用
机器学习杨卓越·2023-09-22 21:17

梯度消失、梯度爆炸

为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（ide
S思维·2023-09-22 14:20

RNN LSTM语言模型 ——RNN

的结构RNN的缺点ref:https://blog.csdn.net/jizhidexiaoming/article/details/81743584梯度消失梯度爆炸梯度消失：一句话，RNN梯度消失是因为激活函数
jenye_·2023-09-22 14:05

pytorch学习3（pytorch手写数字识别练习）

网络模型设置三层网络，一般最后一层激活函数不选择relu任务步骤手写数字识别任务共有四个步骤：1、数据加载--LoadData2、构建网络--BuildModel3、训练--Train4、测试--Test
dyh_chd·2023-09-22 11:24

目标检测YOLO实战应用案例100讲-基于改进YOLOv5的口罩人脸检测（续）

目录3.4Hardswish激活函数3.5数据集3.6实验结果及分析4基于口罩人脸检测网络模型的
林聪木·2023-09-22 09:39

计算机竞赛 深度学习+opencv+python实现车道线检测 - 自动驾驶

文章目录0前言1课题背景2实现效果3卷积神经网络3.1卷积层3.2池化层3.3激活函数：3.4全连接层3.5使用tensorflow中keras模块实现卷积神经网络4YOLOV56数据集处理7模型训练8
Mr.D学长·2023-09-21 20:51

计算机竞赛 深度学习+python+opencv实现动物识别 - 图像识别

文章目录0前言1课题背景2实现效果3卷积神经网络3.1卷积层3.2池化层3.3激活函数：3.4全连接层3.5使用tensorflow中keras模块实现卷积神经网络4inception_v3网络5最后0
Mr.D学长·2023-09-21 20:51

python毕业设计 深度学习昆虫识别系统 -图像识别 opencv

文章目录0前言1课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2
kooerr·2023-09-21 20:20

大数据毕设项目 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

文章目录0前言1课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2
caxiou·2023-09-21 20:50

【毕设选题】深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

文章目录0前言1课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2
caxiou·2023-09-21 20:50

【毕业设计】深度学习昆虫识别系统 - 图像识别 opencv python

文章目录0前言1课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2
caxiou·2023-09-21 20:19

计算机竞赛 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

文章目录0前言1课题背景2具体实现3数据收集和处理3卷积神经网络2.1卷积层2.2池化层2.3激活函数：2.4全连接层2.5使用tensorflow中keras模块实现卷积神经网络4MobileNetV2
Mr.D学长·2023-09-21 20:46

Sigmoid 函数

前言Sigmoid函数（Logistic函数）是神经网络中非常常用的激活函数，我们今天来深入了解一下Sigmoid函数。
我是任玉琢·2023-09-21 16:15

深度学习修炼（二）全连接神经网络 | Softmax，交叉熵损失函数 优化AdaGrad，RMSProp等 对抗过拟合 全攻略

文章目录1多层感知机（全连接神经网络）1.1表示1.2基本概念1.3必要组成—激活函数1.4网络结构设计2损失函数2.1SOFTMAX操作2.2交叉熵损失函数3优化3.1求导计算过于复杂？
Qodi·2023-09-21 16:26

深度学习入门---多层感知机，过拟合和欠拟合，梯度消失和梯度爆炸

MultilayerPerceptron）也叫人工神经网络（ANN，ArtificialNeuralNetwork），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图：ImageName激活函数需要具备以下几点性质
一只当归·2023-09-21 11:39

【深度学习实验】前馈神经网络（三）：自定义多层感知机（激活函数logistic、线性层算Linear）

目录一、实验介绍二、实验环境1.配置虚拟环境2.库版本介绍三、实验内容0.导入必要的工具包1.构建数据集2.激活函数logistic3.线性层算子Linear4.两层的前馈神经网络MLP5.模型训练一、
QomolangmaH·2023-09-21 07:12

3. 非线性回归和逻辑回归（pytorch）

文章目录1.非线性回归1.1激活函数1.2人工神经网络2.逻辑回归上节看点：线性回归1.非线性回归在生活中大多数的现象都不是线性的，而且更加复杂的曲线或曲面，我们拟合的函数也就不再是直线或者平面。
张怼怼√·2023-09-21 01:28

基于遗传算法改进的BP神经网络图像分割，BP神经网络基本原理，遗传算法流程，

目录BP神经网络的原理BP神经网络的定义BP神经网络的基本结构BP神经网络的神经元BP神经网络的激活函数，BP神经网络的传递函数遗传算法的原理及步骤基于遗传算法改进BP神经网络的二分类代码效果图结果分析展望完整代码和数据下载
神经网络机器学习智能算法画图绘图·2023-09-20 22:32

计算机视觉与深度学习-全连接神经网络-激活函数- [北邮鲁鹏]

文章目录基础知识为什么需要非线性操作（激活函数）？
古董a·2023-09-20 18:06

【深度学习实验】前馈神经网络（二）：使用PyTorch实现不同激活函数（logistic、tanh、relu、leaky_relu）

目录一、实验介绍二、实验环境1.配置虚拟环境2.库版本介绍三、实验内容0.导入必要的工具包1.定义激活函数logistic(z)tanh(z)relu(z)leaky_relu(z,gamma=0.1)
QomolangmaH·2023-09-20 08:48

手刻 Deep Learning -第壹章 -PyTorch教学-激励函数与感知机入门（上）

一、前言本文接续前篇教学Pytorch与线性回归，本文着重在ActivationFunction（中文称激励函数），我们会介绍激励函数（也有人称激活函数？激发函数？）
无水先生·2023-09-20 01:08

小白入门深度学习 | 3-2：激活函数activation

文章目录一、什么是激活函数二、激活函数的种类1.sigmoid2.Tanh3.ReLU4.LReLU5.PReLU6.RReLU7.ELU8.Swish9.hswish三、激活函数的选择四、激活函数相关问题一
K同学啊·2023-09-19 23:15

循环神经网络解决文本分类问题

卷积网络的输入只有输入数据X，而循环神经网络除了输入数据X之外，每一步的输出会作为下一步的输入，如此循环，并且每一次采用相同的激活函数和参数。
Vic·Tory·2023-09-19 18:29

计算机竞赛 深度学习 python opencv 火焰检测识别

文章目录0前言1基于YOLO的火焰检测与识别2课题背景3卷积神经网络3.1卷积层3.2池化层3.3激活函数：3.4全连接层3.5使用tensorflow中keras模块实现卷积神经网络4YOLOV54.1
Mr.D学长·2023-09-19 17:49
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他