E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sigmoid激活函数
【Takk系列】Zynq\FPGA\PYNQ实现的CNN LeNet加速系列视频教学
卷积神经网络CNN理论基础:包括卷积运算、池化、
激活函数
、全连接网络层等介绍,同时使用Matlab实现,手写网络,不调用第三方集成库,让各位能够清晰明了实际运算的过程。这是后续进行并行优化设计的基础。
Taneeyo
·
2023-01-23 14:29
TAKK系列
fpga开发
cnn
人工智能
zynq
深度理解卷积神经网络
一个最简单的神经元结构,假如有三个输入,都对应一个权重参数,然后通过权重加起来,经过一个
激活函数
,最后输出y。CNN中独特的结构就是卷积层,就是一个卷积核然后根据步幅进行扫描运算,最后输出特征矩阵。
暗紫色的乔松(-_^)
·
2023-01-23 11:06
深度学习
cnn
深度学习
神经网络
返回传播计算方法|神经网络整体架构|神经元个数对结果的影响|正则化与
激活函数
|神经网络过拟合解决方法
文章目录返回传播计算方法神经网络整体架构(暂时留存,等后面补)神经元个数对结果的影响正则化与
激活函数
神经网络过拟合解决方法返回传播计算方法实际上计算L(损失值)的时候并不是只是拿一组w来进行计算,而是由多组
Micoreal
·
2023-01-23 10:22
机器学习
深度学习
神经网络
深度学习
人工智能
机器学习算法模型之神经网络
1.权重w的求解2.
激活函数
的选择3.隐藏层的层数和每一层对应神经元的个数综合以上三个过程的结束,我们的神经网络的框架就算是搭建完成了。
cai_niao_lu
·
2023-01-23 07:33
机器学习
机器学习
神经网络
sklearn
python
深度学习
Lesson 4.1 逻辑回归模型构建与多分类学习方法
文章目录一、广义线性模型(Generalizedlinermodel)的基本定义二、对数几率模型与逻辑回归1.对数几率模型(logitmodel)2.逻辑回归与
Sigmoid
函数3.
Sigmoid
函数性质三
虚心求知的熊
·
2023-01-22 13:39
机器学习
逻辑回归
python
深度学习基础知识
目录1.
激活函数
2.损失函数3.归一化3.1归一化3.1.1将特征数据缩放到一个范围scaletoarange3.1.2均值方差归一化(standardization)3.1.3RobustScaler3.2
zhao_crystal
·
2023-01-22 12:31
深度学习
深度学习
人工智能
深度学习几个基础知识
写出饱和型
激活函数
、非饱和型
激活函数
有哪些,并写出各个
激活函数
的定义和特点。九、防止过拟合的主要方法
大橙子C7
·
2023-01-22 12:55
深度学习
目标检测
计算机视觉
中国地质大学(北京) 研究生 数学课《机器学习》期末考试 考试范围+考试题目+参考答案 2022秋
考试范围2.1机器学习相关知识(科普类)2.2上课时黑板写的数学计算、推导和证明等2.3两次课程报告的内容3考试真题4参考答案4.1机器学习应用4.2学习率选择4.3奇异值分解4.4稠密连接卷积网络4.5
激活函数
qq_26071927
·
2023-01-22 11:45
北地
研究生
计算机
期末
人工智能
深度残差网络+自适应参数化ReLU
激活函数
(调参记录3)
续上一篇:深度残差网络+自适应参数化ReLU
激活函数
(调参记录2)https://blog.csdn.net/dangqing1988/article/details/105595917本文继续测试深度残差网络和自适应参数化
dangqing1988
·
2023-01-22 10:06
深度学习
神经网络
机器学习
Paper Reading:MobileNetV3
的方法去寻找一个速度更快的的网络ArchitectureEfficientMobileBuildingBlocksMobileMobileblock在MobileNetv2的基础上加了一个SE模块,并且使用swish新的
激活函数
同时利用
yzhang_1
·
2023-01-22 00:47
DeepLearning
computer
vision
Model
compression
吴恩达机器学习第三章作业答案 part1:多类别逻辑回归
importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltfromscipy.ioimportloadmatfromsklearn.metricsimportclassification_reportfromscipy.optimizeimportminimizedef
sigmoid
枸空
·
2023-01-21 21:30
机器学习
逻辑回归
python
吴恩达机器学习作业2(逻辑回归)
逻辑回归一.知识回顾二.题目二.编程的设计【1】引入一些包【2】准备数据【3】
sigmoid
函数【4】costfunction(代价函数)1.设置参数【5】gradientdescent(梯度下降)1.
晨沉宸辰
·
2023-01-21 21:26
吴恩达机器学习作业
机器学习
python
逻辑回归
吴恩达机器学习Day4
negativeclass"or"positiveclass";用线性回归算法解决分类,可能会奏效,但通常效果不佳;例如:逻辑回归:使用最广泛的分类算法;相比于线性回归,逻辑回归是一条曲线;需要引入一个重要的数学函数:
sigmoid
Tezzz
·
2023-01-21 21:49
人工智能
深度学习-学习笔记(数值稳定性)
为了保持数值的稳定,我们需要选择合适的参数初始化方案和合理的非线性
激活函数
。梯度的计算一个d层的神经网络,每一层用lll表示,则h(l)\boldsymbol{
J_Wu
·
2023-01-21 19:31
深度学习-学习笔记
深度学习
神经网络
【动手学深度学习PyTorch版】8 数值稳定性、模型初始化、
激活函数
上一篇移步【动手学深度学习PyTorch版】7丢弃法_水w的博客-CSDN博客目录一、数值稳定性1.1数值稳定性◼数值稳定性常见的两个问题:◼梯度爆炸:举例MLP◼梯度消失◼总结1.2如何使得训练更稳定◼常见的方法◼Xavier初始:常用权重初始化的方法一、数值稳定性1.1数值稳定性◼数值稳定性常见的两个问题:当神经网络变得很深的时候,数值非常容易变得不稳定。假设,我们有个d层的神经网络,由于神经
水w
·
2023-01-21 19:29
#
深度学习
1024程序员节
李沐动手学深度学习第四章-4.8. 数值稳定性和模型初始化
1.梯度消失和梯度爆炸1.1.梯度消失曾经
sigmoid
函数1/(1+exp(−x))(4.1节提到过)很流行,因为它类似于阈值函数。
nousefully
·
2023-01-21 19:27
深度学习
人工智能
机器学习
动手学深度学习(十六)——数值稳定性和模型初始化(公式说明)
三、模型初始化和
激活函数
3.1权重初始化3.2让每一层的方差都是一个常数Xavier初始化:以多层感知机为例假设线性的
激活函数
3.3总结一、数值稳定性——梯度消失和梯度爆炸考虑一个具有LLL层、输入x\
留小星
·
2023-01-21 19:57
动手学深度学习:pytorch
李沐《动手学深度学习》课程笔记:14 数值稳定性 + 模型初始化和
激活函数
目录14数值稳定性+模型初始化和
激活函数
1.数值稳定性2.模型初始化和
激活函数
14数值稳定性+模型初始化和
激活函数
1.数值稳定性考虑一个具有L层、输入x和输出o的深层网络。
非文的NLP修炼笔记
·
2023-01-21 19:56
#
李沐《动手学深度学习》课程笔记
深度学习
人工智能
第五章 误差反向传播法——计算图&链式法则&反向传播&简单层的实现&
激活函数
层的实现&Affine/Softmax层的实现&误差反向传播法的实现
*数值微分虽然简单,也容易实现,但缺点是计算上比较浪费时间1.计算图*正向传播是从计算图出发点到结束点的传播*反向传播传递“局部导数”,将导数的值写在箭头的下方*计算图的优点是,可以通过正向传播和反向传播高效的计算各个变量的导数值2.链式法则*链式法则:如果某个函数由复合函数表示,则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示3.反向传播(1)加法节点的反向传播加法节点的反向传播只
桃桃tao
·
2023-01-21 14:19
深度学习入门(已完结)
算法
深度学习
人工智能
深度学习入门(9)神经网络Affine与Softmax层的计算图表示方式及其误差反向传播的代码实现
无框架实现两层神经网络的搭建与训练过程深度学习入门(5)如何对神经网络模型训练结果进行评价深度学习入门(6)误差反向传播基础---计算图与链式法则使用深度学习入门(7)误差反向传播计算方式及简单计算层的实现深度学习入门(8)
激活函数
阿_旭
·
2023-01-21 14:18
深度学习入门
深度学习
人工智能
softmax层实现
python
Affine层实现
CIFAR-10数据集分类实验报告
2BP神经网络相关知识2.1
激活函数
激
Ma lidong
·
2023-01-21 13:57
作业
神经网络
卷积神经网络
深度学习【14】代价敏感损失函数
defclass_balanced_
sigmoid
_cross_entropy(logits,label,name='cross_entropy_loss'):"""Theclass-balancedcrossentropyloss
DCD_Lin
·
2023-01-21 13:16
深度学习
HIT机器学习实验二逻辑回归R语言参考代码
##一键清空rm(list=ls())##
Sigmoid
函数
Sigmoid
<-function(z){return(1/(1+exp(-z)))}##计算p(y=1|x)P1<-function(x,w
huiyiiiiii
·
2023-01-21 12:40
机器学习
逻辑回归
r语言
深度学习入门基础CNN系列——批归一化(Batch Normalization)和丢弃法(dropout)
卷积计算深度学习入门基础CNN系列——填充(padding)与步幅(stride)深度学习入门基础CNN系列——感受野和多输入通道、多输出通道以及批量操作基本概念深度学习入门基础CNN系列——池化(Pooling)和
Sigmoid
心无旁骛~
·
2023-01-21 10:53
深度学习基础
深度学习
cnn
batch
初学者之路——————卷积神经网络
全连接层通过
激活函数
进行输入图像的激活,与卷积层
MapleCL
·
2023-01-21 09:12
深度学习
“深度学习”学习日记。误差反向传播法--算法实现
2023.1.18经过学习了计算图、链式法则、加法层、乘法层、
激活函数
层、Affine层、Softmax层的反向传播的实现。
Anthony陪你度过漫长岁月
·
2023-01-21 08:27
深度学习
人工智能
python
MNIST
卷积神经网络(CNN)
卷积神经网络(CNN)的主要结构:输入层、卷积层、
激活函数
、池化层、全连接层、损失函数。不同的卷积神经网络由不同种类及数目的以上网络层组成。卷积层:提取图像特征。多次卷积:得到不同特征。
Annkile
·
2023-01-20 18:03
数字图像处理
cnn
深度学习
神经网络
计算机视觉
cs231n assignment1 two-layer-net
two-layer-net首先完成神经网络对scores和损失函数的计算,其中
激活函数
使用RELU函数,即max(0,x)函数。
一叶知秋Autumn
·
2023-01-20 18:02
计算机视觉
CS231N
计算机视觉
吴恩达人工智能课总结
神经网络综述1.神经网络概述needsupplement…
激活函数
的必要性深层网络必要性吴恩达使用的logisticlostfunction为什么relu不会导致线性函数带来的问题计算图的应用1.1模型构建模拟人体神经网络建立神经网络
帅与
·
2023-01-20 17:56
神经网络
人工智能实践入门Tensorflow2.0笔记-Day2 神经网络优化过程
一、整体知识概览第二章主要讲预备知识、网络复杂度计算、指数衰减学习率、
激活函数
、损失函数、过拟合问题及缓
下雨天的小鱼
·
2023-01-20 16:10
tensorflow
python
深度学习
tensorflow
神经网络
机器学习
北京大学Tensorflow2.0笔记
激活函数
目前很少用这个
激活函数
,因为在深度神经网络中更新参数时需要从输出层到输入层逐层进行链式求导,而
sigmoid
函数倒数值为0-0.25之间,链式求导需要多层导数连续相乘,会出现多个0-0.25之间的连续相乘
WY~峰
·
2023-01-20 16:08
tensorflow2.0笔记
深度学习
tensorflow
正则化
神经网络
机器学习
【2-神经网络优化】北京大学TensorFlow2.0
Tensorflow2.0_哔哩哔哩_bilibiliPython3.7和TensorFlow2.1六讲:神经网络计算:神经网络的计算过程,搭建第一个神经网络模型神经网络优化:神经网络的优化方法,掌握学习率、
激活函数
如何原谅奋力过但无声
·
2023-01-20 16:07
#
TensorFlow
神经网络
tensorflow
深度学习
【pytorch学习笔记】pytorch 搭建NIN网络+Fashion-Mnist数据集
目录NIN网络pytorch搭建NIN网络参考NIN网络论文《NetworkInNetwork》在传统的CNN模型中,卷积层通过filter进行卷积操作,再使用非线性
激活函数
进行处理,产生特征映射(featuremapping
是安澜啊
·
2023-01-20 15:57
pytorch
动手学深度学习
pytorch
学习
深度学习
Network in Network 算法解析
globalaveragepooling层代替;mplconv结构的提出:conventional的卷积层可以认为是linearmodel,为什么呢,因为局部接收域上的每每一个tile与卷积核进行加权求和,然后接一个
激活函数
Tom Hardy
·
2023-01-20 15:20
深度学习
Pytorch梯度下降优化
目录一、
激活函数
1.
Sigmoid
函数2.Tanh函数3.ReLU函数二、损失函数及求导1.autograd.grad2.loss.backward()3.softmax及其求导三、链式法则1.单层感知机梯度
Swayzzu
·
2023-01-20 09:51
深度学习
pytorch
人工智能
python
tf.keras.layers.LSTM和tf.keras.layers.ConvLSTM2D
tf.keras.layers.LSTMtf.keras.layers.ConvLSTM2Dtf.keras.layers.LSTM函数原型:tf.keras.layers.LSTM(units,activation='tanh',recurrent_activation='
sigmoid
zy_ky
·
2023-01-20 09:11
tensorflow
tf.keras.layers.Dense详解
tf.keras.layers.Dense的作用tf.keras.layers.Dense是神经网络全连接层,实现这个计算过程output=activation(dot(input,kernel)+bias)就是常见的WX+B,再加一个
激活函数
象象家的小蜜桃
·
2023-01-20 09:10
tensorflow2使用
keras
python
深度学习
神经网络量化硬件实现
神经网络量化硬件实现量化算子几种不同的取整方式量化图量化方式PPQ对应的方法使用量化计算乘法算子加法算子
激活函数
算子量化矩阵乘送到L2上的操作非线性算子总结
麻花地
·
2023-01-20 08:57
环境部署
使用模型
深度学习环境
人工智能
深度学习
算法
深度学习中常用
激活函数
分析
0.引言0.1什么是
激活函数
,有什么作用
激活函数
是向神经网络中引入非线性因素,通过
激活函数
神经网络就可以拟合各种曲线。
Le0v1n
·
2023-01-20 02:18
深度学习
面试题
机器学习
深度学习
神经网络
机器学习
PyTorch (三): 常见的网络层
目录全连接层卷积层池化层最大池化层平均池化层全局平均池化层
激活函数
层
Sigmoid
层ReLU层Softmax层LogSoftmax层Dropout层BN层LSTM层损失函数层NLLLossCrossEntropyLoss
连理o
·
2023-01-19 18:13
#
PyTorch
深度学习
神经网络
卷积神经网络
对全连接层(fully connected layer)的通俗理解
如果说卷积层、池化层和
激活函数
层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中,全连接层可由卷积操
qq_29631521
·
2023-01-19 17:56
深度学习
python
人工智能
2.深度学习模型使用:(卷积层,池化层,全连接层)
文章目录前言一、卷积层二、池化层三、线性层(全连接层)3.1全连接3.2
激活函数
1.
sigmoid
2.tanh3.Relu3.3Drop层3.4Bath_Normal层前言网络模型在算法中比较常用,对于大部分的网络结构模型都包含以下各层
Master___Yang
·
2023-01-19 17:23
PyTorch笔记
深度学习
人工智能
神经网络
pytorch 自动构建任意层的深度神经网络(DNN)
在设计自己的网络时,需要考虑网络大小,隐藏层层数,
激活函数
和参数初始化方法。最笨拙的方法就是固定下来,发生变化就要手动调整一次。
夜晓岚渺渺
·
2023-01-19 16:21
python
神经网络
pytorch
dnn
深度学习
非常适合新手入门系列-神经网络part1
想要入门最基础的神经网络之前,不能在最开始搬上来“梯度下降”,“目标损失函数”,“交叉损失函数”,“
sigmoid
函数”等公式,必须掌握一点基础知识:单变量线性回归,多变量线性回归,逻辑回归等。
摸鱼小能手666
·
2023-01-19 15:08
神经网络
线性回归
回归
YOLO系列详细解读:YOLO V3
采用"leakyReLU"作为
激活函数
。端到端进行训练。一
坚硬果壳_
·
2023-01-19 12:46
目标检测
深度学习入门基础CNN系列——池化(Pooling)和
Sigmoid
、ReLU
激活函数
想要入门深度学习的小伙伴们,可以了解下本博主的其它基础内容:我的个人主页深度学习入门基础CNN系列——卷积计算深度学习入门基础CNN系列——填充(padding)与步幅(stride)深度学习入门基础CNN系列——感受野和多输入通道、多输出通道以及批量操作基本概念池化(Pooling)池化是使用某一位置的相邻输出的总体统计特征代替网络在该位置的输出,其好处是当输入数据做出少量平移时,经过池化函数后
心无旁骛~
·
2023-01-19 12:45
深度学习基础
深度学习
cnn
计算机视觉
机器学习——逻辑回归
二、逻辑回归函数线性回归.
sigmoid
函数判断标准回归的结果输入到
sigmoid
函数当中输出结果:[0,1]区间中的一个概率值,默认为0.5为阈值逻辑回归的损失,称之为对数似然损失,公式如下:分开类别
ke
·
2023-01-19 12:13
逻辑回归
人工智能
深度学习面经总结
1.BN层的作用优势:(1)BN使得网络中每层输入数据的分布相对稳定,加速模型学习速度(2)BN使得模型对网络中的参数不那么敏感,简化调参过程,使得网络学习更加稳定(3)BN允许网络使用饱和性
激活函数
(
Fighting_1997
·
2023-01-19 12:41
计算机视觉
Python
神经网络
深度学习
计算机视觉
人工智能
理论上
sigmoid
等函数可以拟合所有函数,为什么我们还是追求深的神经网络,而不是宽的神经网络
想要读懂这篇文章,你需要知道什么是神经网络的深度:神经网络的层数,更确切地说,隐藏层数什么是神经网络宽度:在一个层上,神经元的数量深度为2,宽度为6的神经网络为什么
激活函数
如
sigmoid
可以拟合理论上所有的函数
吸血猫teriri
·
2023-01-19 10:51
神经网络
深度学习
机器学习
BERT模型fine-tuning
文本分类的例子最典型了,最后加一个Dense层,把输出维度降至类别数,再进行
sigmoid
或softmax。
anshiquanshu
·
2023-01-19 10:47
深度学习
python
上一页
39
40
41
42
43
44
45
46
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他