E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
dropout
理解
dropout
,梯度下降,反向传播算法
1.
Dropout
出现的原因在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。
Luemmm
·
2020-08-10 09:13
【tensorflow】batch_normalization
随着梯度下降算法的不断改进，已经有越来越多的算法尝试减少调参的工作量，比如减小学习率、选取合适的权重初始化函数、应用
Dropout
等等，而BatchNormalization也是一个加速神经网络训练
我从崖边跌落
·
2020-08-10 06:31
TensorFlow
#论文 《ImageNet Classification with Deep Convolutional Neural Networks》
是第一个提出CNN的，还有
dropout
等方法。1IntroCNN与之前的标准前馈神经网络对比：连接和参数更少，因此更容易训练；而且它的理论最佳只是比之前的稍差。GPU让训练CNN成为可能。
arthur503
·
2020-08-10 06:24
机器学习
Maxout Networks
1.
Dropout
dropout
可以训练集成模型，它们共享参数并近似的对这些模型的预测进行了平均。
ifenghao
·
2020-08-10 05:47
论文笔记
深度神经网络中处理数据和训练模型的一些技巧
权重初始化2.1全0初始化2.2随机初始化2.3稀疏初始化2.4初始化偏置（bias）2.5批标准化（BatchNormalization）3防止过拟合3.1正则化（Regularization）3.2
Dropout
紫芝
·
2020-08-10 00:57
网络
神经网络
机器学习
重磅 | 机器学习大神Bengio最新论文发布，专注RNN优化难题，将在NIPS提出新概念fraternal
dropout
Bengio在新作中提出了RNN优化的新概念fraternal
dropout
，通过最小化使用不同的
dropout
mask的同一个RNN的预测差异，提升RNN对于不同
dropout
mask的不变性，来对RNN
AI科技大本营
·
2020-08-09 20:01
Kaggle: Tweet Sentiment Extraction 方法总结 Part 1/2: 常用方法总结
CommonMethodsLabelSmoothingImplementationofLabelSmoothingIntensorflowInpytorchMulti-sample
dropout
ImplementationStochasticWeightAvera
Jay_Tang
·
2020-08-09 17:24
比赛/项目
经验分享
【AI】卷积层，池化，Softmax，欠拟合和过拟合
CNN中的滤波器位置不变性零填充(Zero-Padding)卷积层权重矩阵端到端特征学习可视化卷积层最大池化(Max-Pooling)Softmax架构VGG16架构深入Finetuning训练更好的模型
Dropout
yofer张耀琦
·
2020-08-09 16:07
机器学习
卷积层
池化
Softmax
欠拟合和过拟合
PyTorch 1.0 中文文档：torch.utils.checkpoint
默认情况下，checkpoint包含了使用RNG状态的逻辑(例如通过
dropout
)，与non-checkpointed传递相比,checkpointed具有更确定的输出。
weixin_30553777
·
2020-08-09 13:32
面向2020届毕业生斗鱼算法岗笔试
答案：克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点.2、
dropout
和baggingboostingstacking中哪一个原理最接近答案：bagging,李宏毅课程里讲过
独孤的大山猫
·
2020-08-09 03:04
面试记录
cifar10案例（cifar10—input.py重点），彩色图片卷积神经网络
但是代码内部有很大的区别，相同点：他们都是采用了2层卷积+2层全连接不同点：cifar10内部封装了数据增强的功能，而且在全连接层cifar10应用了L2正则项来约束w参数，防止过拟合，并没有采用MNIST的那种
dropout
张振皮皮皮虾
·
2020-08-09 01:07
卷积神经网络
CS231n《深度学习与计算机视觉》-- 作业下载及CIFAR-10数据集下载
Imageclassification、KNN、SVM、Softmax、NeuralNetworkassignment2：Fully-connectedNets,BatchNormalization,
Dropout
寻梦梦飞扬
·
2020-08-09 01:57
深度学习
『cs231n』作业2选讲_通过代码理解
Dropout
Dropout
def
dropout
_forward(x,
dropout
_param):p,mode=
dropout
_param['p'],
dropout
_param['mode']if'seed'in
dropout
_param
weixin_33924770
·
2020-08-09 00:35
CS231n作业笔记2.2：多层神经网络的实现
注：这部分不包括
dropout
以及batchnormalization。1.初始化参数注：这次使用了normal函数，也可以使用randn函数self.params['W1'
silent56_th
·
2020-08-08 21:10
cs231n
神经网络
CS231n课程笔记
cs231n assignment(二) 多层神经网络以及反向传播的代码推导
（1）、input->(affine_forward)->out*->(relu_forward)->out，全连接和relu激活（2）、batch-normalization批量归一化3、随机失活（
DropOut
莫染prince
·
2020-08-08 20:43
deep
learning
[Lecture 7 ] Training Neural Networks II（训练神经网络II）
SGD1.3AdaGrad1.4Adam1.5学习率的选择1.6二阶优化（Second-OrderOptimization）1.7模型集成2.正则化（Regularization）2.1权重约束2.2随机失活（
Dropout
灵隐寺扫地僧
·
2020-08-08 20:16
#
CS231n
Deep learning_CNN_Review：A Survey of the Recent Architectures of Deep Convolutional Neural Networks—...
ASurveyoftheRecentArchitecturesofDeepConvolutionalNeuralNetworks翻译综述深度卷积神经网络架构：从基本组件到结构创新目录摘要1、引言2、CNN基本组件2.1卷积层2.2池化层2.3激活函数2.4批次归一化2.5
Dropout
2.6
AllisWell_WP
·
2020-08-08 18:11
dropout
，batch norm的使用顺序，训练和测试时的差异
batchnorm和
dropout
都可以起到正则化的作用，防止过拟合。
夏未眠秋风起
·
2020-08-08 18:32
基础知识
maxout学习
个人感觉Maxout网络和
Dropout
有很多相似的地方。本篇博文将从什么是maxout网络讲起，
夏未眠秋风起
·
2020-08-08 18:32
machineLearning
基础知识
深度学习
神经网络
人工智能
python
cs231n 部分代码解释
由于记性不大好，所以还是边学习边整理吧
dropout
（随机失活）p值更高=随机失活更弱#-*-coding:utf-8-*-**#添加这一句话，可以是pycharm打印出来中文**importnumpyasnpimportrandomimportmatplotlib.pyplotaspltp
karol_peng
·
2020-08-08 16:52
小白
Python学习
TFLearn 在给定模型精度时候提前终止训练
importnumpyasnpimporttflearnfromtflearn.layers.coreimport
dropout
fromtflearn.layers.normalizationimportbatch_normalizationfromtflearn.data_utilsimportto
djph26741
·
2020-08-08 15:04
LSTM时间序列分析--3
importtimeimportwarningsimportnumpyasnpfromnumpyimportnewaxisfromkeras.layers.coreimportDense,Activation,
Dropout
fromkeras.layers.recurrentimportLSTMfromkeras.modelsimportSequentialimportmatplotlib.pyp
♚人间海
·
2020-08-07 21:15
python
机器学习
tensorflow
PyTorch自用笔记（第四周）
ReLU激活`自定义层次train7.5激活函数与GPU加速7.6Visdom可视化八、实战技巧8.1过拟合与欠拟合8.2交叉验证8.3正则化8.4动量与学习率衰减8.5其他技巧earlystopping
dropout
StochasticGradientDes
代号06009
·
2020-08-07 16:04
笔记
【深度学习】：一文入门
Dropout
层
Dropout
层在神经网络层当中是用来干嘛的呢？它是一种可以用于减少神经网络过拟合的结构，那么它具体是怎么实现的呢？假设下图是我们用来训练的原始神经网络：一共有四个输入x_i，一个输出y。
Geeksongs
·
2020-08-06 16:00
深度学习网络模型汇总
发展历史1998LeNet首个基于卷积的神经网络2012AlexNet1.使用了Relu激活函数2.标准化3.
Dropout
4.数据增强VGGInceptionGoogLeNet5阶段，共9个inception
文森88
·
2020-08-06 13:04
算法
几个小技巧，LSTM seq2seq模型训练提速数倍
>本文测试用的模型神经网络类型：LSTMseq2seq深度：5层Embedding维度：300其它技术：双向encode、残差技术、
dropout
技术、注意力机制>测试用的语料集QA语料集，2000组对话
彭朝劲
·
2020-08-06 13:35
NLP
dropout
原理及代码解析
一.
dropout
概念在训练的时候，以一定的概率使得某些神经元从网络中丢弃二.
dropout
原理解释1.从ensemble的角度理解由于每个epoch前向的时候都是以一定概率随机的丢弃某些神经元，所以每个
Mmm_Zzz
·
2020-08-06 13:02
深度学习
pytorch1.2 transformer 的调用方法
torch.nn.Transformertorch.nn.Transformer(d_model=512,nhead=8,num_encoder_layers=6,num_decoder_layers=6,dim_feedforward=2048,
dropout
Toyhom
·
2020-08-06 12:45
CHAPTER 3 改进神经网络的学习（Improving the way neural networks learn）
几个方面改进工作：（一）改变代价函数，或输出函数，使用cross-entropy作为代价函数（二）四种规格化方法regularization(L1andL2regularization,
dropout
,
magic_andy
·
2020-08-06 12:56
Machine
Learning
Deep
Learning
TensorFlow 2.x调试错误解决：_SymbolicException: Inputs to eager execution function cannot be Keras symbolic
比如说，模型使用了
Dropout
，在训练时要随机失活
玉来愈宏（张玉宏）
·
2020-08-06 11:17
深度学习之美
Python学习
TensorFlow学习笔记
CNN图像分类网络汇总（one）LeNet,AlexNet,ZFNet
AlexNet作为2012年ImageNet分类冠军，把LeNet发扬光大，运用了Relu，
Dropout
，LRN等trick，并且使用GPU加速。使用Relu对梯度衰减进行加速，并且一定程度的避免
tendencyboy
·
2020-08-05 20:36
深度学习
图像处理
tf.nn.embedding_lookup
tf.nn.embedding_lookup（tensor,id）:tensor就是输入张量，id就是张量对应的索引tf.nn.
dropout
(x,keep_prob,noise_shape=None,
csdn_lzw
·
2020-08-05 18:45
tensorflow
keras-VGG16模型
importtimefromkeras.applications.imagenet_utilsimportpreprocess_input,decode_predictionsfromkeras.layersimport
Dropout
老三是只猫
·
2020-08-05 12:54
python
深度学习算法
keras
代码脚本
使用keras预训练VGG16模型参数分类图像并提取特征
0.3.0theano==0.8.0python==2.7.13fromkeras.modelsimportSequentialfromkeras.layers.coreimportFlatten,Dense,
Dropout
fromkeras.layers.convolutionalimportConvolution2D
xinfeng2005
·
2020-08-05 11:49
深度学习
python
Keras实现VGG16
fromkeras.modelsimportSequentialfromkeras.layersimportDense,Flatten,
Dropout
fromkeras.layers.convolutionalimportConv2D
一蓑烟雨任平生yu
·
2020-08-05 11:30
深度学习
Tensorflow05-激活函数、优化器、过拟合和
Dropout
1.激活函数激活函数用于在线性组合之后添加非线性因素。在我看来，相当于扩大不同类数据之间的差距。称之为“激活”，就是让一类数据激活一个条件得到一个显著不同的输出。激活函数把卷积后的结果压缩到某一个固定的范围，这样可以一直保持一层一层下去的数值范围是可控的。常见的激活函数有如下：tf.nn.relu(features,name=None)tf.nn.relu6(features,name=None)
yfraquelle
·
2020-08-05 08:51
Tensorflow
MachineLearning
Deep Learning 基础 -- 防止过拟合/预训练模型
DeepLearning基础–防止过拟合/预训练模型Tags：Deep_Learning本文主要包含如下内容：DeepLearning基础–防止过拟合/预训练模型发生过拟合的原因防止过拟合（过拟合无法避免）引入正则化
Dropout
ProYH
·
2020-08-05 08:20
Deep-Learning
深度学习（十二）过拟合的解决方案（清洗数据、增强数据、正则化、
Dropout
）
4、
Dropout
QuinnHanz
·
2020-08-05 08:48
★深度学习
【深度学习】Drop out
来源：
Dropout
:ASimpleWaytoPreventNeuralNetworksfromOverfitting1.原理在每个训练批次的前向传播中，以概率p保留部分神经元。
maershii
·
2020-08-05 04:04
深度学习
杂项
L2（w^2）正则化导数是2*w,到后期变化是比较平缓的，很难达到0L1(|w|)正则化导数是1，到后期会震荡，有可能会把权重压到0如果权重为0了，网络梯度消失无法训练，所以神经网络一般用L2,
dropout
kfyong
·
2020-08-05 00:25
人工智能学习笔记
PyTorch 笔记（16）— torch.nn.Sequential、torch.nn.Linear、torch.nn.RelU
torch.nn包提供了很多与实现神经网络中的具体功能相关的类，这些类涵盖了深度神经网络模型在搭建和参数优化过程中的常用内容，比如神经网络中的卷积层、池化层、全连接层这类层次构造的方法、防止过拟合的参数归一化方法、
Dropout
wohu1104
·
2020-08-04 21:15
PyTorch
卷积神经网络中的基础知识点总结
正则化的几种常用方法：
dropout
L1/L2范数BN(BatchNormalization)什么是梯度消失和梯度爆炸？原因解决方法常用的优化方法如何解决局部最优问题如何初始
迷路的咸鱼
·
2020-08-04 21:30
深度学习总结经验帖
卷积
神经网络
深度学习
DC/DC和LDO的区别
LDO是low
dropout
regulator，为低压差线性稳压
张小铭
·
2020-08-04 15:21
深度学习基础知识（五）---
dropout
dropout
可以看作是一种实用的bagging的方法，即模型平均思想的一种运用。
Teeyohuang
·
2020-08-04 12:57
深度学习理论
10分钟搭建一个简易深度学习模型
tensorflow、pillow、keras2、数据集介绍3、代码importkerasfromkeras.modelsimportSequentialfromkeras.layersimportDense,
Dropout
PeeInTheWind
·
2020-08-04 12:29
ML
pytorch---之BN层参数详解及应用(1,2,3)(1,2)?
，都有一个属性trainning指定是否是训练状态，训练状态与否将会影响到某些层的参数是否是固定的，比如BN层(对于BN层测试的均值和方差是通过统计训练的时候所有的batch的均值和方差的平均值)或者
Dropout
zxyhhjs2017
·
2020-08-04 10:46
pytorch
PyTorch 深度学习的技巧
7.深度学习的技巧过拟合与欠拟合欠拟合过拟合交叉验证数据划分K-flod交叉验证正则化奥卡姆剃刀原理防止过拟合的方法正则化L1范数L2范数动量与学习率衰减动量学习率衰减提前停止更新与
dropout
提前停止更新
_zZhe
·
2020-08-04 09:19
pytorch
深度学习
深度学习
Pytorch
pytorch使用Alexnet实现cifar10分类
介绍AlexnetAlexnet使用了一些技巧避免过拟合：数据增强，正则化，
dropout
，局部相应归一化LRN使用了gpu加速使用了ReLU非线性激活函数。速度快max（0，x）。
沙雅云
·
2020-08-04 09:53
pytorch
踩坑：pytorch中eval模式下结果远差于train模式
我的模型中，eval模式和train模式不同之处在于BatchNormalization和
Dropout
。
Dropout
比较简单，在train时会丢弃一部分连接，在eval时则不会。
yucong96
·
2020-08-04 09:54
踩坑
Pytorch的nn.
Dropout
运行稳定性测试
结论：Pytorch的nn.
Dropout
在每次被调用时
dropout
掉的参数都不一样，即使是同一次forward也不同。
Silbera
·
2020-08-04 09:22
上一页
34
35
36
37
38
39
40
41
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他