dropout

cs231n_2018_lecture08_notes_nn硬软件平台

要点：神经网络的硬件和软件平台在课件最开始总结了lecture07讲的关键：optimization的选择——SGD+Momentum,Nesterov,RMSProp,Adamdropout正则化可以看作是在网络的前向传播过程中加噪
is_fight·2022-08-25 07:57

CS231n-assignment2-PyTorch

Dropout,BatchNormalization，和2D卷积是计算机视觉中深度学习的主要工具。您还努力使代码高效和向量化。
Esaka7·2022-08-25 07:26

深度卷积神经网络架构：从基本组件到结构创新

第一时间送达本文转自：人工智能与算法学习https://arxiv.org/pdf/1901.06032.pdf摘要1、引言2、CNN基本组件2.1卷积层2.2池化层2.3激活函数2.4批次归一化2.5Dropout2.6
小白学视觉·2022-08-24 18:05

卷积神经网络创新点思考

——数据增强和Dropout2.VGG卷积核一定越大越好？——3✖
流萤数点·2022-08-21 14:53

循环神经网络实现文本情感分类之Pytorch中LSTM和GRU模块使用

介绍LSTM和GRU都是由torch.nn提供通过观察文档，可知LSTM的参数，torch.nn.LSTM(input_size,hidden_size,num_layers,batch_first,dropout
IT之一小佬·2022-08-21 07:49

猫狗大战——过拟合处理（数据增强、添加Dropout层）

用到的数据增强再上一章已经详细的介绍了。一、导包importwarningswarnings.filterwarnings('ignore')importtensorflowastffromtensorflow.keras.optimizersimportAdamfromtensorflow.keras.preprocessing.imageimportImageDataGenerator二、网络
泡泡怡·2022-08-20 07:03

吴恩达深度学习笔记-布置机器学习项目(第4课)

六、Dropout正则化七、理解Dropout八、其他正则化方法九、归一化输入十、梯度消失与梯度爆炸十一、神经网络的权重初始化十二、梯度的数值逼近十三、梯度检验十四、关于梯度检验实现的注意事项一、训练集
郭少的研究生笔记·2022-08-19 07:04

卷积神经网络—AlexNet、VGG、GoogleNet、ResNet论文解读

LocalResponseNormalization)重叠池化(OverlappingPooling)2.2降低过拟合(ReducingOverfitting)数据增强(DataAugmentation)Dropout
桃李醉东风·2022-08-13 21:24

深度学习中的正则化的应用（最全）

深度学习正则化1.正则化介绍2.数据增强3.L2正则化4.L1正则化5.L1和L2正则化的对比5.1L1和L2正则化防止过拟合原因5.2L1使得权值稀疏原因6.Dropout7.DropConnect8
姜君泽·2022-08-13 07:36

【深度学习】正则化技术全面了解

此外，还可使用数据增强、L1正则化、L2正则化、Dropout、D
小白学视觉·2022-08-13 07:28

模型压缩 —— 知识蒸馏（Knowledge Distillation）

zhuanlan.zhihu.com/p/81467832在深度学习的背景下，为了达到更好的预测，常常会有两种方案：1.使用过参数化的深度神经网络，这类网络学习能力非常强，因此往往加上一定的正则化策略(如dropout
rainbow_lucky0106·2022-08-13 07:53

【机器视觉】(北邮版）卷积，图像降噪，边缘提取，纹理表示

梯度是链式法则，连乘–》容易造成梯度消失Dropout:随机失活~卷积与图像去噪对一个像素点做卷积–》推广到所有像素点卷积核：注意：卷积核需要先翻转才能做滤波，不然不叫做卷积，叫滤波卷积性质：1、叠加性
小珈猫·2022-08-11 14:38

李理：卷积神经网络之Dropout

本系列文章面向深度学习研发者，希望通过ImageCaptionGeneration，一个有意思的具体任务，深入浅出地介绍深度学习的知识。本系列文章涉及到很多深度学习流行的模型，如CNN，RNN/LSTM，Attention等。本文为第11篇。作者：李理目前就职于环信，即时通讯云平台和全媒体智能客服平台，在环信从事智能客服和智能机器人相关工作，致力于用深度学习来提高智能机器人的性能。相关文章：李理：
qunnie_yi·2022-08-11 07:54

dropout

目录1.理解dropout正则化2.dropout率的选择3.dropout有什么缺点?
Billie使劲学·2022-08-05 07:49

深度学习-tensorflow对花的品种进行分类

识别过拟合并应用技术来减轻它，包括数据扩充和Dropout。基本的机器学习流程:检查和理解数据构建输入管道构建模型训练模型测试模型改进模型并重复此过程导入Tensor
翼达口香糖·2022-08-01 07:52

【图像分类—AlexNet】ImageNet Classification with Deep Convolutional Neural Networks

表现突出，top-1误差率37.5%，以及top-5误差率17.0%；网络有6000万个参数和650,000个神经元；网络结构五个卷积层，以及某些卷积层后的池化层，以及最后的三个全连接层；引入正则化方法dropout
gkm0120·2022-07-29 07:22

CNN实验报告

不同模块对CNN的影响介绍实验环境网络结构默认情况（一）添加BN（二）激活函数1.tanh2.LeakyReLU3.sigmoid（三）正则化L2正则DropOut（四）优化器Adam（五）学习率衰减learning_rate
yizhi_hao·2022-07-28 21:09

【机器学习算法】神经网络与深度学习-7 DNN深度学习算法模型出现学习效果不好的情况，如何补救，对策如下，建议收藏。

Mini-Batch方法3：采用newactivationfunction方法4：AdaptiveLearningRate测试数据效果不好的情况，采用什么对策：方法1：Earlystopping方法3：dropout
晴天qt01·2022-07-28 07:35

超参数优化-摘抄

应该使用多大的dropout比率？这些在架构层面的参数叫超参数(hyperparameter)。相对应地，模型参数是可以通过反向传播进行训练的。
Young_win·2022-07-27 07:40

机器学习二------前向传播过程 反向传播算法（BP算法）Dropout 梯度消失和梯度爆炸

1.前向传播过程思想：将上一层的输出作为下一层的输入，并计算下一层的输出，一直到运算到输出层为止。对于Layer2的输出对于Layer3的输出，简化后的形式就是：2.反向传播算法（BP算法）符号说明：对应网络如下：其中对应的矩阵表示如下：正向传播计算过程：同理：所以最终的损失为：接着推导反向传播，根据公式我们知道：我们需要求出C对w的偏导，则根据链式法则有：同理也有：同理如下：最终的结果为：3.深
My secret·2022-07-25 07:53

pytorch入门：现代神经网络模型，pytroch实现CIFAR-10 分类

在2012年提出了AlexNet,提出了训练深度网络的重要技巧：Dropout,Relu,GPU,数据增强方法等。然后卷积神经网络迎来了爆炸式发展。
AI路漫漫·2022-07-19 20:16

过拟合及过拟合处理

文章一、过拟合过拟合示例代码：1.导入第三方库2.加载数据及数据处理3.搭建模型4.训练模型5.分析训练过程二、Dropout层解决过拟合问题三、构建网络的总原则一、过拟合过拟合：在训练数据上得分很高，
booze-J·2022-07-17 16:01

mlp 参数调优_[自动调参]深度学习模型的超参数自动化调优详解

应该使用多大的dropout比率?还有很多。这些在架构层面的参数叫作超参数(hyperparameter)，以便将其与模型参数区分开来，后者通过反向传播进行训练。
weixin_39699163·2022-07-16 07:06

卷积：特征提取器

卷积，过程CBAPD，就是特征提取器C：Convolution层B：Batchnormalization层A:activation层P:pool层D:dropout层
坚持终究会迎来希望·2022-07-12 07:34

keras实现自定义层的关键步骤解析

Keras中的层大致上分为两种类型：第一种是带有训练参数的：比如Dense层、Conv2D层，等等，我们在训练的过程中需要训练层的权重和偏置项；第二种是不带训练参数的：比如dropout层、flatten
LoveMIss-Y·2022-07-12 07:33

Bert模型做多标签文本分类

注意，本文的重点是Bert的应用，对多标签文本分类的介绍并不全面单标签文本分类对应单标签文本分类来说，例如二元的文本分类，我们首先用一层或多层LSTM提取文本序列特征，然后接一个dropout层防止过拟合
孤独腹地·2022-07-10 07:07

自然语言处理实战——LSTM

三、一些细节1.脏数据2.dropout3.未知词条4.字符级建模5.使用one-hot向量6.数据集较小总结前言前文提到过用CNN、RNN、来解决隐藏在文本背后的语义问题，进而进行模型的训练。
will_jay1995·2022-07-09 07:57

tensorflow:归一化和批归一化，激活函数，及dropout

在深度学习中，optimizer就是优化函数，这部分相当于机器学习中，自己写的优化函数部分，直接利用SGD：随机梯度下降算法激活函数的作用引入非线性因素，使得升级网络更为复杂。归一化：训练模型不会因为部分畸形数据而导致训练模型出现差错（在之前的博客中有提到）批归一化：每一层的激活值都进行归一化的过程数据未进行批归一化前使用后可以看出准确率的提升非常的大#对象的使用model=keras.model
秃头选拔赛形象大使·2022-07-09 07:44

四、机器学习基础

和测试集(test)2、偏差(bias)和方差(variance)的处理3、Basicrecipeformachinelearning4、神经网络的归一化/正则化4.1正则化可以减少过拟合风险的原因4.2Dropout
Dragon Fly·2022-07-05 10:33

Pytorch（六） —— 模型调优tricks

tricks1.正则化Regularization1.1L1正则化1.2L2正则化2动量与学习率衰减2.1momentum2.2learningratetunning3.EarlyStopping4.Dropout1
CyrusMay·2022-07-04 07:07

卷积网络的block_DropBlock实现一种PyTorch中卷积网络的正则化方法

DropBlockAbstractDeepneuralnetworksoftenworkwellwhentheyareover-parameterizedandtrainedwithamassiveamountofnoiseandregularization,suchasweightdecayanddropout.Althoughdropoutiswidelyusedasaregularizati
Chongchong Zhang·2022-07-03 07:16

PyTorch 卷积网络正则化 DropBlock

论文地址：https://arxiv.org/pdf/1810.12890.pdf论文概要DropBlock是一种类似于dropout的简单方法，它与dropout的主要区别在于，它从层的特征图中抹除连续区域
荷碧·TongZJ·2022-07-03 07:28

【动手学习pytorch笔记】5.处理过拟合之——Dropout

Dropout定义Dropout函数importtorchfromtorchimportnnfromd2limporttorchasd2ldefdropout_layer(X,dropout):assert0dropout
我已经吃饱了·2022-07-01 07:41

A Survey of the Usages of Deep Learning for Natural Language Processing2019综述学习

.自然语言处理和深度学习2.1自然语言处理2.2神经网络和深度学习2.2.1CNN2.2.2递归神经网络2.2.3循环神经网络和LSTM2.2.4注意力机制和transformer2.2.5残差连接和dropout3
weixin_45562632·2022-07-01 07:34

[动手学深度学习(PyTorch)]——丢弃法Dropout

正则化通过为模型损失函数添加惩罚项使得学出的模型参数值较小，是应对过拟合常用手段丢弃法（Dropout）是一种在学习的过程中随机删除神经元的方法。训练时随机选出隐藏层的神经元，然后将其删除。
Star星屹程序设计·2022-07-01 07:57

Pytorch——Dropout

搭建神经网络模型4.训练模型5.可视化drop与不drop的情况1.前言过拟合让人头疼,明明训练时误差已经降得足够低,可是测试的时候误差突然飙升.这很有可能就是出现了过拟合现象.下面将用可视化的形式来对比使用Dropout
程旭员·2022-07-01 07:22

pytorch踩坑 dropout

https://blog.csdn.net/JianJuly/article/details/103819815?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none
火星种萝卜·2022-07-01 07:17

Pytorch 正则化方法（权重衰减和Dropout）

正则化方法（权重衰退和Dropout）正则化方法和以前学过的正则表达式没有任何关系！花书p141说到：能显式地减少测试误差（可能会以增大训练误差为代价）的方法都被称为正则化。
哇咔咔负负得正·2022-07-01 07:10

动手学深度学习：3.13 丢弃法DropOut

3.13丢弃法除了前一节介绍的权重衰减以外，深度学习模型常常使用丢弃法（dropout）[1]来应对过拟合问题。丢弃法有一些不同的变体。
AI_Younger_Man·2022-07-01 07:08

李沐-丢弃法dropout

Tikho’nov正则丢弃法：在层之间加入噪音无偏差的加入噪音3.使用丢弃法推理中的丢弃法总结代码importtorchfromtorchimportnnfromd2limporttorchasd2ldefdropout_layer
暄染落墨·2022-07-01 07:06

[pytorch、学习] - 3.13 丢弃法

importtorchimporttorch.nnasnnimportnumpyasnpimportsyssys.path.append("..")importd2lzh_pytorchasd2ldefdropout
栗子好好吃·2022-07-01 07:01

丢弃法——dropout

丢弃法——dropout除了权重衰减以外，深度学习模型常使⽤丢弃法（dropout）来应对过拟合问题。丢弃法有一些不同的变体。本节中提到的丢弃法特指倒置丢弃法（inverteddropout）。
Clark-dj·2022-07-01 07:18

PyTorch——Dropout（丢弃法）

参考链接https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter03_DL-basics/3.13_dropoutdropout深度学习模型常常使用丢弃法
cqu_shuai·2022-07-01 07:17

深度学习笔记 —— 权重衰退 + 丢弃法

加入了噪音，但并不希望期望有所改变dropout是一个正则项，正则项只在
Whisper_yl·2022-07-01 07:10

DL_5——权重衰退、丢弃法

文章目录1权重衰退1.1使用均方范数作硬性限制1.2使用均方范数作为柔性限制2权重衰退代码实现3丢弃法Dropout3.1无偏差的加入噪音3.2使用丢弃法3.3总结4丢弃法代码实现1权重衰退1.1使用均方范数作硬性限制
A-Egoist·2022-07-01 07:36

丢弃法Dropout(Pytorch)

https://courses.d2l.ai/zh-v2/文章目录丢弃法动机无偏差的加入噪音使用丢弃法推理中的丢弃法总结从零开始实现定义模型参数定义模型训练和测试简洁实现模型测试总结QA丢弃法动机一个好的模型需要对输入数据的扰动鲁棒使用有噪音的数据等价于Tikhonov正则丢弃法：在层之间加入噪音无偏差的加入噪音对x加入噪音得到x’，我们希望E[x′]=xE[x']=xE[x′]=x丢弃法对每个元
-素心向暖·2022-07-01 07:33

基于GRU股票预测实战

importnumpyasnpimportmatplotlib.pyplotaspltimporttensorflowastffromtensorflow.keras.layersimportDropout
AI炮灰·2022-06-30 07:19

LSTM实现股票预测

importnumpyasnpimporttensorflowastffromtensorflow.keras.layersimportDropout,Dense,LSTMimportmatplotlib.pyplotaspltimportosimportpandasaspdfromsklearn.preprocessingimportMinMaxScalerfromsklearn.metrics
区块链专家·2022-06-29 07:59

tensorflow深度学习之基于GRU的股票预测

代码importnumpyasnpimporttensorflowastffromtensorflow.keras.layersimportDropout,Dense,GRUimportmatplotlib.pyplotaspltimportosimportpandasa
一位安分的码农·2022-06-29 07:27

tensorflow深度学习之基于LSTM的股票预测

代码importnumpyasnpimporttensorflowastffromtensorflow.keras.layersimportDropout,Dense,LSTMimportmatplotlib.pyplotaspltimportosimportpand
一位安分的码农·2022-06-29 07:56
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他