dropout

Dropout、剪枝、正则化有什么关系？什么是Dropout？

Dropout、剪枝、正则化有什么关系？{\color{Red}Dropout、剪枝、正则化有什么关系？}Dropout、剪枝、正则化有什么关系？目录Dropout、剪枝、正则化有什么关系？
唐三.·2023-11-10 14:22

机器学习：正则化

过拟合产生的原因是模型把数据样本的噪声或特性当作一般样本的共有特性拟合了（高方差）解决过拟合的方法有很多，比如减少迭代次数，使用dropout，数据清洗等，正则化也是一种解决过拟合，提高模型泛化性的方法
fly_jx·2023-11-10 14:21

PyTorch基础：神经网络工具箱torch.nn(nn.Module类)

一般把网络中具有可学习参数的层（如全连接层、卷积层等）放在构造函数__init__()中，当然我也可以吧不具有参数的层也放在里面；一般把不具有可学习参数的层(如ReLU、dropout、Batc
丁天牛·2023-11-10 08:34

搭建神经网络（torch.nn的用法）

零零碎碎总结了一些torch框架里面nn模块的用法，尤其是关于搭建神经网络的nn.ModuleListnn.Modulenn.Sequentialnn.Linearnn.Dropoutnn.Embeddingnn.DataParallel
知福致福·2023-11-10 08:55

Camera驱动基础--硬件接口相关知识介绍

一.LDO,PMIC，PMU,GPIOLDO:低压差线性稳压器(lowdropoutregulator)：LDO内部有四个部分组成：分别是基准参考电压，误差放大器，分压抽取电路和晶体管调整电路基准参考电压
啦啦啦啦拉拉☜·2023-11-10 03:42

【图像分类】【深度学习】【Pytorch版本】AlexNet模型算法详解

深度学习】【Pytorch版本】AlexNet模型算法详解文章目录【图像分类】【深度学习】【Pytorch版本】AlexNet模型算法详解前言AlexNet讲解卷积层的作用卷积过程特征图的大小计算公式Dropout
牙牙要健康·2023-11-08 10:19

TensorFlow2.0教程2-全连接神经网络以及深度学习技巧

文章目录基础MLP网络1.回归任务2.分类任务mlp及深度学习常见技巧1.基础模型2.权重初始化3.激活函数4.优化器5.批正则化6.dropout基础MLP网络1.回归任务importtensorflowastfimporttensorflow.kerasaskerasimporttensorflow.keras.layersaslayers
总裁余(余登武)·2023-11-08 03:21

Pytorch 里面torch.no_grad 和model.eval(), model.train() 的作用

batchnorm和dropout层会因为状态的不同，而有不同的行为和反应。
张哥coder·2023-11-07 06:32

[网络层]什么是 Dropout

参考资料：深度学习中Dropout原理解析Dropout详解1、什么是Dropout在前向传播的过程中，让某个神经元的激活值以一定的概率P停止工作，可以使模型更加泛化，不会太依赖某些神经元。
LCG22·2023-11-06 07:05

神经网络 dropout 总结

reference：SeyyedHosseinHasanPour,MohammadRouhani,MohsenFayyaz,MohammadSabokrou,EhsanAdeli:TowardsPrincipledDesignofDeepConvolutionalNetworks:IntroducingSimpNet.CoRRabs/1802.06205(2018)image.pngimage.p
marshb·2023-11-05 16:40

Datawhale 零基础入门CV赛事-Task5 模型集成

具体的集成学习方法需要与验证集划分方法结合，Dropout和TTA是应用较为广泛的方法。
顾子豪·2023-11-05 03:19

深度学习调参技巧 调参trick

一般通用的trick都被写进论文和代码库里了，像优秀的优化器，学习率调度方法，数据增强，dropout，初始化，BN，LN，确实是调参大师的宝贵经验，大家平常用的也很多。
ad110fe9ec46·2023-11-04 10:24

PositionalEncoding类代码及论文原理理解

def__init__(self,d_model,dropout,max_len=5000):super(PositionalEncoding,self).__init__()self.d
thetffs·2023-11-04 02:08

multiheadattention类原理及源码理解

网络找的一段代码如下：classMultiHeadedAttention(nn.Module):def__init__(self,h,d_model,dropout=0.1):"Takeinmodelsizeandnumberofheads
thetffs·2023-11-04 02:38

pytorch dropout 置零 + 补偿性放缩

一句话概括：（训练过程中）Dropout操作=随机置零+非置零元素进行后补偿性放缩。以保证dropout前后数据scale不变。
XiaoPangJix1·2023-11-03 07:52

论文辅助笔记：t2vec models.py

init_classEncoderDecoder(nn.Module):def__init__(self,vocab_size,embedding_size,hidden_size,num_layers,dropout
UQI-LIUWJ·2023-11-03 05:38

【单词】【2015】

conventional依照惯例的convention公约，大会clinically临床的layout布置；规划paradox悖论，矛盾thesis论文dropoutrate辍学率explicitly明确的
irel1a_3·2023-11-03 03:26

论文辅助笔记：T2VEC一个疑虑：stackingGRUCell和GRU的区别在哪里？

1stackingGRUCellclassStackingGRUCell(nn.Module):"""Multi-layerCRUCell"""def__init__(self,input_size,hidden_size,num_layers,dropout
UQI-LIUWJ·2023-11-02 06:38

pytorch 笔记：GRU

在多层GRU中，第l层的输入（对于l≥2）是前一层的隐藏状态乘以概率dropout。2基本使用方法torch.nn.GRU(self,input_size,h
UQI-LIUWJ·2023-11-02 06:00

torch基本功能介绍

eg.全连接、卷积、池化、BN分批处理、dropout、CrossEntropyLoss、MSLoss等。torch.autograd:提供Tensor所有操作的自动求导方法。
空格为什么不行·2023-11-01 23:53

卷积神经网络

0.1.2公式和推导penal项：新的loss函数：故需要最小化loss函数所得的随机梯度下降更新公式为：0.2、丢弃法（Dropout）0.2.1概念和用途通过将输出项随机置0，另一部分随机增大来控制模型复杂
懒羊羊（学习中）·2023-10-31 13:19

从AlexNet到chatGPT的演进过程

使用ReLU激活函数和Dropout正则化，获得了ImageNet图像分类比赛的胜利。引入了GPU加速训练，大幅提高了深度神经网络的训练速度。
xw555666·2023-10-29 10:08

37 深度学习（一）：查看自己显卡的指令|张量|验证集|分类问题|回归问题

文章目录查看自己显卡的指令框架选什么张量的阶数验证集存在的意义分类问题一般的全连接的代码格式（板子）上面训练的详解一些省略梯度消失和梯度爆炸Dropout回归问题一般回归的全连接的板子batch-size
Micoreal·2023-10-26 02:29

【论文精读】Deep Learning and the Information Bottleneck Principle

DeepLearningandtheInformationBottleneckPrinciple上次读了《DeepLearningunderPrivilegedInformationUsingHeteroscedasticDropout
Atlas8346·2023-10-26 01:01

Pytorch：model.train()和model.eval()用法和区别，以及model.eval()和torch.no_grad()的区别

1model.train()和model.eval()用法和区别1.1model.train()model.train()的作用是启用BatchNormalization和Dropout。
Code_LiShi·2023-10-25 17:47

基于机器视觉的12306验证码识别 计算机竞赛

文章目录0简介1数据收集2识别过程3网络构建4数据读取5模型训练6加入Dropout层7数据增强8迁移学习9结果9最后0简介优质竞赛项目系列，今天要分享的是基于机器视觉的12306验证码识别该项目较为新颖
Mr.D学长·2023-10-25 14:41

tf.keras.layers.AlphaDropout

对输入运用AlphaDropout,它会在dropout后保持原始值的均值和方差不变.tf.keras.layers.AlphaDropout(rate,noise_shape=None,seed=None
又双叒叕苟了一天·2023-10-25 07:17

【机器学习合集】泛化与正则化合集 -＞（个人学习记录笔记）

文章目录泛化与正则化1.泛化(generalization)2.正则化方法2.1显式正则化方法显式正则化方法对比提前终止模型的训练多个模型集成Dropout技术2.2参数正则化方法2.3隐式正则化方法方法对比泛化与正则化
slience_me·2023-10-24 20:30

pytorch逐行搭建CNN系列（一）AlexNet

成功使用Dropout机制使用了重叠的最大池化（MaxPooling）。
努力当总裁·2023-10-23 15:02

CNN-卷积操作pytorch实现

三、创建两套卷积核以及定义池化层，dropout层classNet(nn.Module):def__init__(self):super().__init__()#
学AI的同学·2023-10-23 15:32

改进Hinton的Dropout：可以用来减轻欠拟合了

近日在一篇论文《DropoutReducesUnderfitting》中，MetaAI、加州大学伯克利分校等机构的研究者展示了如何使用dropout来解决欠拟合问题。
GZKPeng·2023-10-22 17:49

深度学习笔面试知识点总结及题目

防止过拟合的手段（如果模型在训练集上表现比较好但在测试集上表现欠佳可以选择增大L1或L2正则的惩罚力度（L2正则经验上首选1.0，超过10很少见），或增大dropout的随机失活概率（经验首选0.5）；
zichen7055·2023-10-21 06:42

【多模态】平衡多模态学习（讨论与文章汇总）

文章目录1.提出问题2.解决方法01.添加额外的uni-modallossfunction:02.Modalitydropout03.Adjustlearningrate04.Imbalancedmulti-modallearning05
杀生丸学AI·2023-10-21 06:20

Pytorch的LSTM的理解

num_layers：lstm隐层的层数，默认为1bias：False则bih=0和bhh=0.默认为Truebatch_first：True则输入输出的数据格式为(batch,seq,feature)dropout
犹巴米拉尔达·2023-10-20 23:22

论文阅读 || 目标检测系列——yolov2详解

1优化方式的增加（预测更准确）1.1batchnormalization（批量归一化）mAP提升2.4操作：替代了YOLOV1的dropoutbatchnorm有助于解决方向传播过
magic_ll·2023-10-18 07:40

残差层

引言在VGG中，随着网络层数的增多，往往伴随着以下几个问题：计算资源的消耗（通过增加GPU来解决）模型容易过拟合（采集海量数据，使用dropout正则化）产生梯度消失和梯度爆炸（使用batchnorm）
LuDon·2023-10-16 08:37

对比学习笔记

文章目录一、什么是对比学习二、对比学习为什么这么火三、Simcse是什么1.无监督SimCSE2.有监督SimCSE四、simcse的损失函数是什么五、为什么simcse构造正例对时使用dropout是有效的方法六
hit56实验室·2023-10-15 06:55

ESimCSE 论文笔记

SimCSE采用两次dropout作为一对正样本来当作数据增强的方法（详细内容可见我的上一篇笔记），但这样有一个不好的地方就是模型会偏向认为具有相同长度的句子彼此之间就更为相似。为了验证这一观点
shuaiZuJiaoFu·2023-10-15 06:21

[论文笔记]SimCSE

对于无监督方式，输入一个句子然后在一个对比目标中预测它自己，仅需要标准的Dropout作为噪声。这种简单的方式效果却惊人地好。
愤怒的可乐·2023-10-15 06:46

深度强化学习DRL训练指南和现存问题（D3QN（Dueling Double DQN））

iterationepisodeepochBatch_SizeExperimenceReplayBuffer经验回放缓存Rewarddiscountfactor或gamma折扣因子Agent神经网络batchnormalization批归一化dropout
参宿7·2023-10-14 09:32

卷积神经网络CNN基础知识

前言2卷积神经网络CNN2.1LeNet-5相关介绍2.2CNN基本结构2.2.1卷积层2.2.2池化层（下采样层）2.2.3全连接层2.2.3.1激励层（非线性激活）2.2.3.2线性层2.2.3.3Dropout
JiA-Bai·2023-10-13 15:48

【tensorflow2.0】24.tf2.0实现AlexNet

（以下内容出自百度百科）    AlexNet中包含了几个比较新的技术点，也首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。
一只很菜很菜的tfer·2023-10-13 09:25

Tensorflow实现多层感知机

在普通神经网络的基础上，加入隐藏层，减轻过拟合的Dropout，自适应学习速率的Adagrad，以及可以解决梯度你三的激活函数Relu.首先是载入Tensorflow并加载MNIST数据集，创建一个Tensorflow
河南骏·2023-10-12 02:42

正则化、dropout深层神经网络

--coding:utf-8--"""CreatedonSunSep3022:57:442018@author:ltx"""采用正则化的方法和随机删除节点都有助于防止模型过拟合。当数据集特别小，为了防止训练得出的模型过拟合，使用正则化方法importnumpyasnpimportmatplotlib.pyplotaspltimportreg_utils#正则化train_x,train_y,tes
星girl·2023-10-11 23:43

电子电路学习笔记——LDO稳压器 NCP114ASN330T1G的应用

关于LDO稳压器（Low-DropoutRegulator）？是一种用于电源管理的集成电路，常用于将高电压转换为较低且稳定的工作电压。
Hailey深力科·2023-10-11 16:51

【深度学习】深度学习实验二——前馈神经网络解决上述回归、二分类、多分类、激活函数、优化器、正则化、dropout、早停机制

一、实验内容实验内容包含要进行什么实验，实验的目的是什么，实验用到的算法及其原理的简单介绍。1.1手动实现前馈神经网络解决上述回归、二分类、多分类问题分析实验结果并绘制训练集和测试集的loss曲线。原理介绍：回归问题使用的损失函数为平方损失函数，二分类问题使用的损失函数为nn.BCEloss函数，多分类问题使用的损失函数为交叉熵损失函数nn.CrossEntropyLoss。三个问题的激活函数均为
yuzhangfeng·2023-10-11 10:41

深度学习基础知识总结

实例分割基础知识激活函数激活函数的作用激活函数一般是非线性的常见的激活函数训练集/验证集/测试集，交叉验证...训练集验证集（开发集）测试集交叉验证目标检测YOLO算法YOLO算法发展过程卷积空洞卷积感受野过拟合噪声IOU搭建模型相关Dropout
ThreeS_tones·2023-10-11 08:02

尝试练习类VGG卷积神经网络

''importnumpyasnpimportkerasfromkeras.modelsimportSequential,Input,Modelfromkeras.layersimportDense,Dropout
光光小丸子·2023-10-10 12:52

【神经网络】(2) 网络优化，案例：服装图像分类，附python完整代码

各位同学好，今天和大家分享以下TensorFlow2.0深度学习中对神经网络的优化方法，包括动量、学习率、dropout、交叉验证、正则化。本节使用数学公式对网络进行优化，增加网络的灵活性。
立Sir·2023-10-09 13:57

李宏毅 2022机器学习 HW3 boss baseline 上分记录

HW3bossbaseline上分记录1.训练数据增强2.crossvalidation&ensemble3.testdatasetaugmentation4.resnet1.训练数据增强结论：训练数据增强、更长时间的训练、dropout
每天都想躺平的大喵·2023-10-08 07:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他