dropout

循环神经网络知识总结

循环神经网络知识总结一、概念部分RNN中的DropoutDropout可以理解为bagging。在训练阶段，在每次迭代中，按一定比例随机丢弃神经元之间的连接来改变网络结构，以实现训练不同网络的目的。
Matt_sh·2022-12-05 17:54

机器学习调参技巧

例如增加网络层数，增加节点数，减少dropout
#Super Pig·2022-12-05 13:00

ValueError:Expected more than 1 value per channel when training, got input size torch.Size([1,1024])

ValueError:Expectedmorethan1valueperchannelwhentraining,gotinputsizetorch.Size([1,1024])报错原因：网络中含有bn或dropout
bksheng·2022-12-05 12:44

卷积神经网络CNN特点功能及其缺陷

卷积神经网络CNN特点功能及其缺陷卷积神经网络（CNN）中的模块及其功能作用CNN的目的特征卷积与特征提取卷积的特点：局部感知、参数共享、多核Down-Pooling多层卷积池化激活函数的意义LRN的催化与抑制Dropout
一只不出息的程序员·2022-12-05 11:23

神经网络：测试集的loss不降，杂乱无章解决方法

试了很多种方法，包括调整参数batch_size，learning_rate，dropout随机失活层的比率，loss都没有任何改善。！！！调整数据的排序。
杏酱面包葡萄柚·2022-12-05 11:16

神经网络模型训练集和测试集loss不下降原因汇总

L1、L2以及Dropout是为了防止过拟合的，当训练集loss下不来时，
十三吖·2022-12-05 10:09

Keras：如何保存模型并继续训练？

importnumpyasnpfromnumpy.testingimportassert_allclosefromkeras.modelsimportSequential,load_modelfromkeras.layersimportLSTM,Dropout
哈_哈，笑一个吧！·2022-12-05 09:18

TensorFlow学习笔记4——正则化方法：L1和L2 regularization、数据集扩增、dropout

正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在trainingdata上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work。为了防止overfitting，可以用的方法有很多
你行你上天·2022-12-05 02:15

PyTorch框架学习十六——正则化与Dropout

PyTorch框架学习十六——正则化与Dropout一、泛化误差二、L2正则化与权值衰减三、正则化之Dropout补充：这次笔记主要关注防止模型过拟合的两种方法：正则化与Dropout。
slight smile·2022-12-05 02:15

keras添加L1正则化，L2正则化和Dropout正则化及其原理

一、什么是正则化，用来干嘛的？正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。因为机器学习的理论来源于数学，正则化的概念被很好的引用到机器学习模型中，主要作用是防止模型过拟合。我们的模型训练时，比如常见的深度学习模型，可能往往会因为
Guapifang·2022-12-05 02:15

正则化的方法(L1、L2、dropout等)原理与实现

一、引入原因正则化是为了处理过拟合问题，关于什么是过拟合，可查看这篇博客https://blog.csdn.net/weixin_45459911/article/details/105769370二、正则化的常用方法1、增大训练集训练的数据集规模越大，越不容易发生过拟合，但是这点往往受限于实际要求，所以有的时候很难实现。2、L1&L2范数1、范数的数学定义假设x是一个向量，它的LpL^pLp范数
工藤旧一·2022-12-05 02:15

深度学习中的正则化——L1、L2 和 Dropout

在本文中，我们将介绍最流行的正则化技术，称为L1、L2和dropout。文章目录1.回顾：过拟合2.什么是正则化？3.L2正则化4.L1正则化5.为什么L1和L2正则化有效？
点PY·2022-12-05 02:44

opencv 分割合并通道

原文链接:opencv分割合并通道上一篇:TensorFlowdropout函数下一篇:opencv颜色空间提取各个通道的数据并显示，对比结果设置某一个通道数据为0importcv2ascvimg=cv.imread
阿豪boy·2022-12-04 22:55

Dropout解析

第四篇Dropout解析代码实现文章目录深度学习系列前言一、基础知识1.Dropout改变模型怎么理解？
GDUT 小胖鱼·2022-12-04 20:31

《Python深度学习》第四章笔记

2.2K折验证2.3带有打乱数据的重复K折验证3.数据预处理、特征工程、特征学习3.1神经网络的数据预处理3.2特征工程4.降低过拟合以及将泛化能力最大化4.1减小网络大小4.2添加权重正则化4.3添加dropout
烟雨行客·2022-12-04 15:34

【学习笔记】《Python深度学习》第六章：深度学习用于文本和序列

实例：使用LSTM进行IMDB电影评论分类3循环神经网络的高级用法3.1温度预测问题3.2准备数据3.3基于常识、非机器学习的基准方法3.4一种基本的机器学习方法3.5第一个循环网络基准3.6使用循环dropout
Schanappi·2022-12-04 15:58

pytorch中的dropout

nn.Dropouta=torch.randn([2,2,2])#tensor([[[2.3227,1.2603],#[0.2886,-1.2973]],#[[-1.3519,-0.9159],#[-0.0327,1.2753
今晚月亮有点圆·2022-12-04 14:38

什么是批标准化 (Batch Normalization)

什么是批标准化(BatchNormalization)每层都做标准化你再也不用去理会过拟合中dropout、L2正则项参数的选择问题，采用BN算法后，你可以移除这两项了参数，或者可以选择更小的L2正则约束参数了
weixin_53002252·2022-12-04 09:40

复习2: 归一化、正则化、BN、IN、LN、GN原理- 为什么BN可以替代正则化、batch-size大小对训练/BN的影响、为什么正则化可以防止过拟合？

目录归一化、正则化、BN、IN、LN、GN原理featurescaling特征缩放、归一化、标准化、中心化批量归一化BN、IN、Ln、GN拟合问题、正则化、dropout归一化、正则化、BN、IN、LN
qq_33666011·2022-12-04 09:03

Keras模型测试准确率震荡大

Keras训练了一个模型，发现模型的训练accuracy和测试accuracy的准确率偏差比较大，如下在问了些大佬后（感谢大佬），我的这个原因很可能是因为过拟合导致的差距比较大，之后在每个层之间都加入了dropout
John_LOVEMM·2022-12-04 08:13

双向LSTM+Attention程序代码及详细说明

//导入需要用到的库importkeras.backendasKfromkeras.layersimportMultiply,Dropout,Bidirectional，LSTMfromkeras.layers
ζ·2022-12-04 07:13

卷积神经网络案例：中文字体识别——隶书和行楷

1.2AlexNet网络结构：8层卷积层池化层卷积层池化层卷积层卷积层卷积层池化层输出层：三个全连接层1.3AlexNet创新点：成功使用ReLU作为CNN的激活函数；使用Dropout随机忽略一
博学之审问之·2022-12-04 07:06

dropout学习记录

初印象：dropout通过随机的将一些输出置为零来增强学习性能实现dropout的难点在于如何生成mask使用情况：在深度学习中模型参数太多训练样本太少训练出来的模型容易产生过拟合实际执行：在每个训练批次中忽略一半的特征
pure a~·2022-12-04 07:34

深度学习TF—11.Auto-Encoders自编码器

文章目录一、自编码器原理二、Auto-Encoders的变种1.DenoisingAutoEncoders2.DropoutAutoEncoder3.AdversarialAutoEncoders(AAE
哎呦-_-不错·2022-12-04 02:33

pytorch基础（十）-自编码器AutoEncoder

目录无监督学习AutoEncoderPCA和Auto-EncoderdenoisingAutoEncoders去噪自编码器DropoutAutoEncoderAdversarialAutoEncoder
sherryhwang·2022-12-04 02:28

卷积神经网络学习笔记-分类网络（一）

1.使用了多块GPU进行加速2.在全连接前两层使用了dropout随机失活的技术，减少过拟合其结构如下图所示：1.2Alexnet
h奕明·2022-12-03 13:05

module ‘tensorflow.compat.v2.__internal__‘ has no attribute ‘register_clear_session_function‘ 解决方法

fromkeras.modelsimportSequentialfromkeras.layers.coreimportDense,Dropout,Activationfromkeras.optimizersimportSGD
SkyeCat·2022-12-03 08:20

pytorch中nn.RNN()汇总

nn.RNN(input_size,hidden_size,num_layers=1,nonlinearity=tanh,bias=True,batch_first=False,dropout=0,bidirectional
·2022-12-03 08:25

使用wandb进行模型训练可视化 |pytorch 神经网络 深度学习

key登陆在训练代码里面导入#Insidemymodeltrainingcodeimportwandbwandb.init(project="my-project")声明超参数wandb.config.dropout
增速可视化·2022-12-03 07:55

python—搭建多层感知机MLP

#-*-coding:utf-8-*-###搭建多层感知机MLP###fromkeras.modelsimportSequentialfromkears.layers.coreimportDense,Dropout
Y_ni·2022-12-03 01:19

数据增强的原理和指导方法

要解决过拟合问题，目前实施的策略主要分为两个方向：1.模型结构的改进Dropout正则化方法BatchNormalization正则化方法迁移学习2.数据集的改进数据增强（本节关注的内容）数据增强是一种解决过拟合问题的非常有效的方法
行路南·2022-12-03 01:18

深度学习——超参数的验证

前言前文说到了由于训练数据少、神经网络复杂导致的过拟合，对于简单的网络可以采用权值衰减的方法拟制过拟合，但对于复杂的网络情况采用Dropout方法。
压垮草的骆驼·2022-12-02 23:16

深度学习——“学习”过程中的更新方法

②为了解决过拟合的问题，引入了权值衰减、Dropout等正则化方法。③BatchNormalization方法。参数的更新“学习”的目的是为了找到使得损失函数的值尽可能小的参数，这个过程叫做最优化。
压垮草的骆驼·2022-12-02 23:45

深度学习：权重衰减（weight decay）与学习率衰减（learning rate decay）

提高泛化能力避免过拟合的方法有很多：earlystopping、数据集扩增（Dataaugmentation）、正则化（Regularization）包括L1、L2（L2regularization也叫weightdecay），dropout
Allen Chou·2022-12-02 23:43

bert微调

还有一些方法也通过在训练期间采用正则化的方式来提升剪枝能力（layerdropout）。总体思想是将权重矩阵中不重要的参数设置为0，结合稀疏矩阵来进行存储和计算。
芝麻糊了517·2022-12-02 19:37

丹琦女神新作：对比学习，简单到只需要Dropout两下

苏神:直接用dropout，居然work了。真见鬼了......奥多多奥多多：这篇有说法的。抱着一颗好奇的心
夕小瑶·2022-12-02 15:24

恒源云(GPUSHARE)_[SimCSE]：对比学习，只需要 Dropout?

文章来源|恒源云社区(恒源云，专注AI行业的共享算力平台)原文地址|Dropout原文作者|Mathor要说2021年上半年NLP最火的论文，想必非《SimCSE:SimpleContrastiveLearningofSentenceEmbeddings
AI酱油君·2022-12-02 15:53

相似度_对抗学习：SimCSE: Simple Contrastive Learning of Sentence Embeddings

将同一个句子传递给预先训练好的编码器两次：通过应用两次dropout，我们可以得到两个不同的嵌入作为“正实例”。然后，我们把同一小批中的其他句子作为“负实例”。
等景，不如找景·2022-12-02 14:47

SimCSE：对比学习，只需要Dropout

要说2021年上半年NLP最火的论文，想必非《SimCSE:SimpleContrastiveLearningofSentenceEmbeddings》莫属。SimCSE的全称是SimpleContrastiveSentenceEmbeddingSentenceEmbeddingSentenceEmbedding一直是NLP领域的一个热门问题，主要是因为其应用范围比较广泛，而且作为很多任务的基石。
数学家是我理想·2022-12-02 14:46

读书笔记2|深度学习入门——基于python的理论与实现

深度学习入门：基于Python的理论与实现》高清中文版.pdf1.python基础，numpy，matplotlibBatchNormalization、Dropout、Adam图像识别，自然语言处理，
程序媛一枚~·2022-12-02 12:26

深度学习基础——正则化和优化

正则化正则化所有损害优化的方法都是正则化提高神经网络泛化能力L1和L2正则化提前终止Dropout数据增强L1,L2正则化L1w一范数的加和:会起到产生更加稀疏解的作用L2导数为2W,正则化就是将权重按照其大小比例缩减
无意识积累中·2022-12-02 01:16

【深度学习基础】正则化

总结随机失活正则化（Dropout）反向随机失活（inve
two_star·2022-12-02 01:13

机器学习复习

GBDTShrinkage最小二乘法和随机森林的区别EMBaggingBoosting凸集凸函数daBoost分类回归的区别生成模型和判别模型的区别过拟合**正则化(Regularization)****随机失活(dropout
Annntn·2022-12-01 23:21

ResNet

DeepResidualLearningforImageRecognitionResNet网络中的亮点：1.超深的网络结构(突破1000层)2.提出residual模块3.使用BatchNormalization加速训练(丢弃dropout
生命苦短 必须喜感·2022-12-01 18:21

深度学习中的mask操作

按照上述定义，非线性激活函数Relu（根据输出的正负区间进行简单粗暴的二分）、dropout机制（根据概率进行二分）都可以理解为泛化的mask操作。
失之毫厘，差之千里·2022-12-01 14:18

CNN基础论文 精读+复现----VGG(三)

batch=256动量=0.9权重衰减5∗10−45*10^{-4}5∗10−4dropout=0.5学习率0.01epoch=74看下面这张图开始搭建网络。直接
深度不学习！！·2022-12-01 13:13

小样本关系分类（原型学习）：Better Few-Shot Relation Extraction with Label Prompt Dropout

BetterFew-ShotRelationExtractionwithLabelPromptDropoutcoreidea在小样本关系分类中，prompt信息是relationname是信息，这篇文章为了保持
等景，不如找景·2022-12-01 11:54

Pytorch学习笔记（三）自用

/pytorch.org/docs/stable/index.html系列学习笔记：Pytorch学习笔记（一）Pytorch学习笔记（二）Pytorch学习笔记（三）本周学习内容：pytorch实现dropoutpytorch
YY_oot·2022-12-01 08:37

深度学习(七)——Batch Normalization+Pytorch实现

简介BatchNormalization是如今深度学习常见的方法，来加速深层网络训练的收敛，并且有正则化的作用，甚至可以不使用Dropout或者减小神经元被drop的概率。
hhhcbw·2022-12-01 07:35

9- 深度学习之神经网络核心原理与算法-全连接网络GPU实现

全连接网络GPU实现加入Dropout封装全连接层之前我们的全连接网络只能运行在cpu上，我们改造为gpu实现。封装全连接层到一个类里面。
weixin_34301132·2022-12-01 06:48
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他