Dropout

【深度学习】5-4 与学习相关的技巧 - 正则化解决过拟合（权值衰减，Dropout）

机器学习的问题中，过拟合是一个很常见的问题。过拟合指的是只能拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据的状态。机器学习的目标是提高泛化能力，即便是没有包含在训练数据里的未观测数据也希望模型可以进行正确的识别。发生过拟合的原因，主要有以下两个：模型拥有大量参数、表现力强。训练数据少。那么如何来抑制过拟合正则化是有效方法之一，它不仅可以有效降低高方差，还有利于降低偏差。何为正则化？在机
loyd3·2023-06-21 16:55

《基于LSTM神经网络的双色球蓝球数字预测》

LSTM神经网络，单步预测，循环2000次，100个神经元，无dropout。
小幻月·2023-06-20 13:25

【白话机器学习系列】白话 Dropout

白话Dropout文章目录什么是Dropout理解缩放举个例子什么是DropoutDropout是神经网络的一种正则化技术，它在训练时以指定的概率ppp（常见值为p=0.5p=0.5p=0.5）丢弃一个单元
JarodYv·2023-06-20 13:22

lesson 6

1、noise.bernoulli_(1-p);noise.div_(1-p);returnmultiply(input,noise),dropout的pytorch源码，首先生成伯努利分布以（1-p)
世界待你如此好·2023-06-19 05:02

pytorch搭建AlexNet网络实现花分类

pytorch搭建AlexNet网络实现花分类一、AlexNet网络概述分析二、数据集准备下载划分训练集和测试集三、代码model.pytrain.pypredict.py一、AlexNet网络概述使用Dropout
张嘉烘·2023-06-18 15:07

硬件系统工程师宝典（28）-----关于LDO，应该知道的事

LDO的结构LDO（LowDropoutRegulator）为低压差线性稳压器，具有极低的自有噪声和较高的电源抑制比PSRR。可用于电流主通道控制，芯片上集成了具有极低导通电阻的MOSFET、肖特
电子工程学习圈·2023-06-16 22:20

pytorch笔记：transformer 源码

RNN，transformernn.Transformer关键源码：encoder_layer=TransformerEncoderLayer(d_model,nhead,dim_feedforward,dropout
_森罗万象·2023-06-14 20:37

dropout 原理及源码实现

来自B站视频，API查阅#nn.Dropoutm=nn.Dropout(p=0.2)input=torch.randn(20,16)output=m(input)#nn.functional.dropouttorch.nn.functional.dropout
_森罗万象·2023-06-14 20:07

pytorch net.train(), net.eval()

net.train()在测试模型时在前面使用：net.eval()同时发现，若是不写这两个程序也能够运行，这是由于这两个方法是针对在网络训练和测试时采用不一样方式的状况，好比BatchNormalization和Dropout
HW_68b8·2023-06-14 19:10

Hinton：我对“青蛙”创造出“人”这件事的后果很紧张丨全文整理+视频

无论是反向传播、Dropout、知识蒸馏、胶囊网络，
智源社区·2023-06-14 14:22

CS231N作业 A2Q5 pytorch

IntroductiontoPyTorchYou’vewrittenalotofcodeinthisassignmenttoprovideawholehostofneuralnetworkfunctionality.Dropout
588·2023-06-14 06:31

吴恩达Deep Learning学习笔记——第三课 结构化机器学习

我们可能会有很多措施，如：  ①收集更多的数据  ②收集更多样性的数据（如不同姿势的猫）  ③让梯度下降算法训练时间更长  ④尝试更大（或更小）的神经网络  ⑤尝试dropout  ⑥
七月七叶·2023-06-13 14:15

多分类问题与卷积模型的优化

文章目录1.创建自定义Dataset类2.基础卷积模型3.Dropout抑制过拟合4.批标准化5.学习速率衰减6.最终优化整合代码首先导入用到的库:importtorchimporttorch.nnasnnimporttorch.nn.functionalasFimporttorch.optimasoptimimportnumpyasnpimportmatplotlib.pyplotaspltim
冰履踏青云·2023-06-13 07:57

YOLOv2：损失函数的理解

YOLOv2：损失函数的理解关于改进损失函数关于改进yolov2相对于yolov1改进了网络结构，如把dropout换成bn，换掉全连接层改用全局平均池化（这样可以有多尺度的输入图像），最重要的当然是加了锚框
Libertaz·2023-06-12 13:58

pytorch学习总结之模型网格结构搭建

模型网格结构搭建模型网格结构搭建nn.module类nn.Sequential类其有三种实现方法nn.Conv2d()nn.BatchNorm2d()nn.Dropout2d激活函数LeakyReLu模型网格结构搭建
一只没有情感的机器猪·2023-06-12 10:46

深度学习（Deep Learning）读书思考三：正则化

因此研究者也提出很多有效的技术防止过拟合，比较常用的技术包括：参数添加约束，例如L1、L2范数等训练集合扩充，例如添加噪声、数据变换等Dropout该文主要介绍深度学习中比较常见几类正则化方法以及常用参数选择
下一步·2023-06-12 09:18

文本处理——利用Keras组件，构建LSTM神经网络，并完成情感分析任务；

利用Keras组件，构建LSTM神经网络，并完成情感分析任务；fromkerasimportModelfromkeras.layersimportLSTM,Activation,Dense,Dropout
张人玉·2023-06-11 18:10

硬件设计电源系列文章-LDO设计

技术名词解释LDO：即lowdropoutregulator，是一种低压差线性稳压器。这是相对于传统的线性稳压器
第二层皮-合肥·2023-06-11 14:48

【人工智能与深度学习】不确定性下的预测和政策学习（PPUU）

【人工智能与深度学习】不确定性下的预测和政策学习（PPUU）简介和问题设置数据集代价学习世界模型确定性预测器加解码器变化式预测网络动作不敏感和随机关闭潜在(latentdropout)训练代理人对专家进行模仿最小化前向模型的不确定性
prince_zxill·2023-06-10 23:59

BERT面试总结

BERT相关面试题（不定期更新）-知乎(zhihu.com)Bert中有四个地方用到了dropout，你知道都在哪里嘛？
seeInfinite·2023-06-10 17:58

Rdrop技术(Regularized Dropout)

目录Rdrop理论几个常见的应用具体操作方法个人思考Rdrop理论每个数据样本重复经过带有Dropout的同一个模型，再使用KL散度约束两次的输出，使得尽可能一致，而由于Dropout的随机性，可以近似把输入
jianafeng·2023-06-10 12:29

2021-06-18初学pytorch建立cnn模型遇到的问题（自己建立数据集）

初次建立cnn模型问题一：图片维度与卷积维度不对应解决：问题2：pred=cnn_net(x)不正常工作解决问题3：预测值或标签是元组没有size属性解决成功训练如何使用dropout解决训练精度达不到
认真学习pytorch·2023-06-10 10:31

Pytorch——model.train 和 model.eval

这两个方法是针对在网络train和eval时采用不同方式的情况，比如BatchNormalization和Dropout。
归风_·2023-06-10 06:39

keras用法一

keras构建神经网络第一步选择模型序贯模型或函数式模型fromkeras.modelsimportSequentialfromkeras.layers.coreimportDense,Dropout,
孙有涵·2023-06-10 04:48

yolo-v4

目录一：前言二：一些数据增强的方法三：自提议四：dropout普通的dropoutyolov4的dropblock五：Labelsmothing标签平滑六：GIOU，DIOU，CIOU七：对网络结构的改进
QTreeY123·2023-06-10 03:33

Tips for Deep Learning

EarlyStoppingRegularizationDropoutRecipeofDeepLearning我们要做的第一件事是，提高model在trainingset上的
keep--learning·2023-06-09 20:28

深度学习（提高泛化能力）+深度学习未来

文章目录泛化能力数据集数据增强预处理均值减法均一化白化（whitening）激活函数maxoutReLUDropoutDropConnect深度学习的应用物体识别物体检测分割回归问题人脸识别网络可视化泛化能力训练样本必不可少预处理的数据更容易训练改进激活函数和训练方法有助于提高神经网络的泛化能力数据集两个包含大规模的数据集
Elsa的迷弟·2023-06-09 18:51

深度学习神经网络基础知识(三)前向传播，反向传播和计算图

专栏：神经网络复现目录深度学习神经网络基础知识(三)本文讲述神经网络基础知识，具体细节讲述前向传播，反向传播和计算图，同时讲解神经网络优化方法：权重衰减，Dropout等方法，最后进行Kaggle实战，
青云遮夜雨·2023-06-09 10:00

深入理解深度学习——正则化（Regularization）：Dropout

分类目录：《深入理解深度学习》总目录Dropout供了正则化一大类模型的方法，计算方便且功能强大。在第一种近似下，Dropout可以被认为是集成大量深层神经网络的实用Bagging方法。
von Neumann·2023-06-09 09:53

python 面试常考题

深度学习中常用的正则化方法包括L1正则化、L2正则化和Dropout。L1正则化：通过增加模型的L1范数作为正则化项，强制权重向量中的大部分分量为0，从而实现特征选择的效果。
医学小达人·2023-06-08 05:32

译（四十八）-Pytorch的model.train()有什么用（2022/12/21更新）

距离写这篇过去十个月了，我介绍下我新的理解：如果一个方法仅在训练时启用，那就ifself.training:来执行，比如dropout，通过在训练时随机屏蔽若干个节点来提高鲁棒性（dropout不用额外判断
MWHLS·2023-06-08 03:28

精通数据科学笔记 深度学习

的手写数字图片，包含60000张训练图片和10000张测试图片，存储格式特殊，需要专门的程序解析防止过拟合的惩罚项ANN是很复杂的模型，非常容易发生过拟合，通用的方法是加入惩罚项，常用的惩罚项有三种：防止过拟合之Dropout
techfei·2023-06-08 02:17

深度学习--神经网络全面知识点总结（持续更新中）

损失函数和优化算法深度神经网络2.1卷积神经网络（CNN）2.2循环神经网络（RNN）2.3长短期记忆网络（LSTM）2.4生成对抗网络（GAN）神经网络训练技巧3.1数据预处理3.2批量归一化3.3正则化和dropout3.4
旧言.·2023-06-08 01:53

CNNs: ZFNet之CNN的可视化网络介绍

TransposeconvAlexNet网络修改AlexNetDeconv网络介绍特征可视化导言上一个内容，我们主要学习了AlexNet网络的实现、超参数对网络结果的影响以及网络中涉及到一些其他的知识点，如激活函数、dropout
jjjstephen·2023-06-07 13:54

改善深层神经网络：超参数调试、正则化以及优化 笔记

下面是笔记的索引：第一周：深度学习的实用层面1.1训练/开发/测试集1.2偏差/方差1.3机器学习基础1.4正则化1.5为什么正则化可以减少过拟合1.6dropout正则化1.7理
weixin_30650039·2023-06-07 13:04

系统学习CV-lesson8-分类网络

系统学习CV-lesson8-分类网络AlexNetVGGInception/googleNetImageNetAlexNet加速训练使用非饱神经元(与梯度消失有关)和高效的GPU实现防止过拟合使用dropout
aoaoGofei·2023-06-07 01:42

代码阅读-deformable DETR （三）

首先来看一下编码器部分EncoderclassDeformableTransformerEncoderLayer(nn.Module):def__init__(self,d_model=256,d_ffn=1024,dropout
熙熙江湖·2023-06-06 23:02

简单的transformer训练问答

importtorchimporttorch.nnasnnimporttorch.optimasoptimimportrandomclassTransformerModel(nn.Module):def__init__(self,vocab_size,embedding_size,nhead,num_layers,dim_feedforward,dropout
lwaif·2023-04-21 18:41

torch.nn.Multiheadattention介绍

初始化参数：classtorch.nn.MultiheadAttention(embed_dim,num_heads,dropout=0.0,bias=True,add_bias_kv=False,add_zero_attn
无脑敲代码，bug漫天飞·2023-04-21 14:23

深度学习基础入门篇[六(1)]：模型调优：注意力机制[多头注意力、自注意力]，正则化

深度学习基础入门篇[六(1)]：模型调优：注意力机制[多头注意力、自注意力]，正则化【L1、L2，Dropout，DropConnect】等1.注意力机制在深度学习领域，模型往往需要接收和处理大量的数据
·2023-04-21 11:32

深度学习基础入门篇[六(1)]：模型调优：注意力机制[多头注意力、自注意力]，正则化

深度学习基础入门篇[六(1)]：模型调优：注意力机制[多头注意力、自注意力]，正则化【L1、L2，Dropout，DropConnect】等1.注意力机制在深度学习领域，模型往往需要接收和处理大量的数据
·2023-04-21 11:27

dropout | 深度学习

参数选取dropout的概率在0.1到0.5之间，dropout的概率为0.1表示在每次训练时，对于每个神经元（或节点）来说，有10%的概率被随机删除，不参与该次训练。2、适用阶段在训练阶
小云从0学算法·2023-04-21 03:07

神经网络过拟合的处理

神经网络过拟合的处理文章目录神经网络过拟合的处理权值衰减Dropout（暂退法）权值衰减对于某一个线性函数f(x)=WTXf(x)=W^TXf(x)=WTX的损失函数L(W,b)=1n∑i=1n(WTX
Gowi_fly·2023-04-21 00:45

深度学习基础入门篇[六(1)]：模型调优：注意力机制[多头注意力、自注意力]，正则化【L1、L2，Dropout，Drop Connect】等

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比赛、论文、
汀、人工智能·2023-04-20 19:09

解决神经网络过拟合问题—Dropout方法、python实现

解决神经网络过拟合问题—Dropout方法一、whatisDropout？如何实现？二、使用和不使用Dropout的训练结果对比一、whatisDropout？如何实现？
算法技术博客·2023-04-19 18:29

module ‘tensorflow.compat.v1‘ has no attribute ‘contrib‘问题

改为下面即可，以官网为准tf.compat.v1.nn.rnn_cell.DropoutWrapper
qq_57159136·2023-04-18 19:17

Pytorch学习笔记五——net.train与net.eval

net.train()和net.eval()两个函数只要适用于Dropout与BatchNormalization的网络，会影响到训练过程中这两者的参数。
深思海数_willschang·2023-04-18 14:19

虚假的AI

科研idea主要来自于各种模块的花式排列组合，包含但不限于：各种CNN，各种RNN，各种attention，各种transformer，各种dropout，各种batchNorm，各种激活函数，各种lossfunction
crj1998·2023-04-17 22:32

tf.nn.lrn() 局部响应归一化函数

这个函数很少使用，基本上被类似Dropout这样的方法取代。详细算法说明请参考【深度学习技术】LRN局部响应归一化byCrazyVertigoTensorflow官方文档中的tf.n
友人小A·2023-04-17 17:56

3D点云目标检测：数据增强可视化及使用经验

数据增强都是必不可少的策略，这里通过可视化的方式介绍一下点云目标检测时候常见的几种数据增强策略，主要有以下三种：1、全局变换：包括整体的缩放、旋转、平移等2、目标变换：单个目标的缩放、旋转、平移等3、目标局部变换：局部的dropout
GHZhao_GIS_RS·2023-04-16 22:23
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他