dropout

pytorch使用LSTM和GRU

LSTM和GRU都是由torch.nn提供通过观察文档，可知LSMT的参数，torch.nn.LSTM(input_size,hidden_size,num_layers,batch_first,dropout
bazinga014·2023-12-01 06:58

电子电路学习笔记（14）——LDO(低压差线性稳压器)

一、简介LDO（lowdropoutregulator，低压差线性稳压器）。这是相对于传统的线性稳压器来说的。
Leung_ManWah·2023-12-01 00:32

Deep Learning（wu--84）

学习率衰减局部最优问题调参BNsoftmaxframework2偏差和方差唔，这部分在机器学习里讲的更好点训练集误差大（欠拟合）—高偏差，验证集误差大—高方差（前提：训练集和验证集来自相同分布）正则化dropout
怎么全是重名·2023-11-30 13:06

什么是 dropblock

之前介绍过dropout算法，它在训练神经网络中，可以随机丢弃神经元，是一种防止网络过拟合的方法。
董董灿是个攻城狮·2023-11-30 13:02

Pytorch中的Net.train()和 Net.eval()函数讲解

Net.train()2.Net.eval()3.总结前言这两个方法通常用于训练和测试阶段1.Net.train()该代码用在训练模式中主要作用：模型启用了训练时特定的功能（BatchNormalization和Dropout
码农研究僧·2023-11-30 11:40

深度学习中的Dropout正则化：原理、代码实现与实际应用——pytorch框架下如何使用dropout正则化

目录引言一、导入包二、dropout网络定义三、创建模型，定义损失函数和优化器四、加载数据五、训练train六、测试引言dropout正则化的原理相对简单但非常有效。
星宇星静·2023-11-28 04:14

caffe详解之优化算法

常见优化算法总结前面我们介绍了卷积神经网络中主流的数据层，卷积层，全连接层，池化层，激活函数层，归一化层，dropout层,softmax层。
AI异构·2023-11-26 13:29

model.train() model.eval()

80573253https://blog.csdn.net/Z_lbj/article/details/79672888主要是针对model在训练时和评价时不同的BatchNormalization和Dropout
Valar_Morghulis·2023-11-25 19:17

笔记-L1、L2范数理解

-知乎正则化方法：L1和L2regularization、数据集扩增、dropout闲扯数学规
ZSYGOOOD·2023-11-24 00:24

Course 2 week 1 ：权重初始化 & 正则化 & 梯度校验

目录点击回顾本周课堂笔记一、权重初始化1.数据和模型2.权重初始化为03.随机初始化4.sqrt(2/n[l-1])初始化5.总结二、正则化1.数据2.不使用正则化3.使用正则化3.1L2正则化3.2dropout
YraYnofear·2023-11-23 19:35

Dropout 作用

一、前言Dropout出现的原因训练深度神经网络的时候，总是会遇到两大问题：（1）容易过拟合（2）网络费时在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。
shadowismine·2023-11-23 14:12

Dropout层、BN层、Linear层 & 神经网络的基本组成

图1卷积网络中的layers承接上三篇博客：卷积层(空洞卷积对比普通卷积)、激活函数层、池化层&感受野目录（1）Dropout层（2）BN层（BatchNormal）（3）全连接层（1）Dropout层在深度学习中
Flying Bulldog·2023-11-23 14:11

图神经网络（7）-续 GNN的具体实践（BN,dropout等）

实践中的GNN层BN以及dropout之类的具体操作，参考神经网络中的内容。后面自己补一个，神经
山、、、·2023-11-23 14:40

动手学深度学习笔记---4.3 解决过拟合_权重衰减与Dropout

一、权重衰退（Weight_decay）正则限制针对模型训练时出现的过拟合问题，限制模型容量是一种很好的解决方法，目前常用的方法有以下两种：缩小模型参数量，例如降低模型层数，使得模型更加轻量化，L1L1L1正则化通过限制参数值的选择范围来控制模型容量，L2L2L2正则化：使用均方范数作为硬性限制，即对于参数w,bw,bw,b，假设其损失函数为l(w,b)l(w,b)l(w,b)，则其优化目标为mi
Aaaaaki·2023-11-22 15:06

Batch Nornaliation：Accelerating Deep Network Training by ReducingInternal Covariate Shift

为了解决这种问题，设置了BatchNormalization允许我们使用更高的学习率并且对初始化要求没有那么仔细，并且在某种情况下可以减少Dropout层的使用。大大的提
不吃萝卜的�·2023-11-20 13:31

Keras+tensorflow-gpu环境安装

importtensorflowastfimportpandasaspdimportnumpyasnpimportkerasfromkeras.modelsimportModelfromkeras.layersimportInput,Flatten,Dense,Conv1D,Conv2D,MaxPool2D,Dropoutfromkeras.layersimportEmbedding
和小胖1122·2023-11-18 20:13

【科普贴】LDO电源详解

一、LDO结构和工作原理LDO:全称是(LowDropoutRegulator)低压差线性稳压器。其中核心部件是工作在线性区域的调整管。
湉湉家的小虎子·2023-11-17 00:34

一文弄懂LDO

二、LDO工作原理三、LDO特点1.外围电路简单，价格便宜2.效率较低3.噪声低、纹波小四、LDO选型需考虑的重要参数1.压降（DropoutVoltage）2.最大耗散功率（PowerDissipation
地下的铁·2023-11-17 00:33

ldo和dcdc功耗_电路设计中LDO与DC/DC的选择问题（LDO篇）

一、LDOⅠ原理LDO，全称低压差线性稳压器(LowDropoutRegulator)，属于线性电源，应用时所需要的外接元件较少，一些型号的LDO只需在
15872626818·2023-11-17 00:32

常用稳压电源---DCDC和LDO

1.LDO的定义和原理1.1LDO简介LDO即LowDropoutRegulator，是一种低压差线性稳压器。这是相对于传统的线性稳压器来说的。
Aria_J·2023-11-17 00:59

LDO的原理及应用

01、LDO定义LDO即lowdropoutregulator，是一种低压差线性稳压器。这是相对于传统的线性稳压器来说的。
strongercjd·2023-11-17 00:56

为什么LDO一般不用在大电流场景？

LDO（lowdropoutregulator，低压差线性稳压器）或者低压降稳压器，它的典型特性就是压降。那么什么是压降？
The Kite·2023-11-17 00:55

AIGC实战——卷积神经网络(Convolutional Neural Network, CNN)

AIGC实战——卷积神经网络0.前言1.卷积神经网络1.1卷积层1.2叠加卷积层1.3检查模型2.批归一化2.1协变量漂移2.2使用批归一化进行训练2.3使用批归一化进行预测3.Dropout4.构建卷积神经网络小结系列链接
盼小辉丶·2023-11-16 11:47

动手学习深度学习（总结梳理）——6.暂退法（Dropout）

目录1.理论层面重新审视过拟合2.实现Dropout2.1从0开始实现dropout2.2简洁实现dropout3.QA环节3.1为什么推理中的dropout是直接返回输入？
TheFanXY·2023-11-16 06:48

PyTorch技术和深度学习——四、神经网络训练与优化

文章目录1.神经网络迭代概念1）训练误差与泛化误差2）训练集、验证集和测试集划分3）偏差与方差2.正则化方法1）提前终止2）L2正则化3）Dropout3.优化算法1）梯度下降2）Momentum算法3
千里之行起于足下·2023-11-16 06:47

单片机5V转3.3V电平你能想到几种方式，这里有19种，你都会吗？

压差为几百个毫伏的低压降（LowDropout，LDO）稳压器，是此类应用的理想选择。图1-1是基本LDO系统的框图，标注了相应的电流。
EDA365电子论坛·2023-11-16 00:37

单片机外围电路设计攻略（全）！

压差为几百个毫伏的低压降（LowDropout，LDO）稳压器，是此类应用的理想选择。图1-1是基本LDO系统的框图，标注了相应的电流。
weixin_42976659·2023-11-16 00:07

机器学习——实践

过拟合的处理——Dropout过拟合的处理——Earlystopping过拟合的处理——数据增强偏差和方差编辑一、数据集划分训练集（TrainingSet）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数
七七喝椰奶·2023-11-11 09:34

将Keras模型导出为SavedModel模型

(self.feature_dim,),name='inputs')hidden=Dense(256,activation='relu',name='hidden1')(input_x)output=Dropout
丫头片子不懂事·2023-11-11 06:10

【PyTorch实战演练】AlexNet网络模型构建并使用Cifar10数据集进行批量训练（附代码）

目录0.前言1.Cifar10数据集2.AlexNet网络模型2.1AlexNet的网络结构2.2激活函数ReLu2.3Dropout方法2.4数据增强3.使用GPU加速进行批量训练4.网络模型构建5.
使者大牙·2023-11-11 02:42

Dropout、剪枝、正则化有什么关系？什么是Dropout？

Dropout、剪枝、正则化有什么关系？{\color{Red}Dropout、剪枝、正则化有什么关系？}Dropout、剪枝、正则化有什么关系？目录Dropout、剪枝、正则化有什么关系？
唐三.·2023-11-10 14:22

机器学习：正则化

过拟合产生的原因是模型把数据样本的噪声或特性当作一般样本的共有特性拟合了（高方差）解决过拟合的方法有很多，比如减少迭代次数，使用dropout，数据清洗等，正则化也是一种解决过拟合，提高模型泛化性的方法
fly_jx·2023-11-10 14:21

PyTorch基础：神经网络工具箱torch.nn(nn.Module类)

一般把网络中具有可学习参数的层（如全连接层、卷积层等）放在构造函数__init__()中，当然我也可以吧不具有参数的层也放在里面；一般把不具有可学习参数的层(如ReLU、dropout、Batc
丁天牛·2023-11-10 08:34

搭建神经网络（torch.nn的用法）

零零碎碎总结了一些torch框架里面nn模块的用法，尤其是关于搭建神经网络的nn.ModuleListnn.Modulenn.Sequentialnn.Linearnn.Dropoutnn.Embeddingnn.DataParallel
知福致福·2023-11-10 08:55

Camera驱动基础--硬件接口相关知识介绍

一.LDO,PMIC，PMU,GPIOLDO:低压差线性稳压器(lowdropoutregulator)：LDO内部有四个部分组成：分别是基准参考电压，误差放大器，分压抽取电路和晶体管调整电路基准参考电压
啦啦啦啦拉拉☜·2023-11-10 03:42

【图像分类】【深度学习】【Pytorch版本】AlexNet模型算法详解

深度学习】【Pytorch版本】AlexNet模型算法详解文章目录【图像分类】【深度学习】【Pytorch版本】AlexNet模型算法详解前言AlexNet讲解卷积层的作用卷积过程特征图的大小计算公式Dropout
牙牙要健康·2023-11-08 10:19

TensorFlow2.0教程2-全连接神经网络以及深度学习技巧

文章目录基础MLP网络1.回归任务2.分类任务mlp及深度学习常见技巧1.基础模型2.权重初始化3.激活函数4.优化器5.批正则化6.dropout基础MLP网络1.回归任务importtensorflowastfimporttensorflow.kerasaskerasimporttensorflow.keras.layersaslayers
总裁余(余登武)·2023-11-08 03:21

Pytorch 里面torch.no_grad 和model.eval(), model.train() 的作用

batchnorm和dropout层会因为状态的不同，而有不同的行为和反应。
张哥coder·2023-11-07 06:32

[网络层]什么是 Dropout

参考资料：深度学习中Dropout原理解析Dropout详解1、什么是Dropout在前向传播的过程中，让某个神经元的激活值以一定的概率P停止工作，可以使模型更加泛化，不会太依赖某些神经元。
LCG22·2023-11-06 07:05

神经网络 dropout 总结

reference：SeyyedHosseinHasanPour,MohammadRouhani,MohsenFayyaz,MohammadSabokrou,EhsanAdeli:TowardsPrincipledDesignofDeepConvolutionalNetworks:IntroducingSimpNet.CoRRabs/1802.06205(2018)image.pngimage.p
marshb·2023-11-05 16:40

Datawhale 零基础入门CV赛事-Task5 模型集成

具体的集成学习方法需要与验证集划分方法结合，Dropout和TTA是应用较为广泛的方法。
顾子豪·2023-11-05 03:19

深度学习调参技巧 调参trick

一般通用的trick都被写进论文和代码库里了，像优秀的优化器，学习率调度方法，数据增强，dropout，初始化，BN，LN，确实是调参大师的宝贵经验，大家平常用的也很多。
ad110fe9ec46·2023-11-04 10:24

PositionalEncoding类代码及论文原理理解

def__init__(self,d_model,dropout,max_len=5000):super(PositionalEncoding,self).__init__()self.d
thetffs·2023-11-04 02:08

multiheadattention类原理及源码理解

网络找的一段代码如下：classMultiHeadedAttention(nn.Module):def__init__(self,h,d_model,dropout=0.1):"Takeinmodelsizeandnumberofheads
thetffs·2023-11-04 02:38

pytorch dropout 置零 + 补偿性放缩

一句话概括：（训练过程中）Dropout操作=随机置零+非置零元素进行后补偿性放缩。以保证dropout前后数据scale不变。
XiaoPangJix1·2023-11-03 07:52

论文辅助笔记：t2vec models.py

init_classEncoderDecoder(nn.Module):def__init__(self,vocab_size,embedding_size,hidden_size,num_layers,dropout
UQI-LIUWJ·2023-11-03 05:38

【单词】【2015】

conventional依照惯例的convention公约，大会clinically临床的layout布置；规划paradox悖论，矛盾thesis论文dropoutrate辍学率explicitly明确的
irel1a_3·2023-11-03 03:26

论文辅助笔记：T2VEC一个疑虑：stackingGRUCell和GRU的区别在哪里？

1stackingGRUCellclassStackingGRUCell(nn.Module):"""Multi-layerCRUCell"""def__init__(self,input_size,hidden_size,num_layers,dropout
UQI-LIUWJ·2023-11-02 06:38

pytorch 笔记：GRU

在多层GRU中，第l层的输入（对于l≥2）是前一层的隐藏状态乘以概率dropout。2基本使用方法torch.nn.GRU(self,input_size,h
UQI-LIUWJ·2023-11-02 06:00

torch基本功能介绍

eg.全连接、卷积、池化、BN分批处理、dropout、CrossEntropyLoss、MSLoss等。torch.autograd:提供Tensor所有操作的自动求导方法。
空格为什么不行·2023-11-01 23:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他