深度学习CV方向学习笔记3 —— Dropout

目录

1 Dropout 定义

2 Dropout 数学原理

3 Dropout率的设定

4 参考链接


1 Dropout 定义

  Dropout,随机失活,是一种网络正则化办法,用于缓解模型过拟合的策略,减少神经元关联的边,能提升泛化能力。

深度学习CV方向学习笔记3 —— Dropout_第1张图片

  CNN的Feature Map是一个由W,H,C组成的三维矩阵,而传统的dropout是二维思想,丢掉特征图上的像素点

  但是由于在特征图上,相邻的特征点具有相似性,所以丢掉特征点的方法不大适用。

 ① 所以提出了以通道为单位来随机丢弃,叫做 Spatial Dropout。

 ② 也可以丢掉多维特征图的一部分区域,叫做 DropBlock。

 ③ 也可以在进行最大池化时,对某些特征点进行mask,叫做 Max-Pooling Dropout。

深度学习CV方向学习笔记3 —— Dropout_第2张图片

2 Dropout 数学原理

深度学习CV方向学习笔记3 —— Dropout_第3张图片

 深度学习CV方向学习笔记3 —— Dropout_第4张图片

 深度学习CV方向学习笔记3 —— Dropout_第5张图片

  其中,我在公式推导时,在上图红色箭头Var()方差卡壳,其概率论原理为:

深度学习CV方向学习笔记3 —— Dropout_第6张图片

3 Dropout率的设定

  通过最后的计算,不难看出,Dropout的梯度的期望,等价于带有正则的网络。

其正则项为:

  由于p × (1 - p ),在 p=0.5 时最大,所以在丢失率为0.5时,所得到的正则化效果最大

  但是在浅层网络时,丢失率不宜设置过大,以免丢失过多导致输入对输出的影响较大。同时,丢失率设置不宜超过 0.5,因为在0.5是个极值点,设置过大在正则效果并没有得到提升的同时反而又丢失了很多信息。

4 参考链接

深度学习-Dropout详解_Tc.小浩的博客-CSDN博客_深度学习dropout文章目录前言1、什么是Dropout2、Dropout的数学原理3、Dropout是一个正则网络4、CNN的Dropout5、Dropout的变种5.1 高斯Dropout6、总结前言Dropout是深度学习中被广泛的应用到解决模型过拟合问题的策略,相信你对Dropout的计算方式和工作原理已了如指掌。这篇文章将更深入的探讨Dropout背后的数学原理,通过理解Dropout的数学原理,我们可以推导出几个设置丢失率的小技巧,通过这篇文章你也将对Dropout的底层原理有更深刻的了解。同时我们也将对Drohttps://blog.csdn.net/weixin_48167570/article/details/121559922 Numpy实现Dropout_AI浩的博客-CSDN博客_dropout numpyclass Dropout(Layer): """A layer that randomly sets a fraction p of the output units of the previous layer to zero. Parameters: ----------- p: float The probability that unit x is set to zero. """ def __init__(self, p=0https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/120322341 【深度学习】正则化:L1正则化、L2正则化、Batch Normal与Dropout_阳一子的博客-CSDN博客目录正则化0 正则化介绍0.0 什么是正则化?0.1 正则化解决什么问题?0.2 正则化常用手段L1、L2正则化1.0 范数定义正则化0 正则化介绍0.0 什么是正则化?《Deep Learning》书中定义正则化为“对学习算法的修改——旨在减少泛化误差而不是训练误差” ​ 模型可以看成是一个高维函数,对于不同的模型参数,能得到千千万万个不同的模型,我们将这所有的可能得到的模型称之为假设空间。我们只需要通过训练将生成真实数据的一组模型参数找出来即可。从已有的假设空https://blog.csdn.net/qq_279033270/article/details/109695441 动手实现深度神经网络6 神经网络的优化之权值衰减与Dropout_如魔的博客-CSDN博客_对神经网络执行权重衰减或删除是什么操作机器学习的问题中,过拟合是一个很常见的问题。过拟合`指的是`只能拟合训练数据,但不能很好地拟合不包含在训练数据中的其他数据的状态。这一篇文章,我们介绍抑制过拟合的两种方法;权值衰减和Dropout。 https://blog.csdn.net/weixin_49374896/article/details/123305422 网络优化方法--Dropout_别团等shy哥发育的博客-CSDN博客_dropout设置网络优化方法--Dropout1、Dropout介绍2、Dropout程序1、Dropout介绍  Dropout 也是一种用于抵抗过拟合的技术,它试图改变网络本身来对网络进行优化。我 们先来了解一下它的工作机制,当我们训练一个普通的神经网络时,网络的结构可能如图所示。  Dropout 通常是在神经网络隐藏层的部分使用,使用的时候会临时关闭掉一部分的神经 元,我们可以通过一个参数来控制神经元被关闭的概率,网络结构如图所示。更详细的流程如下:在模型训练阶段我们可以先给 Dropout 参数设https://blog.csdn.net/qq_43753724/article/details/124656662

你可能感兴趣的:(深度学习,计算机视觉,人工智能,神经网络,学习)