深度学习CV方向学习笔记3 —— Dropout

目录

1 Dropout 定义

2 Dropout 数学原理

3 Dropout率的设定

4 参考链接

---

1 Dropout 定义

　　Dropout，随机失活，是一种网络正则化办法，用于缓解模型过拟合的策略，减少神经元关联的边，能提升泛化能力。

　　CNN的Feature Map是一个由W，H，C组成的三维矩阵，而传统的dropout是二维思想，丢掉特征图上的像素点

　　但是由于在特征图上，相邻的特征点具有相似性，所以丢掉特征点的方法不大适用。

　① 所以提出了以通道为单位来随机丢弃，叫做 Spatial Dropout。

　② 也可以丢掉多维特征图的一部分区域，叫做 DropBlock。

　③ 也可以在进行最大池化时，对某些特征点进行mask，叫做 Max-Pooling Dropout。

2 Dropout 数学原理

 

 

　　其中，我在公式推导时，在上图红色箭头Var()方差卡壳，其概率论原理为：

3 Dropout率的设定

　　通过最后的计算，不难看出，Dropout的梯度的期望，等价于带有正则的网络。

其正则项为：

　　由于p × (1 - p ),在 p=0.5 时最大，所以在丢失率为0.5时，所得到的正则化效果最大。

　　但是在浅层网络时，丢失率不宜设置过大，以免丢失过多导致输入对输出的影响较大。同时，丢失率设置不宜超过 0.5，因为在0.5是个极值点，设置过大在正则效果并没有得到提升的同时反而又丢失了很多信息。

4 参考链接

深度学习-Dropout详解_Tc.小浩的博客-CSDN博客_深度学习dropout文章目录前言1、什么是Dropout2、Dropout的数学原理3、Dropout是一个正则网络4、CNN的Dropout5、Dropout的变种5.1 高斯Dropout6、总结前言Dropout是深度学习中被广泛的应用到解决模型过拟合问题的策略，相信你对Dropout的计算方式和工作原理已了如指掌。这篇文章将更深入的探讨Dropout背后的数学原理，通过理解Dropout的数学原理，我们可以推导出几个设置丢失率的小技巧，通过这篇文章你也将对Dropout的底层原理有更深刻的了解。同时我们也将对Drohttps://blog.csdn.net/weixin_48167570/article/details/121559922 Numpy实现Dropout_AI浩的博客-CSDN博客_dropout numpyclass Dropout(Layer): """A layer that randomly sets a fraction p of the output units of the previous layer to zero. Parameters: ----------- p: float The probability that unit x is set to zero. """ def __init__(self, p=0https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/120322341 【深度学习】正则化：L1正则化、L2正则化、Batch Normal与Dropout_阳一子的博客-CSDN博客目录正则化0 正则化介绍0.0 什么是正则化？0.1 正则化解决什么问题？0.2 正则化常用手段L1、L2正则化1.0 范数定义正则化0 正则化介绍0.0 什么是正则化？《Deep Learning》书中定义正则化为“对学习算法的修改——旨在减少泛化误差而不是训练误差” ​ 模型可以看成是一个高维函数，对于不同的模型参数，能得到千千万万个不同的模型，我们将这所有的可能得到的模型称之为假设空间。我们只需要通过训练将生成真实数据的一组模型参数找出来即可。从已有的假设空https://blog.csdn.net/qq_279033270/article/details/109695441 动手实现深度神经网络6 神经网络的优化之权值衰减与Dropout_如魔的博客-CSDN博客_对神经网络执行权重衰减或删除是什么操作机器学习的问题中，过拟合是一个很常见的问题。过拟合`指的是`只能拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据的状态。这一篇文章，我们介绍抑制过拟合的两种方法；权值衰减和Dropout。 https://blog.csdn.net/weixin_49374896/article/details/123305422 网络优化方法--Dropout_别团等shy哥发育的博客-CSDN博客_dropout设置网络优化方法--Dropout1、Dropout介绍2、Dropout程序1、Dropout介绍  Dropout 也是一种用于抵抗过拟合的技术，它试图改变网络本身来对网络进行优化。我 们先来了解一下它的工作机制，当我们训练一个普通的神经网络时，网络的结构可能如图所示。  Dropout 通常是在神经网络隐藏层的部分使用，使用的时候会临时关闭掉一部分的神经 元，我们可以通过一个参数来控制神经元被关闭的概率，网络结构如图所示。更详细的流程如下：在模型训练阶段我们可以先给 Dropout 参数设https://blog.csdn.net/qq_43753724/article/details/124656662