DL之DNN优化技术：利用Dropout(简介、使用、应用)优化方法提高DNN模型的性能

DL之DNN优化技术：利用Dropout(简介、入门、使用)优化方法提高DNN模型的性能

 

 

 

 

 

目录

Dropout简介

Dropout使用

Dropout应用

---

 

 

 

 

 

 

 

 

Dropout简介

        随机失活（dropout）是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性（co-dependence ）从而实现神经网络的正则化（regularization），降低其结构风险（structural risk）。

        在2012年，Hinton在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出Dropout。当一个复杂的前馈神经网络被训练在小的数据集时，容易造成过拟合。为了防止过拟合，可以通过阻止特征检测器的共同作用来提高神经网络的性能。
        在2012年，Alex、Hinton在其论文《ImageNet Classification with Deep Convolutional Neural Networks》中用到了Dropout算法，用于防止过拟合。并且，这篇论文提到的AlexNet网络模型引爆了神经网络应用热潮，并赢得了2012年图像识别大赛冠军，使得CNN成为图像分类上的核心算法模型。

1、左边是一般的神经网络，右边是应用了Dropout的网络。Dropout通过随机选择并删除神经元，停止向前传递信号。

 

参考文献

1、《Improving neural networks by preventing co-adaptation of feature detectors》

       Hinton G E , Srivastava N , Krizhevsky A , et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science, 2012.
https://arxiv.org/pdf/1207.0580.pdf

 

 

2、《 Dropout: A simple way to prevent neural networks from overfitting》

    N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov（2014）: Dropout: A simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research, pages 1929 – 1958, 2014.

 

 

Dropout使用

后期更新……

 

 

Dropout应用

后期更新……