深度学习基础--各种Dropout--Targeted Dropout

更详细的资料整理到了个人的github上，地址为
https://github.com/whitenightwu/11-Algorithm_and_Data/02-深度学习（部件）\类dropout

Targeted Dropout

介绍

date：NIPS/NeurIPS 2018
keywords：Targeted Dropout；将剪枝带到训练中去；偏向于压缩算法
author：google brain，Hinton

主要思想

根据一些快速逼近权重重要性的度量对权重或神经元进行排序，并将 Dropout 应用于那些重要性较低的元素。
具体来说，其中模型会对权重矩阵求绝对值，然后在根据 targ_rate 求出要对多少「不重要」的权重做 Dropout，最后只需要对所有权重的绝对值进行排序，并 Mask 掉前面确定具体数量的「不重要」权重。
正则化工具 Targeted Dropout，它可以将事后剪枝策略结合到神经网络的训练过程中，且还不会对特定架构的潜在任务性能产生显著影响。最后 Targeted Dropout 主要的优势在于简单和直观的实现，及灵活的超参数设定。

额，要不是Hinton，估计也没几个人看。
整理源于http://www.sohu.com/a/277688850_129720