[解读] Rethinking the Usage of Batch Normalization and Dropout in the Training of Deep Neural Networks
本文提出一个新奇的方法来加快神经网络的训练速度,基于这样一个想法,即对输入进行白化处理有助于加快收敛速度.已知独立的随机变量之间一定是白化的(不相关的),所以对网络输入进行独立成分分析能够获得白化的输入.然而进行独立成分分析是十分耗时的,为此作者提出一种被称为Independent-Component(IC)的神经网络结构来实现,这个结构是批归一化和dropout的组合.本文通过理论分析了这一结构