关于bn与relu的顺序的问题

关于bn和relu的相对顺序网上的见解不一致,但在resnet、mobilenetv2、detectron2、maskrcnn_benchmark见到的都是conv+bn+relu的顺序,没见过conv+relu+bn的顺序,遂感到很疑惑,于是上网上查了一下。

从数据饱和区的角度讲有比较好的讨论,即如果先进行relu,那么在bn的时候有些单元已经失活了,造成bn不稳定,影响模型性能;bn将数据分布进行标准化,使数据回到非饱和区,然后在经过relu可以控制激活的饱和程度。这里可以假设从conv出来的数据很大部分进入失活,那么先relu再bn的结果就不稳定了。因此应该将置于relu之前。

参考知乎的这个问题,也有提到从实验效果上看先relu再bn效果会更好一些,因为bn的作用就是对上层的输出进行归一化。

个人感觉还是偏向第一种,即conv+relu+bn。如果采用第二种方式,如果效果更好的话应该需要采取措施避免数据再relu之前进入饱和区,最直接的做法就是降低学习率和增大批处理数量。

你可能感兴趣的:(关于bn与relu的顺序的问题)