【DL】神经网络中各种结构解释

持续更新

1. global average pooling
   https://stats.stackexchange.com/questions/257321/what-is-global-max-pooling-layer-and-what-is-its-advantage-over-maxpooling-layer

2. 残差结构
   来源于 Deep Residual Learning for Image Recognition

image.png

左边的是基本残差结构，右边的是带bottle neck 的残差结构。
左边F(x)直接和输出连接，在反向传播的时候，可以得到更多的梯度更新，有利于避免深度网络中梯度消失的问题，有利于训练更深的网络。
右边输入在经过这一层卷积的时候先通过11 bottle neck减少特征的层数，之后再通过33有利于减少计算量，最后再通过1*1恢复。

3. 完全预激活残差单元(full pre-activation Residual Unit)
   来源于 Identity Mappings in Deep Residual Networks
   
   image.png
   
   和原始的残差单元相比，RELU和BN的放置顺序发生变换，准确度更好。