GoogLeNet Inception v4

这是GoogLeNet的第四版本，出自《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》。

1. Movivation

这篇文章在Inception v3的基础上，再次将网络加深加宽，提出了Inception v4，并且研究了Inception结构与ResNet的结合，提出了Inception v3的变体Inception-ResNet-v1，以及Inception v4的变体Inception-ResNet-v2。

2. Networks Architecture

在每个卷积之后使用BN。

Inception v4

Inception-ResNet-v1

只在传统层使用BN，卷积求和后不使用BN，作者的理由是节省计算资源，将这部分资源用于增加Inception模块。

Inception-ResNet-v2

只在传统层使用BN，卷积求和后不使用BN，作者的理由是节省计算资源，将这部分资源用于增加Inception模块。

3. Scaling of the Residuals

文章说到，当特征图的数量超过1000时，网络会不可避免的陷入死亡，即在全局平均池化之前，网络的输出恒为0。这里提出了一个残差块缩小的方法，就是将Inception 最后一层的输出特征图数量减少为原来的0.1到0.3之间，这样做有助于稳定训练。如图所示。

3. 实验结果

• 残差的加入可以加快Inception网络的训练，但无法提高性能。

• v4比v3、v2、ResNet-151性能更好，但加入RetNet并没有使Inception性能提升。
  

4. 结论

（1）残差连接可以加快网络的训练速度。
（2）提出的Inception V4更深，比以往的网络性能更好。