inception v4 官方实现_网络结构解读之inception系列五:Inception V4

在残差逐渐当道时,google开始研究inception和残差网络的性能差异以及结合的可能性,并且给出了实验结构。

本文思想阐述不多,主要是三个结构的网络和实验性能对比。

Inception-v4, Inception-ResNet and

the Impact of Residual Connections on Learning

论证残差和Inception结合对性能的影响(抛实验结果)

1.残差连接能加速Inception网络训练

2.和没有残差的Inception相比,结合残差的Inception在性能上有微弱优势

3.作者提出了Inception V4,Inception-ResNet-V1,Inception-ResNet-V2

Inception系列正名

1.GoogLeNet=Inception V1

2.BN-Inception = Inception V2

3.分解卷积 = Inception V3

InceptionV4

整个结构所使用模块和V3基本一致,不同的是Stem和Reduction-B

InceptionV4中Stem

299->35的过程

Inception-ResNet

Inception-ResNetV1 计算量接近Inception V3

Inception-ResNetV2 计算量接近Inception V4

Inception-ResNetV2

V1和V2残差Inception相近,不同点在stem和部分模块的卷积大小

残差Inception模块的缩放

现象:当滤波器超过1000时,残差网络出现不稳定,最终GAP层激活值大部分变为0,且无法通过降低学习率和增加BN来避免。

经过实验发现,通过缩放残差Inception模块能够使其训练稳定,通常设置0.1~0.3

实验性能对比

实验较多,以单模型单裁剪为例

你可能感兴趣的:(inception,v4,官方实现)