Inception 系列网络有个问题:网络的超参数设定的针对性比较强,当应用在别的数据集上时需要修改许多参数,因此可扩展性一般。
V1论文:Going deeper with convolutions(2014)
采用Inception模块结构(9个)进行搭建,共22层。为了避免梯度消失,网络额外增加了2个辅助的softmax、(实际测试的时候会被去掉),并按一个较小的权重(0.3)加到最终分类结果中,相当于训练的时候多两个监督信号
论文:Rethinking the Inception Architecture for Computer Vision(ML 2015)速达>>
论文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift(2015)
分解大的卷积核后,共用一个激活层,MobileNets v2对此有较深入讨论
两种分解卷记的方式:
引入辅助分类器的概念改善深度网络的收敛性,最初动机是解决梯度消失问题,加快收敛。但是实验发现辅助分类器并没有在训练早期提高收敛性:
另外,实验还发现移除一条辅助支路(Inception v1 中设置了两条)对网络没有任何不利影响
加深网络的同时,一般会逐渐降低特征图分辨率,提升通道数,卷积网络常使用池化(以前)操降低分辨率,先卷积(提升通道数)后pooling(降分辨率)计算代价更高,先pooling后卷积会限制特征提取,如 Fig 9
折中的方法就是两者并行,如 Fig10
![]() |
![]() |
Inception v2 在 Inception v1 的基础上改进,
具体网络架构如下表:
![]() |
![]() |
![]() |
Inception v2 + RMSProp + Lable Smoothing + Factorizes 7×7 ⟹ Inception v3 \color{blue}\text{Inception v2 + RMSProp + Lable Smoothing + Factorizes 7×7 $\Longrightarrow$ Inception v3} Inception v2 + RMSProp + Lable Smoothing + Factorizes 7×7 ⟹ Inception v3
论文:Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning(CVPR 2016)速达>>
结合ResNet,加速训练,同时提升性能
Inception v4 | ||
---|---|---|
![]() |
![]() |
![]() |
![]() |
![]() |
|
![]() |
![]() |
Inception-ResNet-v1 | ||
---|---|---|
![]() |
![]() |
![]() |
![]() |
![]() |
|
![]() |
![]() |
Inception-ResNet-v2 | ||
---|---|---|
![]() |
![]() |
![]() |
![]() |
![]() |
|
![]() |
![]() |
Xception:Xception: Deep Learning with Depthwise Separable Convolutions(CVPR 2017)速达>>
丢弃繁琐的结构,回归简单
Inception module类似将 MobileNets v1 中的 Depthwise Separable Convolution 反过来,先1×1卷积接着逐通道进行3×3卷积
注意还有一点不同:Inception module 中的卷积层后面均跟有非线性激活层
注意:加号处不是先前版本的合并通道,而是类似ResNet残差模块
【1】GoogLeNet(从Inception v1到v4的演进)
【2】深入浅出——网络模型中Inception的作用与结构全解析
【3】深度学习经典卷积神经网络之GoogLeNet
【4】经典网络GoogLeNet(Inception V3)网络的搭建与实现
【5】MobileNets v1
【6】MobileNets v2
【7】Xception算法详解