Inception

文章目录

  • Inception 系列
    • Inception v1
        • Inception模块
        • 网络架构
    • Inception v2 和 Inception v3
      • Batch Normalization
      • 分解卷积核
      • 辅助分类器
      • Efficient Grid Size Reduction
        • Inception v2
        • Inception v3
      • 实验
    • Inception v4
        • 相关实验
    • Xception
      • Inception 模块
      • Xception网络结构
      • 相关实验
    • 参考文献

Inception 系列

Inception 系列网络有个问题:网络的超参数设定的针对性比较强,当应用在别的数据集上时需要修改许多参数,因此可扩展性一般。

Inception v1

V1论文:Going deeper with convolutions(2014)

Inception模块

  • 每个采用不同大小的卷积核或者Pooling(不知道哪个好,让网络自己选择)
  • 1×1卷积:匹配维度,跨通道提取特征

Inception_第1张图片

网络架构

采用Inception模块结构(9个)进行搭建,共22层。为了避免梯度消失,网络额外增加了2个辅助的softmax、(实际测试的时候会被去掉),并按一个较小的权重(0.3)加到最终分类结果中,相当于训练的时候多两个监督信号

Inception_第2张图片

Inception v2 和 Inception v3

论文:Rethinking the Inception Architecture for Computer Vision(ML 2015)速达>>

Batch Normalization

论文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift(2015)
Inception_第3张图片
Inception_第4张图片

分解卷积核

分解大的卷积核后,共用一个激活层,MobileNets v2对此有较深入讨论
Inception_第5张图片
两种分解卷记的方式:

  • 将大卷积分解成更小的3×3卷积(减少参数,增强分线性表达能力)
  • 将n×n卷积分解成1×n和n×1卷积的组合(网络前期使用这种分解效果并不好,在中度大小的feature map上效果较好,推荐在大小为12到20间的特征图上使用)

辅助分类器

引入辅助分类器的概念改善深度网络的收敛性,最初动机是解决梯度消失问题,加快收敛。但是实验发现辅助分类器并没有在训练早期提高收敛性:

  • 在两个模型达到高精度之前,有辅助分类器和没有辅助分类器的网络训练进程几乎相同,在训练快结束时,有辅助分支的网络优势开始显现,精度稳定在一个更高的水准。

另外,实验还发现移除一条辅助支路(Inception v1 中设置了两条)对网络没有任何不利影响

Efficient Grid Size Reduction

加深网络的同时,一般会逐渐降低特征图分辨率,提升通道数,卷积网络常使用池化(以前)操降低分辨率,先卷积(提升通道数)后pooling(降分辨率)计算代价更高,先pooling后卷积会限制特征提取,如 Fig 9

折中的方法就是两者并行,如 Fig10

Inception_第6张图片
Inception_第7张图片

Inception v2

Inception v2 在 Inception v1 的基础上改进,

  • 网络输入从224x224变为了299x299,更加精细设计了35x35/17x17/8x8特征层的模块
  • 使用BN,增大学习率并加快学习率衰减速度以适用BN规范化后的数据
  • 去除了Dropout、LRN等结构
  • 3个3x3卷积层代替7x7卷积层

具体网络架构如下表:

Inception_第8张图片

Inception_第9张图片
Inception_第10张图片
Inception_第11张图片

Inception v3

Inception v2 + RMSProp + Lable Smoothing + Factorizes 7×7  ⟹  Inception v3 \color{blue}\text{Inception v2 + RMSProp + Lable Smoothing + Factorizes 7×7 $\Longrightarrow$ Inception v3} Inception v2 + RMSProp + Lable Smoothing + Factorizes 7×7  Inception v3

Inception_第12张图片
原文:
在这里插入图片描述

实验

Inception_第13张图片
Inception_第14张图片

Inception v4

论文:Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning(CVPR 2016)速达>>

结合ResNet,加速训练,同时提升性能

Inception v4
Inception_第15张图片
Inception_第16张图片
Inception_第17张图片
Inception_第18张图片
Inception_第19张图片
Inception_第20张图片
Inception_第21张图片
Inception-ResNet-v1
Inception_第22张图片
Inception_第23张图片
Inception_第24张图片
Inception_第25张图片
Inception_第26张图片
Inception_第27张图片
Inception_第28张图片
Inception-ResNet-v2
Inception_第29张图片
Inception_第30张图片
Inception_第31张图片
Inception_第32张图片
Inception_第33张图片
Inception_第34张图片
Inception_第35张图片

Inception_第36张图片

相关实验

Inception_第37张图片
Inception_第38张图片

Xception

Xception:Xception: Deep Learning with Depthwise Separable Convolutions(CVPR 2017)速达>>

Inception 模块

丢弃繁琐的结构,回归简单

Inception_第39张图片 Inception_第40张图片

Inception module类似将 MobileNets v1 中的 Depthwise Separable Convolution 反过来,先1×1卷积接着逐通道进行3×3卷积

注意还有一点不同:Inception module 中的卷积层后面均跟有非线性激活层
Inception_第41张图片 Inception_第42张图片

Xception网络结构

注意:加号处不是先前版本的合并通道,而是类似ResNet残差模块
Inception_第43张图片

相关实验

Inception_第44张图片 Inception_第45张图片

Inception_第46张图片 Inception_第47张图片

Inception_第48张图片 Inception_第49张图片

Inception_第50张图片 Inception_第51张图片

Inception_第52张图片 Inception_第53张图片

参考文献

【1】GoogLeNet(从Inception v1到v4的演进)
【2】深入浅出——网络模型中Inception的作用与结构全解析
【3】深度学习经典卷积神经网络之GoogLeNet
【4】经典网络GoogLeNet(Inception V3)网络的搭建与实现
【5】MobileNets v1
【6】MobileNets v2
【7】Xception算法详解

你可能感兴趣的:(目标检测,深度学习,目标检测,计算机视觉,卷积神经网络)