【轻量化网络】Xception:经典paper回顾

【轻量化网络】Xception:经典paper回顾_第1张图片

paper:https://arxiv.org/abs/1610.02357

2017年的一篇经典paper,作者在Inception的基础上提出了Xception。引入了DW卷积

 

Xception模块

一般来说,卷积核需要同时学习空间上的相关性和通道间的相关性。InceptionV3,将空间和通道的信息显示的分开处理。Inception模块首先使用1x1的卷积核将,这是在学习通道间的相关性;然后通过常规的3x3或5x5的卷积,同时学习空间上的相关性和通道间的相关性。

Inception如下图所示

【轻量化网络】Xception:经典paper回顾_第2张图片

不考虑5x5和平均池化,可以有如下的简化的inception

【轻量化网络】Xception:经典paper回顾_第3张图片

将所有1x1的卷积进行拼接,并且3x3中,将通道分离处理

【轻量化网络】Xception:经典paper回顾_第4张图片

作者又继续思考,如果有很多个呢。继而提出了extreme的inception模块,这就是Xception的基本模块了

【轻量化网络】Xception:经典paper回顾_第5张图片

paper借鉴了DW的思想,和DW的区别为:

  1. 1x1卷积的先后顺序不同。其实这块mbnv2也先做了一个1x1升维
  2. ReLU non-linearity 应用的不同

Architecture

Xception的结构图如下所示:

【轻量化网络】Xception:经典paper回顾_第6张图片

Experiment

ImageNet上的结果

【轻量化网络】Xception:经典paper回顾_第7张图片

JFT上实验结果

【轻量化网络】Xception:经典paper回顾_第8张图片

和Inception相比:参数量变少了,但是速度没有慢很多。

【轻量化网络】Xception:经典paper回顾_第9张图片

你可能感兴趣的:(深度学习)