【论文学习】Xception——回顾经典paper

paper：Xception: Deep Learning with Depthwise Separable Convolutions

URL：https://arxiv.org/abs/1610.02357

2017年的经典paper，作者在Inception的基础上引入DW卷积提出了Xception。

由于引入DW卷积，但作者的目的不是为了减少flops。所以增加了网络的宽度，所以可以认为是一个flop和width的balance。

 

Xception模块

一般来说，卷积核需要同时学习空间上的相关性和通道间的相关性。InceptionV3，将空间和通道的信息显示的分开处理。Inception模块首先使用1x1的卷积核将，这是在学习通道间的相关性；然后通过常规的3x3或5x5的卷积，同时学习空间上的相关性和通道间的相关性。

Inception如下图所示

不考虑5x5和平均池化，可以有如下的简化的inception

将所有1x1的卷积进行拼接，并且3x3中，将通道分离处理

作者又继续思考，如果有很多个呢。继而提出了extreme的inception模块，这就是Xception的基本模块了
 

paper借鉴了DW的思想，和DW的区别为：

1. 1x1卷积的先后顺序不同。其实这块mbnv2也先做了一个1x1升维
2. ReLU non-linearity 应用的不同

Architecture

Xception的结构图

image.jpg760×516 84.2 KB

 

Experiment

ImageNet上的结果
 

JFT上实验结果
 

和Inception相比

参数量变少了，但是速度没有慢很多。