Xception网络论文解读

Xception 背景

Xception作者认为Inception系列网络的成功要归功于Inception module结构，同时也十分好奇Inception module为什么可以提取出比传统卷积更有用的特征。他从结构入手，分析出其中原因，并借助该思想设计出了Xception。

Xception的计算量和inception v3相当，性能比Inception v3更好，即参数利用率更高。

1. Xception 原理简介

Xception的论文内容，概括起来主要有以下两点：

1. 分析了Inception module高性能的原因；
2. 借助深度向卷积设计了Xception网络。

1.1 Inception module原理分析

Xception从结构入手，分析Inception module和传统卷积不同之处，再将这种不同之处不断放大，得到了Extreme版的Inception module。从中分析得到这样的结论：Inception module是介于传统卷积和深度向分离卷积之间的一种结构。下面进行详细阐述。

Inception v3的基本单元inception module将输入特征图输给几个支路并行提取特征，每个支路经过1×1卷积在通道维度提取信息，得到的特征图的通道数都比输入特征的通道数小少，再通过3x3卷积在空间维度提取特征，最后再将特征图连接起来。简化的Inception module如下图所示。

上图中中1x1卷积将输入特征的通道数变小，实际上也可以认为3个1x1卷积将输入特征图通道分割成了三个互不交叉的部分，这种划分方法等价于将3个1x1卷积合并成一个，再将1x1卷积输出进行划分，此思想如下图所示。

由此看出，Inception module实际上也将卷积操作的空间操作和通道操作拆开，分别进行操作，但是上述拆解不够彻底3x3卷积的输入特征图的通道数仍不为1，接下来论文给每个通道单独配一个3x3卷积，彻底实现了通道向和空间向的解耦，得到了一个极端版本的Inception module（extreme version）如下图所示。

可以看出将上图每个支路中3x3几乎就是深度向卷积(depthwise separable convolution)，唯一的不同在于1x1卷积与3x3卷积的顺序不同，但实际上，顺序是可以忽略的，因为在深度神经网络中卷积层相互堆叠，局部的顺序并不重要。

通过以上分析，作者得出了这样一个结论：Inception module结构是标准卷积核深度向分离卷积的中间产物，这或许正是Inceotion module强大性能的原因。

1.2 Xception 网络设计思想

既然深度向分离卷积结构是Inception module的极端版本，作者认为可以将inception v3中的Inception module都替换为深度分离向卷积，于是设计出了Xception网络结构，如下图所示：

2. 网络结构

上一节中已经分析出Xception网络的设计思想，这里给出Xception的详细网络结构，如下图所示：

参考

Xception 论文：《Xception: Deep learning with depthwise separable convolutions》