《Xception: Deep Learning with Depthwise Separable Convolutios》笔记

介绍

文章链接。

常规卷积网络是CONV->POOL形式。通过CONV学习特征，通过POOL下采样，使网络在不同尺度空间都能提取特征。

Inception结构最初在GoogLeNet出现（Inception V1），随后有了Inception V2、Inception V3和Inception-ResNet。

Inception-style的结构有很多版本，下面是Inception V3版本中的结构：

Inception模型，是由连续多个Inception结构组成，就行VGG-style网络一样，由连续多个卷积组成。

Inception模型和卷积在概念上类似，都是卷积提取特征；但是Inception结构参数更少，提取的特征更加丰富。Inception结构工作原理是什么，和常规卷积有什么不同？Inception之后，设计网络的侧脸又是什么？

Inception假设

一个卷积层的卷积核是三个维度的，空间上width和height，还有一个channel维度。因此一个卷积层，既考虑映射cross-channel相关性，又考虑spatial相关性。

Inception背后的思想是通过分开独立处理cross-channel和spatial的相关性，使得处理过程更加简单高效。准确来说，Inception结构首先通过1x1卷积“看”cross-channel相关性，把输入映射到3或4个分开的空间（小于原输入空间），之后通过3x3或5x5卷积再映射到更小的3维空间，如上图所示。实际上，Inception基本的假设就是通过解耦和cross-channel和spatial相关性。

是否可以进一步假设cross-channel和spatial之间的相关性可以完全分开处理？

卷积和separable卷积之间的连续

基于上面进一步假设，有了“extreme”笨笨的Inception结构：

上面这种结构，几乎等同于depthwise separable卷积。depthwise separable卷积又叫做“separable卷积”，是通过处理每一个channel上的空间卷积，之后再经过pointwise卷积（例如1x1卷积），在一个新的channel空间得到输出。

“extreme”版本的Inception和depthwise separable卷积两点主要不同：

• 操作顺序：depthwise separable卷积首先channel-wise spatial卷积，之后1x1卷积；而Inception首先1x1卷积。

• 第一个操作后是否有非线性。Inception中，第一步和第二部操作都有非线性（ReLU）；而depthwise separable卷积后面通常没有非线性操作。

上面两点不同种，第一点不同不太重要，第二点不同比较重要。

输入的每一个channel空间（width和height）对应一个“频谱”。1x1卷积把这些“频谱”合成一个；而depthwise separable卷积对每一个“频谱”做卷积。Inception结构把几百个channel分成3或4个。

基于以上观察，可以把Inception结构替换为depthwise separable卷积。

Xception结构

基于cross-channel和spatial相关性可以完全解耦和，作者提出一个新的卷积网络结构。这个假设是基于Inception结构的强假设，名字叫做“Extreme Inception”，简称“Xception”。结构如下：

Xception有36个卷积层，包含14个模块，线性Residual connection在这14个模块中。在图像分类中，最后一层是逻辑回归；可以在逻辑回归前面一层加上全连接层。

实验评估

对比Xception和Inception V3，因为它们两个参数个数接近。对比它们在图片分类上的效果。数据集一个是单标签的ImageNet，另一个是多标签的JFT。

优化方法配置

• On ImageNet：
  – Optimizer: SGD
  – Momentum: 0.9
  – Initial learning rate: 0.045
  – Learning rate decay: decay of rate 0.94 every 2 epochs

• On JFT:
  – Optimizer: RMSprop
  – Momentum: 0.9
  – Initial learning rate: 0.001
  – Learning rate decay: decay of rate 0.9 every 3,000,000 samples

正则化

• Weight decay
  Inception V3使用L2正则化，weight decay rate为4e-5（在ImageNet上tune得到的）。Xception使用1e-5。

• Dropout
  在逻辑回归前加上dropout层，dropout rate为0.5.

• Auxiliary loss tower

Inception V3包含一个可选的auxiliary tower，在反向传播时当做正则化机制。为了简化，Xception没有包含。

训练工具

使用TensorFlow，60块NVIDIA K80 GPUs。

ImageNet使用同步梯度下降，训练了3天。

JFT使用异步梯度下降，训练了近一个月，并没有完全收敛。

和Inception V3对比

分类对比

ImageNet，使用validation set。Single model， single crop。

JFT对比，使用模型为迭代30,000,000次的模型：

Xception架构在JFT数据集性能提升明显高于在ImageNet数据集。可能是因为Inception V3设计时专注于ImageNet。

模型大小和速度

使用K80 GPU，同步梯度下降。

两个模型参数个数类似。Xception速度稍慢于Inception V3。未来需要在depthwise卷积上做些优化。

residual connections影响

Residual connection对收敛速度和精度都有帮助。需要注意，两者训练时都是用同一配置，对于不使用residual connection，调优配置可能得到更好的效果。

pointwise卷积后中间激活的影响

在depthwise和pointwise卷积之间使用不同激活函数

上面结果，不使用非线性激活性能好于使用非线性激活。这和《Rethinking the inception architecture for computer vision》结论相反。这可能和特征空间深度相关：对于深的特征空间（Inception中的），非线性有帮助；对于浅的（例如depthwise卷积，1-channel特征空间）反而有负面作用。