网络学习系列（八）Xcetion

要解决的问题：

xcetion深刻研究了inception的思想，指出inception网络的实质就是将空间的相关性与通道的相关性进行解耦，但解耦的并不完全，所以论文要解决的问题就是怎么将空间的相关性与通道的相关性进行完全的解耦。

相关信息：

1、inception网络如下所示：

其中，1*1卷积所作的操作即是将输入进行降维处理，减少通道数以便后面的卷积操作，这其实也就证明了空间相关性与通道相关性可以进行解耦分别处理。

2、深度可分离卷积，其进行的操作是首先对每一个通道的特征图进行标准的卷积操作，再利用1*1的卷积融合这些通道的信息，可以减小运算量。

网络设计

1、明确前提假设：由inception网络的启发，空间相关性与通道相关性可以完全解耦合。

首先将inception网络简化：

可以看出，首先对通道进行处理再进行卷积操作，其等价于：

即将通道分组，每组进行不同的卷积操作，最后融合结果。考虑一种极端情况，即分的组数等于通道数，即：

这就与深度可分离卷积很类似，但又有一些不同：第一个不同，深度可分离卷积1*1的卷积操作是在后面，而inception网络的1*1卷积是在前面；第二个不同，深度可分离卷积中间层没有非线性激活，而inception当中有。论文当中论证第一点其实不太重要，第二点不加非线性激活的效果要好一些。

2、论文中使用了残差网络设计了xception，将其中的卷积层换成了深度可分离卷积。最终结构如下：