Inception v1-v4, Xception

1. 前言

2. Inception V1

结构如下：

v1

结构的设计出自于一种考虑：随着网络结构不断变得更深，更宽，必然存在着许多的无效权重，也就是为0的参数。那么是否可以通过一种网络节点之间的稀疏连接，也就是sparsely connected network来减少这种情况呢。
因此，作者期望找的一个最优的局部卷积结构
上图中，右图主要比左图多了维度下降的部分。先通过1*1的卷积来降低维度，从而减少计算量。
整体结构如图：

v1

可以看到，就是通过几个上述的block堆叠而成，同时会从不同深度的层提取特征，作为图片不同尺度的特征。

Inception V2 : Batch normalization: Accelerating deep network training by reducing internal covariate shift

BN

Inception V3 : Rethinking the inception architecture for computer vision

作者提出了一些在模型设计中的经验：

1. 避免bottleneck，也就是避免在结构中出现大的特征压缩。
2. 高维度特征更加容易训练。
3. 空间上的聚合在底层网络进行不会导致特征表达能力的损失。
4. 平衡网络的宽度和深度。
   分解大的卷机核：
   如下图是将一个5 * 5的卷积核分解成两个3 * 3的核：
   
   3*3
   
   参数个数从9 * 9减少到了2 * 3 * 3

如下图是将一个33的卷积核分解成一个13和一个3*1

3*3

如下图是减少图像大小的方法：

stride 2

通过stride 2来将图片大小减少为1/4.

在这个版本的Inception使用了BN。

Inception V4 : Inception-v4, inception-resnet and the impact of residual connections on learning

Xception: Deep Learning with Depthwise Separable Convolutions